llvm/test/CodeGen/AMDGPU/memory-legalizer-global-system.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx600 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX6 %s
   3 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx700 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX7 %s
   4 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-WGP %s
   5 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-CU %s
   6 ; RUN: llc -mtriple=amdgcn-amd-amdpal -mcpu=gfx700 -amdgcn-skip-cache-invalidations -verify-machineinstrs < %s | FileCheck --check-prefixes=SKIP-CACHE-INV %s
   7 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-NOTTGSPLIT %s
   8 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-TGSPLIT %s
   9 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-NOTTGSPLIT %s
  10 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-TGSPLIT %s
  11 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-WGP %s
  12 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-CU %s
  13
  14 define amdgpu_kernel void @global_system_unordered_load(
  15 ; GFX6-LABEL: global_system_unordered_load:
  16 ; GFX6:       ; %bb.0: ; %entry
  17 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  18 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
  19 ; GFX6-NEXT:    s_mov_b32 s6, -1
  20 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  21 ; GFX6-NEXT:    s_mov_b32 s4, s0
  22 ; GFX6-NEXT:    s_mov_b32 s5, s1
  23 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0
  24 ; GFX6-NEXT:    s_mov_b32 s4, s2
  25 ; GFX6-NEXT:    s_mov_b32 s5, s3
  26 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
  27 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
  28 ; GFX6-NEXT:    s_endpgm
  29 ;
  30 ; GFX7-LABEL: global_system_unordered_load:
  31 ; GFX7:       ; %bb.0: ; %entry
  32 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  33 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  34 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
  35 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
  36 ; GFX7-NEXT:    flat_load_dword v2, v[0:1]
  37 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
  38 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
  39 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
  40 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
  41 ; GFX7-NEXT:    s_endpgm
  42 ;
  43 ; GFX10-WGP-LABEL: global_system_unordered_load:
  44 ; GFX10-WGP:       ; %bb.0: ; %entry
  45 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  46 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
  47 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  48 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1]
  49 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
  50 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
  51 ; GFX10-WGP-NEXT:    s_endpgm
  52 ;
  53 ; GFX10-CU-LABEL: global_system_unordered_load:
  54 ; GFX10-CU:       ; %bb.0: ; %entry
  55 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  56 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
  57 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  58 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1]
  59 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
  60 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
  61 ; GFX10-CU-NEXT:    s_endpgm
  62 ;
  63 ; SKIP-CACHE-INV-LABEL: global_system_unordered_load:
  64 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
  65 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
  66 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
  67 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
  68 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  69 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
  70 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
  71 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0
  72 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
  73 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
  74 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
  75 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
  76 ; SKIP-CACHE-INV-NEXT:    s_endpgm
  77 ;
  78 ; GFX90A-NOTTGSPLIT-LABEL: global_system_unordered_load:
  79 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
  80 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  81 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
  82 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  83 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
  84 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
  85 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
  86 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
  87 ;
  88 ; GFX90A-TGSPLIT-LABEL: global_system_unordered_load:
  89 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
  90 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  91 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
  92 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  93 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
  94 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
  95 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
  96 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
  97 ;
  98 ; GFX940-NOTTGSPLIT-LABEL: global_system_unordered_load:
  99 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 100 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 101 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 102 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 103 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
 104 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 105 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 106 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 107 ;
 108 ; GFX940-TGSPLIT-LABEL: global_system_unordered_load:
 109 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 110 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 111 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 112 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 113 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
 114 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 115 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 116 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 117 ;
 118 ; GFX11-WGP-LABEL: global_system_unordered_load:
 119 ; GFX11-WGP:       ; %bb.0: ; %entry
 120 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 121 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
 122 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 123 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1]
 124 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
 125 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
 126 ; GFX11-WGP-NEXT:    s_nop 0
 127 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 128 ; GFX11-WGP-NEXT:    s_endpgm
 129 ;
 130 ; GFX11-CU-LABEL: global_system_unordered_load:
 131 ; GFX11-CU:       ; %bb.0: ; %entry
 132 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 133 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
 134 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 135 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1]
 136 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
 137 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
 138 ; GFX11-CU-NEXT:    s_nop 0
 139 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 140 ; GFX11-CU-NEXT:    s_endpgm
 141     ptr addrspace(1) %in, ptr addrspace(1) %out) {
 142 entry:
 143   %val = load atomic i32, ptr addrspace(1) %in unordered, align 4
 144   store i32 %val, ptr addrspace(1) %out
 145   ret void
 146 }
 147
 148 define amdgpu_kernel void @global_system_monotonic_load(
 149 ; GFX6-LABEL: global_system_monotonic_load:
 150 ; GFX6:       ; %bb.0: ; %entry
 151 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 152 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
 153 ; GFX6-NEXT:    s_mov_b32 s6, -1
 154 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 155 ; GFX6-NEXT:    s_mov_b32 s4, s0
 156 ; GFX6-NEXT:    s_mov_b32 s5, s1
 157 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 158 ; GFX6-NEXT:    s_mov_b32 s4, s2
 159 ; GFX6-NEXT:    s_mov_b32 s5, s3
 160 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
 161 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 162 ; GFX6-NEXT:    s_endpgm
 163 ;
 164 ; GFX7-LABEL: global_system_monotonic_load:
 165 ; GFX7:       ; %bb.0: ; %entry
 166 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 167 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 168 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 169 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 170 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 171 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 172 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 173 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
 174 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 175 ; GFX7-NEXT:    s_endpgm
 176 ;
 177 ; GFX10-WGP-LABEL: global_system_monotonic_load:
 178 ; GFX10-WGP:       ; %bb.0: ; %entry
 179 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 180 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 181 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 182 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 183 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
 184 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
 185 ; GFX10-WGP-NEXT:    s_endpgm
 186 ;
 187 ; GFX10-CU-LABEL: global_system_monotonic_load:
 188 ; GFX10-CU:       ; %bb.0: ; %entry
 189 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 190 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 191 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 192 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 193 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
 194 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
 195 ; GFX10-CU-NEXT:    s_endpgm
 196 ;
 197 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_load:
 198 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 199 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 200 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
 201 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
 202 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 203 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
 204 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
 205 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 206 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
 207 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
 208 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
 209 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 210 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 211 ;
 212 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_load:
 213 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 214 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 215 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 216 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 217 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 218 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 219 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 220 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 221 ;
 222 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_load:
 223 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 224 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 225 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 226 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 227 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 228 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 229 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 230 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 231 ;
 232 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_load:
 233 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 234 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 235 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 236 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 237 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 238 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 239 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 240 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 241 ;
 242 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_load:
 243 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 244 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 245 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 246 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 247 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 248 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 249 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 250 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 251 ;
 252 ; GFX11-WGP-LABEL: global_system_monotonic_load:
 253 ; GFX11-WGP:       ; %bb.0: ; %entry
 254 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 255 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
 256 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 257 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 258 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
 259 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
 260 ; GFX11-WGP-NEXT:    s_nop 0
 261 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 262 ; GFX11-WGP-NEXT:    s_endpgm
 263 ;
 264 ; GFX11-CU-LABEL: global_system_monotonic_load:
 265 ; GFX11-CU:       ; %bb.0: ; %entry
 266 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 267 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
 268 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 269 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 270 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
 271 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
 272 ; GFX11-CU-NEXT:    s_nop 0
 273 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 274 ; GFX11-CU-NEXT:    s_endpgm
 275     ptr addrspace(1) %in, ptr addrspace(1) %out) {
 276 entry:
 277   %val = load atomic i32, ptr addrspace(1) %in monotonic, align 4
 278   store i32 %val, ptr addrspace(1) %out
 279   ret void
 280 }
 281
 282 define amdgpu_kernel void @global_system_acquire_load(
 283 ; GFX6-LABEL: global_system_acquire_load:
 284 ; GFX6:       ; %bb.0: ; %entry
 285 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 286 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
 287 ; GFX6-NEXT:    s_mov_b32 s6, -1
 288 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 289 ; GFX6-NEXT:    s_mov_b32 s4, s0
 290 ; GFX6-NEXT:    s_mov_b32 s5, s1
 291 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 292 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
 293 ; GFX6-NEXT:    buffer_wbinvl1
 294 ; GFX6-NEXT:    s_mov_b32 s4, s2
 295 ; GFX6-NEXT:    s_mov_b32 s5, s3
 296 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 297 ; GFX6-NEXT:    s_endpgm
 298 ;
 299 ; GFX7-LABEL: global_system_acquire_load:
 300 ; GFX7:       ; %bb.0: ; %entry
 301 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 302 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 303 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 304 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 305 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 306 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
 307 ; GFX7-NEXT:    buffer_wbinvl1_vol
 308 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 309 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 310 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 311 ; GFX7-NEXT:    s_endpgm
 312 ;
 313 ; GFX10-WGP-LABEL: global_system_acquire_load:
 314 ; GFX10-WGP:       ; %bb.0: ; %entry
 315 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 316 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 317 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 318 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 319 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
 320 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 321 ; GFX10-WGP-NEXT:    buffer_gl1_inv
 322 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
 323 ; GFX10-WGP-NEXT:    s_endpgm
 324 ;
 325 ; GFX10-CU-LABEL: global_system_acquire_load:
 326 ; GFX10-CU:       ; %bb.0: ; %entry
 327 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 328 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 329 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 330 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 331 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
 332 ; GFX10-CU-NEXT:    buffer_gl0_inv
 333 ; GFX10-CU-NEXT:    buffer_gl1_inv
 334 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
 335 ; GFX10-CU-NEXT:    s_endpgm
 336 ;
 337 ; SKIP-CACHE-INV-LABEL: global_system_acquire_load:
 338 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 339 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 340 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
 341 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
 342 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 343 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
 344 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
 345 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 346 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
 347 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
 348 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
 349 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 350 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 351 ;
 352 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_load:
 353 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 354 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 355 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 356 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 357 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 358 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 359 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
 360 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
 361 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 362 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 363 ;
 364 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_load:
 365 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 366 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 367 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 369 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 370 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 371 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
 372 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 373 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 374 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 375 ;
 376 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_load:
 377 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 378 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 379 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 380 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 381 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 382 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 383 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
 384 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 385 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 386 ;
 387 ; GFX940-TGSPLIT-LABEL: global_system_acquire_load:
 388 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 389 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 390 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 391 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 392 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 393 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 394 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
 395 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 396 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 397 ;
 398 ; GFX11-WGP-LABEL: global_system_acquire_load:
 399 ; GFX11-WGP:       ; %bb.0: ; %entry
 400 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 401 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
 402 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 403 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 404 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
 405 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 406 ; GFX11-WGP-NEXT:    buffer_gl1_inv
 407 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
 408 ; GFX11-WGP-NEXT:    s_nop 0
 409 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 410 ; GFX11-WGP-NEXT:    s_endpgm
 411 ;
 412 ; GFX11-CU-LABEL: global_system_acquire_load:
 413 ; GFX11-CU:       ; %bb.0: ; %entry
 414 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 415 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
 416 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 417 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 418 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
 419 ; GFX11-CU-NEXT:    buffer_gl0_inv
 420 ; GFX11-CU-NEXT:    buffer_gl1_inv
 421 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
 422 ; GFX11-CU-NEXT:    s_nop 0
 423 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 424 ; GFX11-CU-NEXT:    s_endpgm
 425     ptr addrspace(1) %in, ptr addrspace(1) %out) {
 426 entry:
 427   %val = load atomic i32, ptr addrspace(1) %in acquire, align 4
 428   store i32 %val, ptr addrspace(1) %out
 429   ret void
 430 }
 431
 432 define amdgpu_kernel void @global_system_seq_cst_load(
 433 ; GFX6-LABEL: global_system_seq_cst_load:
 434 ; GFX6:       ; %bb.0: ; %entry
 435 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 436 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
 437 ; GFX6-NEXT:    s_mov_b32 s6, -1
 438 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 439 ; GFX6-NEXT:    s_mov_b32 s4, s0
 440 ; GFX6-NEXT:    s_mov_b32 s5, s1
 441 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 442 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 443 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
 444 ; GFX6-NEXT:    buffer_wbinvl1
 445 ; GFX6-NEXT:    s_mov_b32 s4, s2
 446 ; GFX6-NEXT:    s_mov_b32 s5, s3
 447 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 448 ; GFX6-NEXT:    s_endpgm
 449 ;
 450 ; GFX7-LABEL: global_system_seq_cst_load:
 451 ; GFX7:       ; %bb.0: ; %entry
 452 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 453 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 454 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 455 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 456 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 457 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 458 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
 459 ; GFX7-NEXT:    buffer_wbinvl1_vol
 460 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 461 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 462 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 463 ; GFX7-NEXT:    s_endpgm
 464 ;
 465 ; GFX10-WGP-LABEL: global_system_seq_cst_load:
 466 ; GFX10-WGP:       ; %bb.0: ; %entry
 467 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 468 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 469 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 470 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 471 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 472 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
 473 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 474 ; GFX10-WGP-NEXT:    buffer_gl1_inv
 475 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
 476 ; GFX10-WGP-NEXT:    s_endpgm
 477 ;
 478 ; GFX10-CU-LABEL: global_system_seq_cst_load:
 479 ; GFX10-CU:       ; %bb.0: ; %entry
 480 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 481 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 482 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 483 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 484 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
 485 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
 486 ; GFX10-CU-NEXT:    buffer_gl0_inv
 487 ; GFX10-CU-NEXT:    buffer_gl1_inv
 488 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
 489 ; GFX10-CU-NEXT:    s_endpgm
 490 ;
 491 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_load:
 492 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 493 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 494 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
 495 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
 496 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 497 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
 498 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
 499 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 500 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
 501 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
 502 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
 503 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
 504 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 505 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 506 ;
 507 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_load:
 508 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 509 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 510 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 511 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 512 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 513 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 514 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
 515 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
 516 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 517 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 518 ;
 519 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_load:
 520 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 521 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 522 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 523 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 524 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
 525 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 526 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
 527 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 528 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
 529 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 530 ;
 531 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_load:
 532 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 533 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 534 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 535 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 536 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 537 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 538 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
 539 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 540 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 541 ;
 542 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_load:
 543 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 544 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 545 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 546 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 547 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
 548 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 549 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
 550 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 551 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 552 ;
 553 ; GFX11-WGP-LABEL: global_system_seq_cst_load:
 554 ; GFX11-WGP:       ; %bb.0: ; %entry
 555 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 556 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
 557 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 558 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 559 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 560 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
 561 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 562 ; GFX11-WGP-NEXT:    buffer_gl1_inv
 563 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
 564 ; GFX11-WGP-NEXT:    s_nop 0
 565 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 566 ; GFX11-WGP-NEXT:    s_endpgm
 567 ;
 568 ; GFX11-CU-LABEL: global_system_seq_cst_load:
 569 ; GFX11-CU:       ; %bb.0: ; %entry
 570 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 571 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
 572 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 573 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 574 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
 575 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
 576 ; GFX11-CU-NEXT:    buffer_gl0_inv
 577 ; GFX11-CU-NEXT:    buffer_gl1_inv
 578 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
 579 ; GFX11-CU-NEXT:    s_nop 0
 580 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 581 ; GFX11-CU-NEXT:    s_endpgm
 582     ptr addrspace(1) %in, ptr addrspace(1) %out) {
 583 entry:
 584   %val = load atomic i32, ptr addrspace(1) %in seq_cst, align 4
 585   store i32 %val, ptr addrspace(1) %out
 586   ret void
 587 }
 588
 589 define amdgpu_kernel void @global_system_unordered_store(
 590 ; GFX6-LABEL: global_system_unordered_store:
 591 ; GFX6:       ; %bb.0: ; %entry
 592 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
 593 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 594 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
 595 ; GFX6-NEXT:    s_mov_b32 s2, -1
 596 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 597 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
 598 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 599 ; GFX6-NEXT:    s_endpgm
 600 ;
 601 ; GFX7-LABEL: global_system_unordered_store:
 602 ; GFX7:       ; %bb.0: ; %entry
 603 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 604 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 605 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 606 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 607 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 608 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 609 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 610 ; GFX7-NEXT:    s_endpgm
 611 ;
 612 ; GFX10-WGP-LABEL: global_system_unordered_store:
 613 ; GFX10-WGP:       ; %bb.0: ; %entry
 614 ; GFX10-WGP-NEXT:    s_clause 0x1
 615 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 616 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 617 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 618 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 619 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
 620 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
 621 ; GFX10-WGP-NEXT:    s_endpgm
 622 ;
 623 ; GFX10-CU-LABEL: global_system_unordered_store:
 624 ; GFX10-CU:       ; %bb.0: ; %entry
 625 ; GFX10-CU-NEXT:    s_clause 0x1
 626 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 627 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 628 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 629 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 630 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
 631 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
 632 ; GFX10-CU-NEXT:    s_endpgm
 633 ;
 634 ; SKIP-CACHE-INV-LABEL: global_system_unordered_store:
 635 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 636 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
 637 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
 638 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
 639 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
 640 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 641 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
 642 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 643 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 644 ;
 645 ; GFX90A-NOTTGSPLIT-LABEL: global_system_unordered_store:
 646 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 647 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 648 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 649 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 650 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 651 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 652 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 653 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 654 ;
 655 ; GFX90A-TGSPLIT-LABEL: global_system_unordered_store:
 656 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 657 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 658 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 659 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 660 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 661 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 662 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 663 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 664 ;
 665 ; GFX940-NOTTGSPLIT-LABEL: global_system_unordered_store:
 666 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 667 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 668 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 669 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 670 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 671 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 672 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 673 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 674 ;
 675 ; GFX940-TGSPLIT-LABEL: global_system_unordered_store:
 676 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 677 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 678 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 679 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 680 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 681 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 682 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 683 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 684 ;
 685 ; GFX11-WGP-LABEL: global_system_unordered_store:
 686 ; GFX11-WGP:       ; %bb.0: ; %entry
 687 ; GFX11-WGP-NEXT:    s_clause 0x1
 688 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
 689 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 690 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 691 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 692 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
 693 ; GFX11-WGP-NEXT:    s_nop 0
 694 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 695 ; GFX11-WGP-NEXT:    s_endpgm
 696 ;
 697 ; GFX11-CU-LABEL: global_system_unordered_store:
 698 ; GFX11-CU:       ; %bb.0: ; %entry
 699 ; GFX11-CU-NEXT:    s_clause 0x1
 700 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
 701 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 702 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 703 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 704 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
 705 ; GFX11-CU-NEXT:    s_nop 0
 706 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 707 ; GFX11-CU-NEXT:    s_endpgm
 708     i32 %in, ptr addrspace(1) %out) {
 709 entry:
 710   store atomic i32 %in, ptr addrspace(1) %out unordered, align 4
 711   ret void
 712 }
 713
 714 define amdgpu_kernel void @global_system_monotonic_store(
 715 ; GFX6-LABEL: global_system_monotonic_store:
 716 ; GFX6:       ; %bb.0: ; %entry
 717 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
 718 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 719 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
 720 ; GFX6-NEXT:    s_mov_b32 s2, -1
 721 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 722 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
 723 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 724 ; GFX6-NEXT:    s_endpgm
 725 ;
 726 ; GFX7-LABEL: global_system_monotonic_store:
 727 ; GFX7:       ; %bb.0: ; %entry
 728 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 729 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 730 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 731 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 732 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 733 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 734 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 735 ; GFX7-NEXT:    s_endpgm
 736 ;
 737 ; GFX10-WGP-LABEL: global_system_monotonic_store:
 738 ; GFX10-WGP:       ; %bb.0: ; %entry
 739 ; GFX10-WGP-NEXT:    s_clause 0x1
 740 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 741 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 742 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 743 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 744 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
 745 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
 746 ; GFX10-WGP-NEXT:    s_endpgm
 747 ;
 748 ; GFX10-CU-LABEL: global_system_monotonic_store:
 749 ; GFX10-CU:       ; %bb.0: ; %entry
 750 ; GFX10-CU-NEXT:    s_clause 0x1
 751 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 752 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 753 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 754 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 755 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
 756 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
 757 ; GFX10-CU-NEXT:    s_endpgm
 758 ;
 759 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_store:
 760 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 761 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
 762 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
 763 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
 764 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
 765 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 766 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
 767 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 768 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 769 ;
 770 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_store:
 771 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 772 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 773 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 774 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 775 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 776 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 777 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 778 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 779 ;
 780 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_store:
 781 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 782 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 783 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 784 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 785 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 786 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 787 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 788 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 789 ;
 790 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_store:
 791 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 792 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 793 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 794 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 795 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 796 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 797 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 798 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 799 ;
 800 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_store:
 801 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 802 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 803 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 804 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 805 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 806 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 807 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 808 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 809 ;
 810 ; GFX11-WGP-LABEL: global_system_monotonic_store:
 811 ; GFX11-WGP:       ; %bb.0: ; %entry
 812 ; GFX11-WGP-NEXT:    s_clause 0x1
 813 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
 814 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 815 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 816 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 817 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
 818 ; GFX11-WGP-NEXT:    s_nop 0
 819 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 820 ; GFX11-WGP-NEXT:    s_endpgm
 821 ;
 822 ; GFX11-CU-LABEL: global_system_monotonic_store:
 823 ; GFX11-CU:       ; %bb.0: ; %entry
 824 ; GFX11-CU-NEXT:    s_clause 0x1
 825 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
 826 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 827 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 828 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 829 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
 830 ; GFX11-CU-NEXT:    s_nop 0
 831 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 832 ; GFX11-CU-NEXT:    s_endpgm
 833     i32 %in, ptr addrspace(1) %out) {
 834 entry:
 835   store atomic i32 %in, ptr addrspace(1) %out monotonic, align 4
 836   ret void
 837 }
 838
 839 define amdgpu_kernel void @global_system_release_store(
 840 ; GFX6-LABEL: global_system_release_store:
 841 ; GFX6:       ; %bb.0: ; %entry
 842 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
 843 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 844 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
 845 ; GFX6-NEXT:    s_mov_b32 s2, -1
 846 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 847 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
 848 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 849 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 850 ; GFX6-NEXT:    s_endpgm
 851 ;
 852 ; GFX7-LABEL: global_system_release_store:
 853 ; GFX7:       ; %bb.0: ; %entry
 854 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 855 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 856 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 857 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 858 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 859 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 860 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 861 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 862 ; GFX7-NEXT:    s_endpgm
 863 ;
 864 ; GFX10-WGP-LABEL: global_system_release_store:
 865 ; GFX10-WGP:       ; %bb.0: ; %entry
 866 ; GFX10-WGP-NEXT:    s_clause 0x1
 867 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 868 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 869 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
 870 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 871 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
 872 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 873 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 874 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
 875 ; GFX10-WGP-NEXT:    s_endpgm
 876 ;
 877 ; GFX10-CU-LABEL: global_system_release_store:
 878 ; GFX10-CU:       ; %bb.0: ; %entry
 879 ; GFX10-CU-NEXT:    s_clause 0x1
 880 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 881 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 882 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
 883 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 884 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
 885 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 886 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 887 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
 888 ; GFX10-CU-NEXT:    s_endpgm
 889 ;
 890 ; SKIP-CACHE-INV-LABEL: global_system_release_store:
 891 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 892 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
 893 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
 894 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
 895 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
 896 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 897 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
 898 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 899 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 900 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 901 ;
 902 ; GFX90A-NOTTGSPLIT-LABEL: global_system_release_store:
 903 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 904 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 905 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 906 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 907 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 908 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 909 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
 910 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 911 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 912 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 913 ;
 914 ; GFX90A-TGSPLIT-LABEL: global_system_release_store:
 915 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 916 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 917 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 918 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 919 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 920 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
 921 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
 922 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 923 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
 924 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 925 ;
 926 ; GFX940-NOTTGSPLIT-LABEL: global_system_release_store:
 927 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 928 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 929 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 930 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 931 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 932 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 933 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
 934 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 935 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 936 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 937 ;
 938 ; GFX940-TGSPLIT-LABEL: global_system_release_store:
 939 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 940 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 941 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 942 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
 943 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 944 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 945 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
 946 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 947 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
 948 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 949 ;
 950 ; GFX11-WGP-LABEL: global_system_release_store:
 951 ; GFX11-WGP:       ; %bb.0: ; %entry
 952 ; GFX11-WGP-NEXT:    s_clause 0x1
 953 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
 954 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 955 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 956 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 957 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 958 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 959 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
 960 ; GFX11-WGP-NEXT:    s_nop 0
 961 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 962 ; GFX11-WGP-NEXT:    s_endpgm
 963 ;
 964 ; GFX11-CU-LABEL: global_system_release_store:
 965 ; GFX11-CU:       ; %bb.0: ; %entry
 966 ; GFX11-CU-NEXT:    s_clause 0x1
 967 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
 968 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
 969 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 970 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
 971 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 972 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 973 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
 974 ; GFX11-CU-NEXT:    s_nop 0
 975 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 976 ; GFX11-CU-NEXT:    s_endpgm
 977     i32 %in, ptr addrspace(1) %out) {
 978 entry:
 979   store atomic i32 %in, ptr addrspace(1) %out release, align 4
 980   ret void
 981 }
 982
 983 define amdgpu_kernel void @global_system_seq_cst_store(
 984 ; GFX6-LABEL: global_system_seq_cst_store:
 985 ; GFX6:       ; %bb.0: ; %entry
 986 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
 987 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 988 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
 989 ; GFX6-NEXT:    s_mov_b32 s2, -1
 990 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 991 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
 992 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 993 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
 994 ; GFX6-NEXT:    s_endpgm
 995 ;
 996 ; GFX7-LABEL: global_system_seq_cst_store:
 997 ; GFX7:       ; %bb.0: ; %entry
 998 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 999 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
1000 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1001 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1002 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1003 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1004 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1005 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
1006 ; GFX7-NEXT:    s_endpgm
1007 ;
1008 ; GFX10-WGP-LABEL: global_system_seq_cst_store:
1009 ; GFX10-WGP:       ; %bb.0: ; %entry
1010 ; GFX10-WGP-NEXT:    s_clause 0x1
1011 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
1012 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
1013 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1014 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1015 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1016 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1017 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1018 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
1019 ; GFX10-WGP-NEXT:    s_endpgm
1020 ;
1021 ; GFX10-CU-LABEL: global_system_seq_cst_store:
1022 ; GFX10-CU:       ; %bb.0: ; %entry
1023 ; GFX10-CU-NEXT:    s_clause 0x1
1024 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
1025 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
1026 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1027 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1028 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1029 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1030 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1031 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
1032 ; GFX10-CU-NEXT:    s_endpgm
1033 ;
1034 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_store:
1035 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1036 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
1037 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
1038 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1039 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1040 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1041 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1042 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1043 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
1044 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1045 ;
1046 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_store:
1047 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1048 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
1049 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
1050 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1051 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1052 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1053 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
1054 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1055 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
1056 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1057 ;
1058 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_store:
1059 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1060 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
1061 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
1062 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1063 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1064 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1065 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
1066 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1067 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
1068 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1069 ;
1070 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_store:
1071 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1072 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
1073 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
1074 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1075 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1076 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1077 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1078 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1079 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
1080 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1081 ;
1082 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_store:
1083 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1084 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
1085 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
1086 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1087 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1088 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1089 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1090 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1091 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
1092 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1093 ;
1094 ; GFX11-WGP-LABEL: global_system_seq_cst_store:
1095 ; GFX11-WGP:       ; %bb.0: ; %entry
1096 ; GFX11-WGP-NEXT:    s_clause 0x1
1097 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
1098 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
1099 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1100 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1101 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1102 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1103 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
1104 ; GFX11-WGP-NEXT:    s_nop 0
1105 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1106 ; GFX11-WGP-NEXT:    s_endpgm
1107 ;
1108 ; GFX11-CU-LABEL: global_system_seq_cst_store:
1109 ; GFX11-CU:       ; %bb.0: ; %entry
1110 ; GFX11-CU-NEXT:    s_clause 0x1
1111 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
1112 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
1113 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1114 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1115 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1116 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1117 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
1118 ; GFX11-CU-NEXT:    s_nop 0
1119 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1120 ; GFX11-CU-NEXT:    s_endpgm
1121     i32 %in, ptr addrspace(1) %out) {
1122 entry:
1123   store atomic i32 %in, ptr addrspace(1) %out seq_cst, align 4
1124   ret void
1125 }
1126
1127 define amdgpu_kernel void @global_system_monotonic_atomicrmw(
1128 ; GFX6-LABEL: global_system_monotonic_atomicrmw:
1129 ; GFX6:       ; %bb.0: ; %entry
1130 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1131 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1132 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1133 ; GFX6-NEXT:    s_mov_b32 s2, -1
1134 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1135 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1136 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1137 ; GFX6-NEXT:    s_endpgm
1138 ;
1139 ; GFX7-LABEL: global_system_monotonic_atomicrmw:
1140 ; GFX7:       ; %bb.0: ; %entry
1141 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1142 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1143 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1144 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1145 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1146 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1147 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1148 ; GFX7-NEXT:    s_endpgm
1149 ;
1150 ; GFX10-WGP-LABEL: global_system_monotonic_atomicrmw:
1151 ; GFX10-WGP:       ; %bb.0: ; %entry
1152 ; GFX10-WGP-NEXT:    s_clause 0x1
1153 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1154 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1155 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1156 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1157 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1158 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
1159 ; GFX10-WGP-NEXT:    s_endpgm
1160 ;
1161 ; GFX10-CU-LABEL: global_system_monotonic_atomicrmw:
1162 ; GFX10-CU:       ; %bb.0: ; %entry
1163 ; GFX10-CU-NEXT:    s_clause 0x1
1164 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1165 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1166 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1167 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1168 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1169 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
1170 ; GFX10-CU-NEXT:    s_endpgm
1171 ;
1172 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_atomicrmw:
1173 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1174 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1175 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1176 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1177 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1178 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1179 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1180 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1181 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1182 ;
1183 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_atomicrmw:
1184 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1185 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1186 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1187 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1189 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1190 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1191 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1192 ;
1193 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_atomicrmw:
1194 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1195 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1196 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1197 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1198 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1199 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1200 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1201 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1202 ;
1203 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_atomicrmw:
1204 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1205 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1206 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1207 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1208 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1209 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1210 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1211 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1212 ;
1213 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_atomicrmw:
1214 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1215 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1216 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1217 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1218 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1219 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1220 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1221 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1222 ;
1223 ; GFX11-WGP-LABEL: global_system_monotonic_atomicrmw:
1224 ; GFX11-WGP:       ; %bb.0: ; %entry
1225 ; GFX11-WGP-NEXT:    s_clause 0x1
1226 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
1227 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1228 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1229 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1230 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1231 ; GFX11-WGP-NEXT:    s_nop 0
1232 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1233 ; GFX11-WGP-NEXT:    s_endpgm
1234 ;
1235 ; GFX11-CU-LABEL: global_system_monotonic_atomicrmw:
1236 ; GFX11-CU:       ; %bb.0: ; %entry
1237 ; GFX11-CU-NEXT:    s_clause 0x1
1238 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
1239 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1240 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1241 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1242 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1243 ; GFX11-CU-NEXT:    s_nop 0
1244 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1245 ; GFX11-CU-NEXT:    s_endpgm
1246     ptr addrspace(1) %out, i32 %in) {
1247 entry:
1248   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in monotonic
1249   ret void
1250 }
1251
1252 define amdgpu_kernel void @global_system_acquire_atomicrmw(
1253 ; GFX6-LABEL: global_system_acquire_atomicrmw:
1254 ; GFX6:       ; %bb.0: ; %entry
1255 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1256 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1257 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1258 ; GFX6-NEXT:    s_mov_b32 s2, -1
1259 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1260 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1261 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1262 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
1263 ; GFX6-NEXT:    buffer_wbinvl1
1264 ; GFX6-NEXT:    s_endpgm
1265 ;
1266 ; GFX7-LABEL: global_system_acquire_atomicrmw:
1267 ; GFX7:       ; %bb.0: ; %entry
1268 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1269 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1270 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1271 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1272 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1273 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1274 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1275 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1276 ; GFX7-NEXT:    buffer_wbinvl1_vol
1277 ; GFX7-NEXT:    s_endpgm
1278 ;
1279 ; GFX10-WGP-LABEL: global_system_acquire_atomicrmw:
1280 ; GFX10-WGP:       ; %bb.0: ; %entry
1281 ; GFX10-WGP-NEXT:    s_clause 0x1
1282 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1283 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1284 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1285 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1286 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1287 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
1288 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1289 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1290 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1291 ; GFX10-WGP-NEXT:    s_endpgm
1292 ;
1293 ; GFX10-CU-LABEL: global_system_acquire_atomicrmw:
1294 ; GFX10-CU:       ; %bb.0: ; %entry
1295 ; GFX10-CU-NEXT:    s_clause 0x1
1296 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1297 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1298 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1299 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1300 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1301 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
1302 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1303 ; GFX10-CU-NEXT:    buffer_gl0_inv
1304 ; GFX10-CU-NEXT:    buffer_gl1_inv
1305 ; GFX10-CU-NEXT:    s_endpgm
1306 ;
1307 ; SKIP-CACHE-INV-LABEL: global_system_acquire_atomicrmw:
1308 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1309 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1310 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1311 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1312 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1313 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1314 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1315 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1316 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
1317 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1318 ;
1319 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_atomicrmw:
1320 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1321 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1322 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1323 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1324 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1325 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1326 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1327 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1328 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
1329 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1330 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1331 ;
1332 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_atomicrmw:
1333 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1334 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1335 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1336 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1337 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1338 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1339 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1340 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1341 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
1342 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1343 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1344 ;
1345 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_atomicrmw:
1346 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1347 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1348 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1349 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1350 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1351 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1352 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1353 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1354 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
1355 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1356 ;
1357 ; GFX940-TGSPLIT-LABEL: global_system_acquire_atomicrmw:
1358 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1359 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1360 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1361 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1362 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1363 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1364 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1365 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1366 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
1367 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1368 ;
1369 ; GFX11-WGP-LABEL: global_system_acquire_atomicrmw:
1370 ; GFX11-WGP:       ; %bb.0: ; %entry
1371 ; GFX11-WGP-NEXT:    s_clause 0x1
1372 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
1373 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1374 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1375 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1376 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1377 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1378 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1379 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1380 ; GFX11-WGP-NEXT:    s_endpgm
1381 ;
1382 ; GFX11-CU-LABEL: global_system_acquire_atomicrmw:
1383 ; GFX11-CU:       ; %bb.0: ; %entry
1384 ; GFX11-CU-NEXT:    s_clause 0x1
1385 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
1386 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1387 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1388 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1389 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1390 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1391 ; GFX11-CU-NEXT:    buffer_gl0_inv
1392 ; GFX11-CU-NEXT:    buffer_gl1_inv
1393 ; GFX11-CU-NEXT:    s_endpgm
1394     ptr addrspace(1) %out, i32 %in) {
1395 entry:
1396   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in acquire
1397   ret void
1398 }
1399
1400 define amdgpu_kernel void @global_system_release_atomicrmw(
1401 ; GFX6-LABEL: global_system_release_atomicrmw:
1402 ; GFX6:       ; %bb.0: ; %entry
1403 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1404 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1405 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1406 ; GFX6-NEXT:    s_mov_b32 s2, -1
1407 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1408 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1409 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1410 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1411 ; GFX6-NEXT:    s_endpgm
1412 ;
1413 ; GFX7-LABEL: global_system_release_atomicrmw:
1414 ; GFX7:       ; %bb.0: ; %entry
1415 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1416 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1417 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1418 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1419 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1420 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1421 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1422 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1423 ; GFX7-NEXT:    s_endpgm
1424 ;
1425 ; GFX10-WGP-LABEL: global_system_release_atomicrmw:
1426 ; GFX10-WGP:       ; %bb.0: ; %entry
1427 ; GFX10-WGP-NEXT:    s_clause 0x1
1428 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1429 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1430 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1431 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1432 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1433 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1434 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1435 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
1436 ; GFX10-WGP-NEXT:    s_endpgm
1437 ;
1438 ; GFX10-CU-LABEL: global_system_release_atomicrmw:
1439 ; GFX10-CU:       ; %bb.0: ; %entry
1440 ; GFX10-CU-NEXT:    s_clause 0x1
1441 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1442 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1443 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1444 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1446 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1447 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1448 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
1449 ; GFX10-CU-NEXT:    s_endpgm
1450 ;
1451 ; SKIP-CACHE-INV-LABEL: global_system_release_atomicrmw:
1452 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1453 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1454 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1455 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1456 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1457 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1458 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1459 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1460 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1461 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1462 ;
1463 ; GFX90A-NOTTGSPLIT-LABEL: global_system_release_atomicrmw:
1464 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1465 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1466 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1467 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1468 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1469 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1470 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
1471 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1472 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1473 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1474 ;
1475 ; GFX90A-TGSPLIT-LABEL: global_system_release_atomicrmw:
1476 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1477 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1478 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1479 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1480 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1481 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1482 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
1483 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1484 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1485 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1486 ;
1487 ; GFX940-NOTTGSPLIT-LABEL: global_system_release_atomicrmw:
1488 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1489 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1490 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1491 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1492 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1493 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1494 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1495 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1496 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1497 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1498 ;
1499 ; GFX940-TGSPLIT-LABEL: global_system_release_atomicrmw:
1500 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1501 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1502 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1503 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1504 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1505 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1506 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1507 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1508 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1509 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1510 ;
1511 ; GFX11-WGP-LABEL: global_system_release_atomicrmw:
1512 ; GFX11-WGP:       ; %bb.0: ; %entry
1513 ; GFX11-WGP-NEXT:    s_clause 0x1
1514 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
1515 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1516 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1517 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1518 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1519 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1520 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1521 ; GFX11-WGP-NEXT:    s_nop 0
1522 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1523 ; GFX11-WGP-NEXT:    s_endpgm
1524 ;
1525 ; GFX11-CU-LABEL: global_system_release_atomicrmw:
1526 ; GFX11-CU:       ; %bb.0: ; %entry
1527 ; GFX11-CU-NEXT:    s_clause 0x1
1528 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
1529 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1530 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1531 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1532 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1533 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1534 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1535 ; GFX11-CU-NEXT:    s_nop 0
1536 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
1537 ; GFX11-CU-NEXT:    s_endpgm
1538     ptr addrspace(1) %out, i32 %in) {
1539 entry:
1540   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in release
1541   ret void
1542 }
1543
1544 define amdgpu_kernel void @global_system_acq_rel_atomicrmw(
1545 ; GFX6-LABEL: global_system_acq_rel_atomicrmw:
1546 ; GFX6:       ; %bb.0: ; %entry
1547 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1548 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1549 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1550 ; GFX6-NEXT:    s_mov_b32 s2, -1
1551 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1552 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1553 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1554 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1555 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
1556 ; GFX6-NEXT:    buffer_wbinvl1
1557 ; GFX6-NEXT:    s_endpgm
1558 ;
1559 ; GFX7-LABEL: global_system_acq_rel_atomicrmw:
1560 ; GFX7:       ; %bb.0: ; %entry
1561 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1562 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1563 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1564 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1565 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1566 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1567 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1568 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1569 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1570 ; GFX7-NEXT:    buffer_wbinvl1_vol
1571 ; GFX7-NEXT:    s_endpgm
1572 ;
1573 ; GFX10-WGP-LABEL: global_system_acq_rel_atomicrmw:
1574 ; GFX10-WGP:       ; %bb.0: ; %entry
1575 ; GFX10-WGP-NEXT:    s_clause 0x1
1576 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1577 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1578 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1579 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1580 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1581 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1582 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1583 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
1584 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1585 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1586 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1587 ; GFX10-WGP-NEXT:    s_endpgm
1588 ;
1589 ; GFX10-CU-LABEL: global_system_acq_rel_atomicrmw:
1590 ; GFX10-CU:       ; %bb.0: ; %entry
1591 ; GFX10-CU-NEXT:    s_clause 0x1
1592 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1593 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1594 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1595 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1596 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1597 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1598 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1599 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
1600 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1601 ; GFX10-CU-NEXT:    buffer_gl0_inv
1602 ; GFX10-CU-NEXT:    buffer_gl1_inv
1603 ; GFX10-CU-NEXT:    s_endpgm
1604 ;
1605 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_atomicrmw:
1606 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1607 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1608 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1609 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1610 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1611 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1612 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1613 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1614 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1615 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
1616 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1617 ;
1618 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_atomicrmw:
1619 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1620 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1621 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1622 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1623 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1624 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1625 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
1626 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1627 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1628 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1629 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
1630 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1631 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1632 ;
1633 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_atomicrmw:
1634 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1635 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1636 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1637 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1638 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1639 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1640 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
1641 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1642 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1643 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1644 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
1645 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1646 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1647 ;
1648 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_atomicrmw:
1649 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1650 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1651 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1652 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1653 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1654 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1655 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1656 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1657 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1658 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1659 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
1660 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1661 ;
1662 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_atomicrmw:
1663 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1664 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1665 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1666 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1667 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1668 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1669 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1670 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1671 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1672 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1673 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
1674 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1675 ;
1676 ; GFX11-WGP-LABEL: global_system_acq_rel_atomicrmw:
1677 ; GFX11-WGP:       ; %bb.0: ; %entry
1678 ; GFX11-WGP-NEXT:    s_clause 0x1
1679 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
1680 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1681 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1682 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1683 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1684 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1685 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1686 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1687 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1688 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1689 ; GFX11-WGP-NEXT:    s_endpgm
1690 ;
1691 ; GFX11-CU-LABEL: global_system_acq_rel_atomicrmw:
1692 ; GFX11-CU:       ; %bb.0: ; %entry
1693 ; GFX11-CU-NEXT:    s_clause 0x1
1694 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
1695 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1696 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1697 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1698 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1699 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1700 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1701 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1702 ; GFX11-CU-NEXT:    buffer_gl0_inv
1703 ; GFX11-CU-NEXT:    buffer_gl1_inv
1704 ; GFX11-CU-NEXT:    s_endpgm
1705     ptr addrspace(1) %out, i32 %in) {
1706 entry:
1707   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in acq_rel
1708   ret void
1709 }
1710
1711 define amdgpu_kernel void @global_system_seq_cst_atomicrmw(
1712 ; GFX6-LABEL: global_system_seq_cst_atomicrmw:
1713 ; GFX6:       ; %bb.0: ; %entry
1714 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1715 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1716 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1717 ; GFX6-NEXT:    s_mov_b32 s2, -1
1718 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1719 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1720 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1721 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1722 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
1723 ; GFX6-NEXT:    buffer_wbinvl1
1724 ; GFX6-NEXT:    s_endpgm
1725 ;
1726 ; GFX7-LABEL: global_system_seq_cst_atomicrmw:
1727 ; GFX7:       ; %bb.0: ; %entry
1728 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1729 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1730 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1731 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1732 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1733 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1734 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1735 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1736 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1737 ; GFX7-NEXT:    buffer_wbinvl1_vol
1738 ; GFX7-NEXT:    s_endpgm
1739 ;
1740 ; GFX10-WGP-LABEL: global_system_seq_cst_atomicrmw:
1741 ; GFX10-WGP:       ; %bb.0: ; %entry
1742 ; GFX10-WGP-NEXT:    s_clause 0x1
1743 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1744 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1745 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1746 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1747 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1748 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1749 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1750 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
1751 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1752 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1753 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1754 ; GFX10-WGP-NEXT:    s_endpgm
1755 ;
1756 ; GFX10-CU-LABEL: global_system_seq_cst_atomicrmw:
1757 ; GFX10-CU:       ; %bb.0: ; %entry
1758 ; GFX10-CU-NEXT:    s_clause 0x1
1759 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1760 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1761 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1762 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1763 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1764 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1765 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1766 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
1767 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1768 ; GFX10-CU-NEXT:    buffer_gl0_inv
1769 ; GFX10-CU-NEXT:    buffer_gl1_inv
1770 ; GFX10-CU-NEXT:    s_endpgm
1771 ;
1772 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_atomicrmw:
1773 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1774 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1775 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1776 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1777 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1778 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1779 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1780 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1781 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
1782 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
1783 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1784 ;
1785 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_atomicrmw:
1786 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1787 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1788 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1789 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1790 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1791 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1792 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
1793 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1794 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1795 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1796 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
1797 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1798 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1799 ;
1800 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_atomicrmw:
1801 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1802 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1803 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1804 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1805 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1806 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1807 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
1808 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1809 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
1810 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1811 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
1812 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1813 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1814 ;
1815 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_atomicrmw:
1816 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1817 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1818 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1819 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1820 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1821 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1822 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1823 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1824 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1825 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1826 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
1827 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1828 ;
1829 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_atomicrmw:
1830 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1831 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1832 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1833 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1834 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1835 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1836 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
1837 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1838 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
1839 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1840 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
1841 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1842 ;
1843 ; GFX11-WGP-LABEL: global_system_seq_cst_atomicrmw:
1844 ; GFX11-WGP:       ; %bb.0: ; %entry
1845 ; GFX11-WGP-NEXT:    s_clause 0x1
1846 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
1847 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1848 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1849 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1850 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1851 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1852 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1853 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1854 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1855 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1856 ; GFX11-WGP-NEXT:    s_endpgm
1857 ;
1858 ; GFX11-CU-LABEL: global_system_seq_cst_atomicrmw:
1859 ; GFX11-CU:       ; %bb.0: ; %entry
1860 ; GFX11-CU-NEXT:    s_clause 0x1
1861 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
1862 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1863 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1864 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
1865 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1866 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1867 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
1868 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1869 ; GFX11-CU-NEXT:    buffer_gl0_inv
1870 ; GFX11-CU-NEXT:    buffer_gl1_inv
1871 ; GFX11-CU-NEXT:    s_endpgm
1872     ptr addrspace(1) %out, i32 %in) {
1873 entry:
1874   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in seq_cst
1875   ret void
1876 }
1877
1878 define amdgpu_kernel void @global_system_acquire_ret_atomicrmw(
1879 ; GFX6-LABEL: global_system_acquire_ret_atomicrmw:
1880 ; GFX6:       ; %bb.0: ; %entry
1881 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
1882 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1883 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
1884 ; GFX6-NEXT:    s_mov_b32 s2, -1
1885 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1886 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
1887 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
1888 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
1889 ; GFX6-NEXT:    buffer_wbinvl1
1890 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
1891 ; GFX6-NEXT:    s_endpgm
1892 ;
1893 ; GFX7-LABEL: global_system_acquire_ret_atomicrmw:
1894 ; GFX7:       ; %bb.0: ; %entry
1895 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1896 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1897 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1898 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1899 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1900 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1901 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1902 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1903 ; GFX7-NEXT:    buffer_wbinvl1_vol
1904 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
1905 ; GFX7-NEXT:    s_endpgm
1906 ;
1907 ; GFX10-WGP-LABEL: global_system_acquire_ret_atomicrmw:
1908 ; GFX10-WGP:       ; %bb.0: ; %entry
1909 ; GFX10-WGP-NEXT:    s_clause 0x1
1910 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1911 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1912 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
1913 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1914 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1915 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
1916 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
1917 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1918 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1919 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
1920 ; GFX10-WGP-NEXT:    s_endpgm
1921 ;
1922 ; GFX10-CU-LABEL: global_system_acquire_ret_atomicrmw:
1923 ; GFX10-CU:       ; %bb.0: ; %entry
1924 ; GFX10-CU-NEXT:    s_clause 0x1
1925 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1926 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1927 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
1928 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1929 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1930 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
1931 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
1932 ; GFX10-CU-NEXT:    buffer_gl0_inv
1933 ; GFX10-CU-NEXT:    buffer_gl1_inv
1934 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
1935 ; GFX10-CU-NEXT:    s_endpgm
1936 ;
1937 ; SKIP-CACHE-INV-LABEL: global_system_acquire_ret_atomicrmw:
1938 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1939 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
1940 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1941 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
1942 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
1943 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1944 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
1945 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
1946 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
1947 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
1948 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1949 ;
1950 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_ret_atomicrmw:
1951 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1952 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1953 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1954 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1955 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1956 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1957 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
1958 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1959 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
1960 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1961 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
1962 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1963 ;
1964 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_ret_atomicrmw:
1965 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1966 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1967 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1968 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1969 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1970 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1971 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
1972 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1973 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
1974 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1975 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
1976 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1977 ;
1978 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_ret_atomicrmw:
1979 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1980 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1981 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1982 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1983 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1984 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1985 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
1986 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1987 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
1988 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
1989 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1990 ;
1991 ; GFX940-TGSPLIT-LABEL: global_system_acquire_ret_atomicrmw:
1992 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1993 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1994 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1995 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
1996 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1997 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1998 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
1999 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2000 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
2001 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
2002 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2003 ;
2004 ; GFX11-WGP-LABEL: global_system_acquire_ret_atomicrmw:
2005 ; GFX11-WGP:       ; %bb.0: ; %entry
2006 ; GFX11-WGP-NEXT:    s_clause 0x1
2007 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
2008 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2009 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2010 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2011 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2012 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
2013 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2014 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2015 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
2016 ; GFX11-WGP-NEXT:    s_nop 0
2017 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2018 ; GFX11-WGP-NEXT:    s_endpgm
2019 ;
2020 ; GFX11-CU-LABEL: global_system_acquire_ret_atomicrmw:
2021 ; GFX11-CU:       ; %bb.0: ; %entry
2022 ; GFX11-CU-NEXT:    s_clause 0x1
2023 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
2024 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2025 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2026 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2027 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2028 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
2029 ; GFX11-CU-NEXT:    buffer_gl0_inv
2030 ; GFX11-CU-NEXT:    buffer_gl1_inv
2031 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
2032 ; GFX11-CU-NEXT:    s_nop 0
2033 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2034 ; GFX11-CU-NEXT:    s_endpgm
2035     ptr addrspace(1) %out, i32 %in) {
2036 entry:
2037   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in acquire
2038   store i32 %val, ptr addrspace(1) %out, align 4
2039   ret void
2040 }
2041
2042 define amdgpu_kernel void @global_system_acq_rel_ret_atomicrmw(
2043 ; GFX6-LABEL: global_system_acq_rel_ret_atomicrmw:
2044 ; GFX6:       ; %bb.0: ; %entry
2045 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
2046 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2047 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
2048 ; GFX6-NEXT:    s_mov_b32 s2, -1
2049 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2050 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
2051 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2052 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
2053 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
2054 ; GFX6-NEXT:    buffer_wbinvl1
2055 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
2056 ; GFX6-NEXT:    s_endpgm
2057 ;
2058 ; GFX7-LABEL: global_system_acq_rel_ret_atomicrmw:
2059 ; GFX7:       ; %bb.0: ; %entry
2060 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2061 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
2062 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2063 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2064 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2065 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2066 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2067 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2068 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2069 ; GFX7-NEXT:    buffer_wbinvl1_vol
2070 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
2071 ; GFX7-NEXT:    s_endpgm
2072 ;
2073 ; GFX10-WGP-LABEL: global_system_acq_rel_ret_atomicrmw:
2074 ; GFX10-WGP:       ; %bb.0: ; %entry
2075 ; GFX10-WGP-NEXT:    s_clause 0x1
2076 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
2077 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2078 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
2079 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2080 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2081 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2082 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2083 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2084 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
2085 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2086 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2087 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
2088 ; GFX10-WGP-NEXT:    s_endpgm
2089 ;
2090 ; GFX10-CU-LABEL: global_system_acq_rel_ret_atomicrmw:
2091 ; GFX10-CU:       ; %bb.0: ; %entry
2092 ; GFX10-CU-NEXT:    s_clause 0x1
2093 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
2094 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2095 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
2096 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2097 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2098 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2099 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2100 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2101 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
2102 ; GFX10-CU-NEXT:    buffer_gl0_inv
2103 ; GFX10-CU-NEXT:    buffer_gl1_inv
2104 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
2105 ; GFX10-CU-NEXT:    s_endpgm
2106 ;
2107 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_ret_atomicrmw:
2108 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2109 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
2110 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
2111 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
2112 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
2113 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2114 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
2115 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2116 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
2117 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
2118 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
2119 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2120 ;
2121 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_ret_atomicrmw:
2122 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2123 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2124 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2125 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2126 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2127 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2128 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
2129 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2130 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2131 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2132 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
2133 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2134 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
2135 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2136 ;
2137 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_ret_atomicrmw:
2138 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2139 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2140 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2141 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2142 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2143 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2144 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
2145 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2146 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2147 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2148 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
2149 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2150 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
2151 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2152 ;
2153 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_ret_atomicrmw:
2154 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2155 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2156 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2157 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2158 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2159 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
2160 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2161 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2162 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
2163 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2164 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
2165 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
2166 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2167 ;
2168 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_ret_atomicrmw:
2169 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2170 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2171 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2172 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2173 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2174 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
2175 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2176 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2177 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
2178 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2179 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
2180 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
2181 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2182 ;
2183 ; GFX11-WGP-LABEL: global_system_acq_rel_ret_atomicrmw:
2184 ; GFX11-WGP:       ; %bb.0: ; %entry
2185 ; GFX11-WGP-NEXT:    s_clause 0x1
2186 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
2187 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2188 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2189 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2190 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2191 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2192 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2193 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
2194 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2195 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2196 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
2197 ; GFX11-WGP-NEXT:    s_nop 0
2198 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2199 ; GFX11-WGP-NEXT:    s_endpgm
2200 ;
2201 ; GFX11-CU-LABEL: global_system_acq_rel_ret_atomicrmw:
2202 ; GFX11-CU:       ; %bb.0: ; %entry
2203 ; GFX11-CU-NEXT:    s_clause 0x1
2204 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
2205 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2206 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2207 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2208 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2209 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2210 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2211 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
2212 ; GFX11-CU-NEXT:    buffer_gl0_inv
2213 ; GFX11-CU-NEXT:    buffer_gl1_inv
2214 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
2215 ; GFX11-CU-NEXT:    s_nop 0
2216 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2217 ; GFX11-CU-NEXT:    s_endpgm
2218     ptr addrspace(1) %out, i32 %in) {
2219 entry:
2220   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in acq_rel
2221   store i32 %val, ptr addrspace(1) %out, align 4
2222   ret void
2223 }
2224
2225 define amdgpu_kernel void @global_system_seq_cst_ret_atomicrmw(
2226 ; GFX6-LABEL: global_system_seq_cst_ret_atomicrmw:
2227 ; GFX6:       ; %bb.0: ; %entry
2228 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
2229 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2230 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
2231 ; GFX6-NEXT:    s_mov_b32 s2, -1
2232 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2233 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
2234 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2235 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
2236 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
2237 ; GFX6-NEXT:    buffer_wbinvl1
2238 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
2239 ; GFX6-NEXT:    s_endpgm
2240 ;
2241 ; GFX7-LABEL: global_system_seq_cst_ret_atomicrmw:
2242 ; GFX7:       ; %bb.0: ; %entry
2243 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2244 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
2245 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2246 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2247 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2248 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2249 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2250 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2251 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2252 ; GFX7-NEXT:    buffer_wbinvl1_vol
2253 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
2254 ; GFX7-NEXT:    s_endpgm
2255 ;
2256 ; GFX10-WGP-LABEL: global_system_seq_cst_ret_atomicrmw:
2257 ; GFX10-WGP:       ; %bb.0: ; %entry
2258 ; GFX10-WGP-NEXT:    s_clause 0x1
2259 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
2260 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2261 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
2262 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2263 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2264 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2265 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2266 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2267 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
2268 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2269 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2270 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
2271 ; GFX10-WGP-NEXT:    s_endpgm
2272 ;
2273 ; GFX10-CU-LABEL: global_system_seq_cst_ret_atomicrmw:
2274 ; GFX10-CU:       ; %bb.0: ; %entry
2275 ; GFX10-CU-NEXT:    s_clause 0x1
2276 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
2277 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2278 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
2279 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2280 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2281 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2282 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2283 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2284 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
2285 ; GFX10-CU-NEXT:    buffer_gl0_inv
2286 ; GFX10-CU-NEXT:    buffer_gl1_inv
2287 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
2288 ; GFX10-CU-NEXT:    s_endpgm
2289 ;
2290 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_ret_atomicrmw:
2291 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2292 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
2293 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
2294 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
2295 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
2296 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2297 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
2298 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2299 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
2300 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
2301 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
2302 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2303 ;
2304 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_ret_atomicrmw:
2305 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2306 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2307 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2308 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2309 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2310 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2311 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
2312 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2313 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2314 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2315 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
2316 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2317 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
2318 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2319 ;
2320 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_ret_atomicrmw:
2321 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2322 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2323 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2324 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2325 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2326 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2327 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
2328 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2329 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
2330 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2331 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
2332 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2333 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
2334 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2335 ;
2336 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_ret_atomicrmw:
2337 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2338 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2339 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2340 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2341 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2342 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
2343 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2344 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2345 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
2346 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2347 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
2348 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
2349 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2350 ;
2351 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_ret_atomicrmw:
2352 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2353 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2354 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2355 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
2356 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2357 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
2358 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2359 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2360 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
2361 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2362 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
2363 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
2364 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2365 ;
2366 ; GFX11-WGP-LABEL: global_system_seq_cst_ret_atomicrmw:
2367 ; GFX11-WGP:       ; %bb.0: ; %entry
2368 ; GFX11-WGP-NEXT:    s_clause 0x1
2369 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
2370 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2371 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2372 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2373 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2374 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2375 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2376 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
2377 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2378 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2379 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
2380 ; GFX11-WGP-NEXT:    s_nop 0
2381 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2382 ; GFX11-WGP-NEXT:    s_endpgm
2383 ;
2384 ; GFX11-CU-LABEL: global_system_seq_cst_ret_atomicrmw:
2385 ; GFX11-CU:       ; %bb.0: ; %entry
2386 ; GFX11-CU-NEXT:    s_clause 0x1
2387 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
2388 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2389 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2390 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
2391 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2392 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2393 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
2394 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
2395 ; GFX11-CU-NEXT:    buffer_gl0_inv
2396 ; GFX11-CU-NEXT:    buffer_gl1_inv
2397 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
2398 ; GFX11-CU-NEXT:    s_nop 0
2399 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2400 ; GFX11-CU-NEXT:    s_endpgm
2401     ptr addrspace(1) %out, i32 %in) {
2402 entry:
2403   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in seq_cst
2404   store i32 %val, ptr addrspace(1) %out, align 4
2405   ret void
2406 }
2407
2408 define amdgpu_kernel void @global_system_monotonic_monotonic_cmpxchg(
2409 ; GFX6-LABEL: global_system_monotonic_monotonic_cmpxchg:
2410 ; GFX6:       ; %bb.0: ; %entry
2411 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2412 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
2413 ; GFX6-NEXT:    s_mov_b32 s6, -1
2414 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2415 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2416 ; GFX6-NEXT:    s_mov_b32 s4, s0
2417 ; GFX6-NEXT:    s_mov_b32 s5, s1
2418 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
2419 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2420 ; GFX6-NEXT:    s_endpgm
2421 ;
2422 ; GFX7-LABEL: global_system_monotonic_monotonic_cmpxchg:
2423 ; GFX7:       ; %bb.0: ; %entry
2424 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2425 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2426 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2427 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2428 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2429 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2430 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2431 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2432 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2433 ; GFX7-NEXT:    s_endpgm
2434 ;
2435 ; GFX10-WGP-LABEL: global_system_monotonic_monotonic_cmpxchg:
2436 ; GFX10-WGP:       ; %bb.0: ; %entry
2437 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2438 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
2439 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2440 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
2441 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
2442 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2443 ; GFX10-WGP-NEXT:    s_endpgm
2444 ;
2445 ; GFX10-CU-LABEL: global_system_monotonic_monotonic_cmpxchg:
2446 ; GFX10-CU:       ; %bb.0: ; %entry
2447 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2448 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
2449 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2450 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
2451 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
2452 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2453 ; GFX10-CU-NEXT:    s_endpgm
2454 ;
2455 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_monotonic_cmpxchg:
2456 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2457 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2458 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
2459 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
2460 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2461 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2462 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
2463 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
2464 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
2465 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2466 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2467 ;
2468 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_monotonic_cmpxchg:
2469 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2470 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2471 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2472 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2473 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2474 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2475 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2476 ;
2477 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_monotonic_cmpxchg:
2478 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2479 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2480 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2481 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2482 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2483 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2484 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2485 ;
2486 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_monotonic_cmpxchg:
2487 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2488 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2489 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2490 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2491 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2492 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2493 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2494 ;
2495 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_monotonic_cmpxchg:
2496 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2497 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2498 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2499 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2500 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2501 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2502 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2503 ;
2504 ; GFX11-WGP-LABEL: global_system_monotonic_monotonic_cmpxchg:
2505 ; GFX11-WGP:       ; %bb.0: ; %entry
2506 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2507 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
2508 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2509 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2510 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2511 ; GFX11-WGP-NEXT:    s_nop 0
2512 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2513 ; GFX11-WGP-NEXT:    s_endpgm
2514 ;
2515 ; GFX11-CU-LABEL: global_system_monotonic_monotonic_cmpxchg:
2516 ; GFX11-CU:       ; %bb.0: ; %entry
2517 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2518 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
2519 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2520 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2521 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2522 ; GFX11-CU-NEXT:    s_nop 0
2523 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2524 ; GFX11-CU-NEXT:    s_endpgm
2525     ptr addrspace(1) %out, i32 %in, i32 %old) {
2526 entry:
2527   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
2528   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in monotonic monotonic
2529   ret void
2530 }
2531
2532 define amdgpu_kernel void @global_system_acquire_monotonic_cmpxchg(
2533 ; GFX6-LABEL: global_system_acquire_monotonic_cmpxchg:
2534 ; GFX6:       ; %bb.0: ; %entry
2535 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2536 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
2537 ; GFX6-NEXT:    s_mov_b32 s6, -1
2538 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2539 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2540 ; GFX6-NEXT:    s_mov_b32 s4, s0
2541 ; GFX6-NEXT:    s_mov_b32 s5, s1
2542 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
2543 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2544 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
2545 ; GFX6-NEXT:    buffer_wbinvl1
2546 ; GFX6-NEXT:    s_endpgm
2547 ;
2548 ; GFX7-LABEL: global_system_acquire_monotonic_cmpxchg:
2549 ; GFX7:       ; %bb.0: ; %entry
2550 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2551 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2552 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2553 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2554 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2555 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2556 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2557 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2558 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2559 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2560 ; GFX7-NEXT:    buffer_wbinvl1_vol
2561 ; GFX7-NEXT:    s_endpgm
2562 ;
2563 ; GFX10-WGP-LABEL: global_system_acquire_monotonic_cmpxchg:
2564 ; GFX10-WGP:       ; %bb.0: ; %entry
2565 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2566 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
2567 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2568 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
2569 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
2570 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2571 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2572 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2573 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2574 ; GFX10-WGP-NEXT:    s_endpgm
2575 ;
2576 ; GFX10-CU-LABEL: global_system_acquire_monotonic_cmpxchg:
2577 ; GFX10-CU:       ; %bb.0: ; %entry
2578 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
2580 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2581 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
2582 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
2583 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2584 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2585 ; GFX10-CU-NEXT:    buffer_gl0_inv
2586 ; GFX10-CU-NEXT:    buffer_gl1_inv
2587 ; GFX10-CU-NEXT:    s_endpgm
2588 ;
2589 ; SKIP-CACHE-INV-LABEL: global_system_acquire_monotonic_cmpxchg:
2590 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2591 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2592 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
2593 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
2594 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2595 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2596 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
2597 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
2598 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
2599 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2600 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
2601 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2602 ;
2603 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_monotonic_cmpxchg:
2604 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2605 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2606 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2607 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2608 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2609 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2610 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2611 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
2612 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2613 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2614 ;
2615 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_monotonic_cmpxchg:
2616 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2617 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2618 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2619 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2620 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2621 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2622 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2623 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
2624 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2625 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2626 ;
2627 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_monotonic_cmpxchg:
2628 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2629 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2630 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2631 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2632 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2633 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2634 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2635 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
2636 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2637 ;
2638 ; GFX940-TGSPLIT-LABEL: global_system_acquire_monotonic_cmpxchg:
2639 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2640 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2641 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2642 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2643 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2644 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2645 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2646 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
2647 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2648 ;
2649 ; GFX11-WGP-LABEL: global_system_acquire_monotonic_cmpxchg:
2650 ; GFX11-WGP:       ; %bb.0: ; %entry
2651 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2652 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
2653 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2654 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2655 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2656 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2657 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2658 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2659 ; GFX11-WGP-NEXT:    s_endpgm
2660 ;
2661 ; GFX11-CU-LABEL: global_system_acquire_monotonic_cmpxchg:
2662 ; GFX11-CU:       ; %bb.0: ; %entry
2663 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2664 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
2665 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2666 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2667 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2668 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2669 ; GFX11-CU-NEXT:    buffer_gl0_inv
2670 ; GFX11-CU-NEXT:    buffer_gl1_inv
2671 ; GFX11-CU-NEXT:    s_endpgm
2672     ptr addrspace(1) %out, i32 %in, i32 %old) {
2673 entry:
2674   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
2675   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acquire monotonic
2676   ret void
2677 }
2678
2679 define amdgpu_kernel void @global_system_release_monotonic_cmpxchg(
2680 ; GFX6-LABEL: global_system_release_monotonic_cmpxchg:
2681 ; GFX6:       ; %bb.0: ; %entry
2682 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2683 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
2684 ; GFX6-NEXT:    s_mov_b32 s6, -1
2685 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2686 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2687 ; GFX6-NEXT:    s_mov_b32 s4, s0
2688 ; GFX6-NEXT:    s_mov_b32 s5, s1
2689 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
2690 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2691 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2692 ; GFX6-NEXT:    s_endpgm
2693 ;
2694 ; GFX7-LABEL: global_system_release_monotonic_cmpxchg:
2695 ; GFX7:       ; %bb.0: ; %entry
2696 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2697 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2698 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2699 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2700 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2701 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2702 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2703 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2704 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2705 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2706 ; GFX7-NEXT:    s_endpgm
2707 ;
2708 ; GFX10-WGP-LABEL: global_system_release_monotonic_cmpxchg:
2709 ; GFX10-WGP:       ; %bb.0: ; %entry
2710 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2711 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
2712 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2713 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
2714 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
2715 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2716 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2717 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2718 ; GFX10-WGP-NEXT:    s_endpgm
2719 ;
2720 ; GFX10-CU-LABEL: global_system_release_monotonic_cmpxchg:
2721 ; GFX10-CU:       ; %bb.0: ; %entry
2722 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2723 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
2724 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2725 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
2726 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
2727 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2728 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2729 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2730 ; GFX10-CU-NEXT:    s_endpgm
2731 ;
2732 ; SKIP-CACHE-INV-LABEL: global_system_release_monotonic_cmpxchg:
2733 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2734 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2735 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
2736 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
2737 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2738 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2739 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
2740 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
2741 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
2742 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2743 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2744 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2745 ;
2746 ; GFX90A-NOTTGSPLIT-LABEL: global_system_release_monotonic_cmpxchg:
2747 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2748 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2749 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2750 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2751 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2752 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
2753 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2754 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2755 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2756 ;
2757 ; GFX90A-TGSPLIT-LABEL: global_system_release_monotonic_cmpxchg:
2758 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2759 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2760 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2761 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2762 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2763 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
2764 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2765 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2766 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2767 ;
2768 ; GFX940-NOTTGSPLIT-LABEL: global_system_release_monotonic_cmpxchg:
2769 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2770 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2771 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2772 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2773 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2774 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2775 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2776 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2777 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2778 ;
2779 ; GFX940-TGSPLIT-LABEL: global_system_release_monotonic_cmpxchg:
2780 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2781 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2782 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2783 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2784 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2785 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2786 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2787 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2788 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2789 ;
2790 ; GFX11-WGP-LABEL: global_system_release_monotonic_cmpxchg:
2791 ; GFX11-WGP:       ; %bb.0: ; %entry
2792 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2793 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
2794 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2795 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2796 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2797 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2798 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2799 ; GFX11-WGP-NEXT:    s_nop 0
2800 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2801 ; GFX11-WGP-NEXT:    s_endpgm
2802 ;
2803 ; GFX11-CU-LABEL: global_system_release_monotonic_cmpxchg:
2804 ; GFX11-CU:       ; %bb.0: ; %entry
2805 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2806 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
2807 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2808 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2809 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2810 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2811 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2812 ; GFX11-CU-NEXT:    s_nop 0
2813 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
2814 ; GFX11-CU-NEXT:    s_endpgm
2815     ptr addrspace(1) %out, i32 %in, i32 %old) {
2816 entry:
2817   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
2818   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in release monotonic
2819   ret void
2820 }
2821
2822 define amdgpu_kernel void @global_system_acq_rel_monotonic_cmpxchg(
2823 ; GFX6-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2824 ; GFX6:       ; %bb.0: ; %entry
2825 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2826 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
2827 ; GFX6-NEXT:    s_mov_b32 s6, -1
2828 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2829 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2830 ; GFX6-NEXT:    s_mov_b32 s4, s0
2831 ; GFX6-NEXT:    s_mov_b32 s5, s1
2832 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
2833 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2834 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2835 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
2836 ; GFX6-NEXT:    buffer_wbinvl1
2837 ; GFX6-NEXT:    s_endpgm
2838 ;
2839 ; GFX7-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2840 ; GFX7:       ; %bb.0: ; %entry
2841 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2842 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2843 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2844 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2845 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2846 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2847 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2848 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2849 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2850 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2851 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2852 ; GFX7-NEXT:    buffer_wbinvl1_vol
2853 ; GFX7-NEXT:    s_endpgm
2854 ;
2855 ; GFX10-WGP-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2856 ; GFX10-WGP:       ; %bb.0: ; %entry
2857 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2858 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
2859 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2860 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
2861 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
2862 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2863 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2864 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2865 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2866 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2867 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2868 ; GFX10-WGP-NEXT:    s_endpgm
2869 ;
2870 ; GFX10-CU-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2871 ; GFX10-CU:       ; %bb.0: ; %entry
2872 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2873 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
2874 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2875 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
2876 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
2877 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2878 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2879 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2880 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2881 ; GFX10-CU-NEXT:    buffer_gl0_inv
2882 ; GFX10-CU-NEXT:    buffer_gl1_inv
2883 ; GFX10-CU-NEXT:    s_endpgm
2884 ;
2885 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2886 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2887 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2888 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
2889 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
2890 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2891 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2892 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
2893 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
2894 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
2895 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2896 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
2897 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
2898 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2899 ;
2900 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2901 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2902 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2903 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2904 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2905 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2906 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
2907 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2908 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2909 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2910 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
2911 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2912 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2913 ;
2914 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2915 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2916 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2917 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2918 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2919 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
2920 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
2921 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2922 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
2923 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2924 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
2925 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2926 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2927 ;
2928 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2929 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2930 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2931 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2932 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2933 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2934 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2935 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2936 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2937 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2938 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
2939 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2940 ;
2941 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2942 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2943 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2944 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
2945 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2946 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2947 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
2948 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2949 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
2950 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2951 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
2952 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2953 ;
2954 ; GFX11-WGP-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2955 ; GFX11-WGP:       ; %bb.0: ; %entry
2956 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2957 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
2958 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2959 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2960 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2961 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2962 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2963 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2964 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2965 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2966 ; GFX11-WGP-NEXT:    s_endpgm
2967 ;
2968 ; GFX11-CU-LABEL: global_system_acq_rel_monotonic_cmpxchg:
2969 ; GFX11-CU:       ; %bb.0: ; %entry
2970 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2971 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
2972 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2973 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2974 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2975 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2976 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
2977 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2978 ; GFX11-CU-NEXT:    buffer_gl0_inv
2979 ; GFX11-CU-NEXT:    buffer_gl1_inv
2980 ; GFX11-CU-NEXT:    s_endpgm
2981     ptr addrspace(1) %out, i32 %in, i32 %old) {
2982 entry:
2983   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
2984   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acq_rel monotonic
2985   ret void
2986 }
2987
2988 define amdgpu_kernel void @global_system_seq_cst_monotonic_cmpxchg(
2989 ; GFX6-LABEL: global_system_seq_cst_monotonic_cmpxchg:
2990 ; GFX6:       ; %bb.0: ; %entry
2991 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2992 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
2993 ; GFX6-NEXT:    s_mov_b32 s6, -1
2994 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2995 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2996 ; GFX6-NEXT:    s_mov_b32 s4, s0
2997 ; GFX6-NEXT:    s_mov_b32 s5, s1
2998 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
2999 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3000 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3001 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3002 ; GFX6-NEXT:    buffer_wbinvl1
3003 ; GFX6-NEXT:    s_endpgm
3004 ;
3005 ; GFX7-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3006 ; GFX7:       ; %bb.0: ; %entry
3007 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3008 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3009 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3010 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3011 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3012 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3013 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3014 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3015 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3016 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3017 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3018 ; GFX7-NEXT:    buffer_wbinvl1_vol
3019 ; GFX7-NEXT:    s_endpgm
3020 ;
3021 ; GFX10-WGP-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3022 ; GFX10-WGP:       ; %bb.0: ; %entry
3023 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3024 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3025 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3026 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3027 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3028 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3029 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3030 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3031 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3032 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3033 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3034 ; GFX10-WGP-NEXT:    s_endpgm
3035 ;
3036 ; GFX10-CU-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3037 ; GFX10-CU:       ; %bb.0: ; %entry
3038 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3039 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3040 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3041 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3042 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3043 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3044 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3045 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3046 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3047 ; GFX10-CU-NEXT:    buffer_gl0_inv
3048 ; GFX10-CU-NEXT:    buffer_gl1_inv
3049 ; GFX10-CU-NEXT:    s_endpgm
3050 ;
3051 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3052 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3053 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3054 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3055 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3056 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3057 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3058 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3059 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3060 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3061 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3062 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3063 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3064 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3065 ;
3066 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3067 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3068 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3069 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3070 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3071 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3072 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
3073 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3074 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3075 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3076 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3077 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3078 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3079 ;
3080 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3081 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3082 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3083 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3084 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3085 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3086 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
3087 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3088 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3089 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3090 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3091 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3092 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3093 ;
3094 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3095 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3096 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3097 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3098 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3099 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3100 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3101 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3102 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3103 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3104 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3105 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3106 ;
3107 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3108 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3109 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3110 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3111 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3112 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3113 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3114 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3115 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3116 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3117 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3118 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3119 ;
3120 ; GFX11-WGP-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3121 ; GFX11-WGP:       ; %bb.0: ; %entry
3122 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3123 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3124 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3125 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3126 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3127 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3128 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3129 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3130 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3131 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3132 ; GFX11-WGP-NEXT:    s_endpgm
3133 ;
3134 ; GFX11-CU-LABEL: global_system_seq_cst_monotonic_cmpxchg:
3135 ; GFX11-CU:       ; %bb.0: ; %entry
3136 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3137 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3138 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3139 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3140 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3141 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3142 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3143 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3144 ; GFX11-CU-NEXT:    buffer_gl0_inv
3145 ; GFX11-CU-NEXT:    buffer_gl1_inv
3146 ; GFX11-CU-NEXT:    s_endpgm
3147     ptr addrspace(1) %out, i32 %in, i32 %old) {
3148 entry:
3149   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3150   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst monotonic
3151   ret void
3152 }
3153
3154 define amdgpu_kernel void @global_system_monotonic_acquire_cmpxchg(
3155 ; GFX6-LABEL: global_system_monotonic_acquire_cmpxchg:
3156 ; GFX6:       ; %bb.0: ; %entry
3157 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3158 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3159 ; GFX6-NEXT:    s_mov_b32 s6, -1
3160 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3161 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3162 ; GFX6-NEXT:    s_mov_b32 s4, s0
3163 ; GFX6-NEXT:    s_mov_b32 s5, s1
3164 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3165 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3166 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3167 ; GFX6-NEXT:    buffer_wbinvl1
3168 ; GFX6-NEXT:    s_endpgm
3169 ;
3170 ; GFX7-LABEL: global_system_monotonic_acquire_cmpxchg:
3171 ; GFX7:       ; %bb.0: ; %entry
3172 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3173 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3174 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3175 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3176 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3177 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3178 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3179 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3180 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3181 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3182 ; GFX7-NEXT:    buffer_wbinvl1_vol
3183 ; GFX7-NEXT:    s_endpgm
3184 ;
3185 ; GFX10-WGP-LABEL: global_system_monotonic_acquire_cmpxchg:
3186 ; GFX10-WGP:       ; %bb.0: ; %entry
3187 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3188 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3189 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3190 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3191 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3192 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3193 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3194 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3195 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3196 ; GFX10-WGP-NEXT:    s_endpgm
3197 ;
3198 ; GFX10-CU-LABEL: global_system_monotonic_acquire_cmpxchg:
3199 ; GFX10-CU:       ; %bb.0: ; %entry
3200 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3201 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3202 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3203 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3204 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3205 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3206 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3207 ; GFX10-CU-NEXT:    buffer_gl0_inv
3208 ; GFX10-CU-NEXT:    buffer_gl1_inv
3209 ; GFX10-CU-NEXT:    s_endpgm
3210 ;
3211 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_acquire_cmpxchg:
3212 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3213 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3214 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3215 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3216 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3217 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3218 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3219 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3220 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3221 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3222 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3223 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3224 ;
3225 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_acquire_cmpxchg:
3226 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3227 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3228 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3229 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3230 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3231 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3232 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3233 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3234 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3235 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3236 ;
3237 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_acquire_cmpxchg:
3238 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3239 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3240 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3241 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3242 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3243 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3244 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3245 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3246 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3247 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3248 ;
3249 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_acquire_cmpxchg:
3250 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3251 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3252 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3253 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3254 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3255 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3256 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3257 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3258 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3259 ;
3260 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_acquire_cmpxchg:
3261 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3262 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3263 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3264 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3265 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3266 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3267 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3268 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3269 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3270 ;
3271 ; GFX11-WGP-LABEL: global_system_monotonic_acquire_cmpxchg:
3272 ; GFX11-WGP:       ; %bb.0: ; %entry
3273 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3274 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3275 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3276 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3277 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3278 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3279 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3280 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3281 ; GFX11-WGP-NEXT:    s_endpgm
3282 ;
3283 ; GFX11-CU-LABEL: global_system_monotonic_acquire_cmpxchg:
3284 ; GFX11-CU:       ; %bb.0: ; %entry
3285 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3286 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3287 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3288 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3289 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3290 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3291 ; GFX11-CU-NEXT:    buffer_gl0_inv
3292 ; GFX11-CU-NEXT:    buffer_gl1_inv
3293 ; GFX11-CU-NEXT:    s_endpgm
3294     ptr addrspace(1) %out, i32 %in, i32 %old) {
3295 entry:
3296   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3297   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in monotonic acquire
3298   ret void
3299 }
3300
3301 define amdgpu_kernel void @global_system_acquire_acquire_cmpxchg(
3302 ; GFX6-LABEL: global_system_acquire_acquire_cmpxchg:
3303 ; GFX6:       ; %bb.0: ; %entry
3304 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3305 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3306 ; GFX6-NEXT:    s_mov_b32 s6, -1
3307 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3308 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3309 ; GFX6-NEXT:    s_mov_b32 s4, s0
3310 ; GFX6-NEXT:    s_mov_b32 s5, s1
3311 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3312 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3313 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3314 ; GFX6-NEXT:    buffer_wbinvl1
3315 ; GFX6-NEXT:    s_endpgm
3316 ;
3317 ; GFX7-LABEL: global_system_acquire_acquire_cmpxchg:
3318 ; GFX7:       ; %bb.0: ; %entry
3319 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3320 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3321 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3322 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3323 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3324 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3325 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3326 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3327 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3328 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3329 ; GFX7-NEXT:    buffer_wbinvl1_vol
3330 ; GFX7-NEXT:    s_endpgm
3331 ;
3332 ; GFX10-WGP-LABEL: global_system_acquire_acquire_cmpxchg:
3333 ; GFX10-WGP:       ; %bb.0: ; %entry
3334 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3335 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3336 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3337 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3338 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3339 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3340 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3341 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3342 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3343 ; GFX10-WGP-NEXT:    s_endpgm
3344 ;
3345 ; GFX10-CU-LABEL: global_system_acquire_acquire_cmpxchg:
3346 ; GFX10-CU:       ; %bb.0: ; %entry
3347 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3348 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3349 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3350 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3351 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3352 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3353 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3354 ; GFX10-CU-NEXT:    buffer_gl0_inv
3355 ; GFX10-CU-NEXT:    buffer_gl1_inv
3356 ; GFX10-CU-NEXT:    s_endpgm
3357 ;
3358 ; SKIP-CACHE-INV-LABEL: global_system_acquire_acquire_cmpxchg:
3359 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3360 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3361 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3362 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3363 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3364 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3365 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3366 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3367 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3368 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3369 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3370 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3371 ;
3372 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_acquire_cmpxchg:
3373 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3374 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3375 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3376 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3377 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3378 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3379 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3380 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3381 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3382 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3383 ;
3384 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_acquire_cmpxchg:
3385 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3386 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3387 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3388 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3389 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3390 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3391 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3392 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3393 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3394 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3395 ;
3396 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_acquire_cmpxchg:
3397 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3398 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3399 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3400 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3401 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3402 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3403 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3404 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3405 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3406 ;
3407 ; GFX940-TGSPLIT-LABEL: global_system_acquire_acquire_cmpxchg:
3408 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3409 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3410 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3411 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3412 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3413 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3414 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3415 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3416 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3417 ;
3418 ; GFX11-WGP-LABEL: global_system_acquire_acquire_cmpxchg:
3419 ; GFX11-WGP:       ; %bb.0: ; %entry
3420 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3421 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3422 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3423 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3424 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3425 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3426 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3427 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3428 ; GFX11-WGP-NEXT:    s_endpgm
3429 ;
3430 ; GFX11-CU-LABEL: global_system_acquire_acquire_cmpxchg:
3431 ; GFX11-CU:       ; %bb.0: ; %entry
3432 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3433 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3434 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3435 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3436 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3437 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3438 ; GFX11-CU-NEXT:    buffer_gl0_inv
3439 ; GFX11-CU-NEXT:    buffer_gl1_inv
3440 ; GFX11-CU-NEXT:    s_endpgm
3441     ptr addrspace(1) %out, i32 %in, i32 %old) {
3442 entry:
3443   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3444   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acquire acquire
3445   ret void
3446 }
3447
3448 define amdgpu_kernel void @global_system_release_acquire_cmpxchg(
3449 ; GFX6-LABEL: global_system_release_acquire_cmpxchg:
3450 ; GFX6:       ; %bb.0: ; %entry
3451 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3452 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3453 ; GFX6-NEXT:    s_mov_b32 s6, -1
3454 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3455 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3456 ; GFX6-NEXT:    s_mov_b32 s4, s0
3457 ; GFX6-NEXT:    s_mov_b32 s5, s1
3458 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3459 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3460 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3461 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3462 ; GFX6-NEXT:    buffer_wbinvl1
3463 ; GFX6-NEXT:    s_endpgm
3464 ;
3465 ; GFX7-LABEL: global_system_release_acquire_cmpxchg:
3466 ; GFX7:       ; %bb.0: ; %entry
3467 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3468 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3469 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3470 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3471 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3472 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3473 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3474 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3475 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3476 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3477 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3478 ; GFX7-NEXT:    buffer_wbinvl1_vol
3479 ; GFX7-NEXT:    s_endpgm
3480 ;
3481 ; GFX10-WGP-LABEL: global_system_release_acquire_cmpxchg:
3482 ; GFX10-WGP:       ; %bb.0: ; %entry
3483 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3484 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3485 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3486 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3487 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3488 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3489 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3490 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3491 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3492 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3493 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3494 ; GFX10-WGP-NEXT:    s_endpgm
3495 ;
3496 ; GFX10-CU-LABEL: global_system_release_acquire_cmpxchg:
3497 ; GFX10-CU:       ; %bb.0: ; %entry
3498 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3499 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3500 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3501 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3502 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3503 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3504 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3505 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3506 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3507 ; GFX10-CU-NEXT:    buffer_gl0_inv
3508 ; GFX10-CU-NEXT:    buffer_gl1_inv
3509 ; GFX10-CU-NEXT:    s_endpgm
3510 ;
3511 ; SKIP-CACHE-INV-LABEL: global_system_release_acquire_cmpxchg:
3512 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3513 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3514 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3515 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3516 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3517 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3518 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3519 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3520 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3521 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3522 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3523 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3524 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3525 ;
3526 ; GFX90A-NOTTGSPLIT-LABEL: global_system_release_acquire_cmpxchg:
3527 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3528 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3529 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3530 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3531 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3532 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
3533 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3534 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3535 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3536 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3537 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3538 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3539 ;
3540 ; GFX90A-TGSPLIT-LABEL: global_system_release_acquire_cmpxchg:
3541 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3542 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3543 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3544 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3545 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3546 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
3547 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3548 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3549 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3550 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3551 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3552 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3553 ;
3554 ; GFX940-NOTTGSPLIT-LABEL: global_system_release_acquire_cmpxchg:
3555 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3556 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3557 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3558 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3559 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3560 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3561 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3562 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3563 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3564 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3565 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3566 ;
3567 ; GFX940-TGSPLIT-LABEL: global_system_release_acquire_cmpxchg:
3568 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3569 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3570 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3571 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3572 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3573 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3574 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3575 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3576 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3577 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3578 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3579 ;
3580 ; GFX11-WGP-LABEL: global_system_release_acquire_cmpxchg:
3581 ; GFX11-WGP:       ; %bb.0: ; %entry
3582 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3583 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3584 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3585 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3586 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3587 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3588 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3589 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3590 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3591 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3592 ; GFX11-WGP-NEXT:    s_endpgm
3593 ;
3594 ; GFX11-CU-LABEL: global_system_release_acquire_cmpxchg:
3595 ; GFX11-CU:       ; %bb.0: ; %entry
3596 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3597 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3598 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3599 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3600 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3601 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3602 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3603 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3604 ; GFX11-CU-NEXT:    buffer_gl0_inv
3605 ; GFX11-CU-NEXT:    buffer_gl1_inv
3606 ; GFX11-CU-NEXT:    s_endpgm
3607     ptr addrspace(1) %out, i32 %in, i32 %old) {
3608 entry:
3609   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3610   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in release acquire
3611   ret void
3612 }
3613
3614 define amdgpu_kernel void @global_system_acq_rel_acquire_cmpxchg(
3615 ; GFX6-LABEL: global_system_acq_rel_acquire_cmpxchg:
3616 ; GFX6:       ; %bb.0: ; %entry
3617 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3618 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3619 ; GFX6-NEXT:    s_mov_b32 s6, -1
3620 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3621 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3622 ; GFX6-NEXT:    s_mov_b32 s4, s0
3623 ; GFX6-NEXT:    s_mov_b32 s5, s1
3624 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3625 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3626 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3627 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3628 ; GFX6-NEXT:    buffer_wbinvl1
3629 ; GFX6-NEXT:    s_endpgm
3630 ;
3631 ; GFX7-LABEL: global_system_acq_rel_acquire_cmpxchg:
3632 ; GFX7:       ; %bb.0: ; %entry
3633 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3634 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3635 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3636 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3637 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3638 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3639 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3640 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3641 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3642 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3643 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3644 ; GFX7-NEXT:    buffer_wbinvl1_vol
3645 ; GFX7-NEXT:    s_endpgm
3646 ;
3647 ; GFX10-WGP-LABEL: global_system_acq_rel_acquire_cmpxchg:
3648 ; GFX10-WGP:       ; %bb.0: ; %entry
3649 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3650 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3651 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3652 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3654 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3655 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3656 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3657 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3658 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3659 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3660 ; GFX10-WGP-NEXT:    s_endpgm
3661 ;
3662 ; GFX10-CU-LABEL: global_system_acq_rel_acquire_cmpxchg:
3663 ; GFX10-CU:       ; %bb.0: ; %entry
3664 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3665 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3666 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3667 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3668 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3669 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3670 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3671 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3672 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3673 ; GFX10-CU-NEXT:    buffer_gl0_inv
3674 ; GFX10-CU-NEXT:    buffer_gl1_inv
3675 ; GFX10-CU-NEXT:    s_endpgm
3676 ;
3677 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_acquire_cmpxchg:
3678 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3679 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3680 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3681 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3682 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3683 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3684 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3685 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3686 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3687 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3688 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3689 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3690 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3691 ;
3692 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_acquire_cmpxchg:
3693 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3694 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3695 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3696 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3697 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3698 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
3699 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3700 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3701 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3702 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3703 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3704 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3705 ;
3706 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_acquire_cmpxchg:
3707 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3708 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3709 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3710 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3711 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3712 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
3713 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3714 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3715 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3716 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3717 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3718 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3719 ;
3720 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_acquire_cmpxchg:
3721 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3722 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3723 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3724 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3725 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3726 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3727 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3728 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3729 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3730 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3731 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3732 ;
3733 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_acquire_cmpxchg:
3734 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3735 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3736 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3737 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3738 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3739 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3740 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3741 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3742 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3743 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3744 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3745 ;
3746 ; GFX11-WGP-LABEL: global_system_acq_rel_acquire_cmpxchg:
3747 ; GFX11-WGP:       ; %bb.0: ; %entry
3748 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3749 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3750 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3751 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3752 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3753 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3754 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3755 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3756 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3757 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3758 ; GFX11-WGP-NEXT:    s_endpgm
3759 ;
3760 ; GFX11-CU-LABEL: global_system_acq_rel_acquire_cmpxchg:
3761 ; GFX11-CU:       ; %bb.0: ; %entry
3762 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3763 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3764 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3765 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3766 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3767 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3768 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3769 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3770 ; GFX11-CU-NEXT:    buffer_gl0_inv
3771 ; GFX11-CU-NEXT:    buffer_gl1_inv
3772 ; GFX11-CU-NEXT:    s_endpgm
3773     ptr addrspace(1) %out, i32 %in, i32 %old) {
3774 entry:
3775   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3776   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acq_rel acquire
3777   ret void
3778 }
3779
3780 define amdgpu_kernel void @global_system_seq_cst_acquire_cmpxchg(
3781 ; GFX6-LABEL: global_system_seq_cst_acquire_cmpxchg:
3782 ; GFX6:       ; %bb.0: ; %entry
3783 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3784 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3785 ; GFX6-NEXT:    s_mov_b32 s6, -1
3786 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3787 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3788 ; GFX6-NEXT:    s_mov_b32 s4, s0
3789 ; GFX6-NEXT:    s_mov_b32 s5, s1
3790 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3791 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3792 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3793 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3794 ; GFX6-NEXT:    buffer_wbinvl1
3795 ; GFX6-NEXT:    s_endpgm
3796 ;
3797 ; GFX7-LABEL: global_system_seq_cst_acquire_cmpxchg:
3798 ; GFX7:       ; %bb.0: ; %entry
3799 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3800 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3801 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3802 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3803 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3804 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3805 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3806 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3807 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3808 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3809 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3810 ; GFX7-NEXT:    buffer_wbinvl1_vol
3811 ; GFX7-NEXT:    s_endpgm
3812 ;
3813 ; GFX10-WGP-LABEL: global_system_seq_cst_acquire_cmpxchg:
3814 ; GFX10-WGP:       ; %bb.0: ; %entry
3815 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3816 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3817 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3818 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3819 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3820 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3821 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3822 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3823 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3824 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3825 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3826 ; GFX10-WGP-NEXT:    s_endpgm
3827 ;
3828 ; GFX10-CU-LABEL: global_system_seq_cst_acquire_cmpxchg:
3829 ; GFX10-CU:       ; %bb.0: ; %entry
3830 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3831 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3832 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3833 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
3834 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
3835 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3836 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3837 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3838 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3839 ; GFX10-CU-NEXT:    buffer_gl0_inv
3840 ; GFX10-CU-NEXT:    buffer_gl1_inv
3841 ; GFX10-CU-NEXT:    s_endpgm
3842 ;
3843 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_acquire_cmpxchg:
3844 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3845 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3846 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
3847 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
3848 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3849 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3850 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
3851 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
3852 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
3853 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3854 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3855 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
3856 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3857 ;
3858 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_acquire_cmpxchg:
3859 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3860 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3861 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3862 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3863 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3864 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
3865 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3866 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3867 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3868 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
3869 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3870 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3871 ;
3872 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_acquire_cmpxchg:
3873 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3874 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3875 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3876 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3877 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
3878 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
3879 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3880 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3881 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3882 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
3883 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3884 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3885 ;
3886 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_acquire_cmpxchg:
3887 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3888 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3889 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3890 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3891 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3892 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3893 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3894 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3895 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3896 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
3897 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3898 ;
3899 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_acquire_cmpxchg:
3900 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3901 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3902 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
3903 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3904 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
3905 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
3906 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3907 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
3908 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3909 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
3910 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3911 ;
3912 ; GFX11-WGP-LABEL: global_system_seq_cst_acquire_cmpxchg:
3913 ; GFX11-WGP:       ; %bb.0: ; %entry
3914 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3915 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
3916 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3917 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3918 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3919 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3920 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3921 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3922 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3923 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3924 ; GFX11-WGP-NEXT:    s_endpgm
3925 ;
3926 ; GFX11-CU-LABEL: global_system_seq_cst_acquire_cmpxchg:
3927 ; GFX11-CU:       ; %bb.0: ; %entry
3928 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3929 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
3930 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3931 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3932 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3933 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3934 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
3935 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3936 ; GFX11-CU-NEXT:    buffer_gl0_inv
3937 ; GFX11-CU-NEXT:    buffer_gl1_inv
3938 ; GFX11-CU-NEXT:    s_endpgm
3939     ptr addrspace(1) %out, i32 %in, i32 %old) {
3940 entry:
3941   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
3942   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst acquire
3943   ret void
3944 }
3945
3946 define amdgpu_kernel void @global_system_seq_cst_seq_cst_cmpxchg(
3947 ; GFX6-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
3948 ; GFX6:       ; %bb.0: ; %entry
3949 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3950 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
3951 ; GFX6-NEXT:    s_mov_b32 s6, -1
3952 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3953 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3954 ; GFX6-NEXT:    s_mov_b32 s4, s0
3955 ; GFX6-NEXT:    s_mov_b32 s5, s1
3956 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
3957 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3958 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
3959 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
3960 ; GFX6-NEXT:    buffer_wbinvl1
3961 ; GFX6-NEXT:    s_endpgm
3962 ;
3963 ; GFX7-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
3964 ; GFX7:       ; %bb.0: ; %entry
3965 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3966 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3967 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3968 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3969 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3970 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3971 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3972 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3973 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3974 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3975 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3976 ; GFX7-NEXT:    buffer_wbinvl1_vol
3977 ; GFX7-NEXT:    s_endpgm
3978 ;
3979 ; GFX10-WGP-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
3980 ; GFX10-WGP:       ; %bb.0: ; %entry
3981 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3982 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
3983 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3984 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
3985 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
3986 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3987 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3988 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
3989 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3990 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3991 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3992 ; GFX10-WGP-NEXT:    s_endpgm
3993 ;
3994 ; GFX10-CU-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
3995 ; GFX10-CU:       ; %bb.0: ; %entry
3996 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3997 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
3998 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3999 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4000 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4001 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4002 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4003 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
4004 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4005 ; GFX10-CU-NEXT:    buffer_gl0_inv
4006 ; GFX10-CU-NEXT:    buffer_gl1_inv
4007 ; GFX10-CU-NEXT:    s_endpgm
4008 ;
4009 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4010 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4011 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4012 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4013 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4014 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4015 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4016 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4017 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4018 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4019 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4020 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
4021 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4022 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4023 ;
4024 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4025 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4026 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4027 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4028 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4029 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4030 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
4031 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4032 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
4033 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4034 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
4035 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4036 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4037 ;
4038 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4039 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4040 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4041 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4042 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4043 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4044 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
4045 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4046 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
4047 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4048 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
4049 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4050 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4051 ;
4052 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4053 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4054 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4055 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4056 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4057 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4058 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4059 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4060 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
4061 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4062 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
4063 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4064 ;
4065 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4066 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4067 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4068 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4069 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4070 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4071 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4072 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4073 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
4074 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4075 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
4076 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4077 ;
4078 ; GFX11-WGP-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4079 ; GFX11-WGP:       ; %bb.0: ; %entry
4080 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4081 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4082 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4083 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4084 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4085 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4086 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
4087 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4088 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4089 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4090 ; GFX11-WGP-NEXT:    s_endpgm
4091 ;
4092 ; GFX11-CU-LABEL: global_system_seq_cst_seq_cst_cmpxchg:
4093 ; GFX11-CU:       ; %bb.0: ; %entry
4094 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4095 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4096 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4097 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4098 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4099 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4100 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
4101 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4102 ; GFX11-CU-NEXT:    buffer_gl0_inv
4103 ; GFX11-CU-NEXT:    buffer_gl1_inv
4104 ; GFX11-CU-NEXT:    s_endpgm
4105     ptr addrspace(1) %out, i32 %in, i32 %old) {
4106 entry:
4107   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4108   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst seq_cst
4109   ret void
4110 }
4111
4112 define amdgpu_kernel void @global_system_monotonic_monotonic_ret_cmpxchg(
4113 ; GFX6-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4114 ; GFX6:       ; %bb.0: ; %entry
4115 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4116 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4117 ; GFX6-NEXT:    s_mov_b32 s6, -1
4118 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4119 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4120 ; GFX6-NEXT:    s_mov_b32 s4, s0
4121 ; GFX6-NEXT:    s_mov_b32 s5, s1
4122 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4123 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4124 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4125 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4126 ; GFX6-NEXT:    s_endpgm
4127 ;
4128 ; GFX7-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4129 ; GFX7:       ; %bb.0: ; %entry
4130 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4131 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4132 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4133 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4134 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4135 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4136 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4137 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4138 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4139 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4140 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4141 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4142 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4143 ; GFX7-NEXT:    s_endpgm
4144 ;
4145 ; GFX10-WGP-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4146 ; GFX10-WGP:       ; %bb.0: ; %entry
4147 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4148 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
4149 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4150 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
4151 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
4152 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4153 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
4154 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
4155 ; GFX10-WGP-NEXT:    s_endpgm
4156 ;
4157 ; GFX10-CU-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4158 ; GFX10-CU:       ; %bb.0: ; %entry
4159 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4160 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
4161 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4162 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4163 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4164 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4165 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
4166 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
4167 ; GFX10-CU-NEXT:    s_endpgm
4168 ;
4169 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4170 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4171 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4172 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4173 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4175 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4176 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4177 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4178 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4179 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4180 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4181 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4182 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4183 ;
4184 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4185 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4186 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4187 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4189 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4190 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4191 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4192 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4193 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4194 ;
4195 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4196 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4197 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4198 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4199 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4200 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4201 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4202 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4203 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4204 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4205 ;
4206 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4207 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4208 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4209 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4210 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4211 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4212 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4213 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4214 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4215 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4216 ;
4217 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4218 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4219 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4220 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4221 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4222 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4223 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4224 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4225 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4226 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4227 ;
4228 ; GFX11-WGP-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4229 ; GFX11-WGP:       ; %bb.0: ; %entry
4230 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4231 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4232 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4233 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4234 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4235 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
4236 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
4237 ; GFX11-WGP-NEXT:    s_nop 0
4238 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4239 ; GFX11-WGP-NEXT:    s_endpgm
4240 ;
4241 ; GFX11-CU-LABEL: global_system_monotonic_monotonic_ret_cmpxchg:
4242 ; GFX11-CU:       ; %bb.0: ; %entry
4243 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4244 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4245 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4246 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4247 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4248 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
4249 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
4250 ; GFX11-CU-NEXT:    s_nop 0
4251 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4252 ; GFX11-CU-NEXT:    s_endpgm
4253     ptr addrspace(1) %out, i32 %in, i32 %old) {
4254 entry:
4255   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4256   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in monotonic monotonic
4257   %val0 = extractvalue { i32, i1 } %val, 0
4258   store i32 %val0, ptr addrspace(1) %out, align 4
4259   ret void
4260 }
4261
4262 define amdgpu_kernel void @global_system_acquire_monotonic_ret_cmpxchg(
4263 ; GFX6-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4264 ; GFX6:       ; %bb.0: ; %entry
4265 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4266 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4267 ; GFX6-NEXT:    s_mov_b32 s6, -1
4268 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4269 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4270 ; GFX6-NEXT:    s_mov_b32 s4, s0
4271 ; GFX6-NEXT:    s_mov_b32 s5, s1
4272 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4273 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4274 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4275 ; GFX6-NEXT:    buffer_wbinvl1
4276 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4277 ; GFX6-NEXT:    s_endpgm
4278 ;
4279 ; GFX7-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4280 ; GFX7:       ; %bb.0: ; %entry
4281 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4282 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4283 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4284 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4285 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4286 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4287 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4288 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4289 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4290 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4291 ; GFX7-NEXT:    buffer_wbinvl1_vol
4292 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4293 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4294 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4295 ; GFX7-NEXT:    s_endpgm
4296 ;
4297 ; GFX10-WGP-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4298 ; GFX10-WGP:       ; %bb.0: ; %entry
4299 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4300 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
4301 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4302 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
4303 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
4304 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4305 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
4306 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4307 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4308 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
4309 ; GFX10-WGP-NEXT:    s_endpgm
4310 ;
4311 ; GFX10-CU-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4312 ; GFX10-CU:       ; %bb.0: ; %entry
4313 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4314 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
4315 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4316 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4317 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4318 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4319 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
4320 ; GFX10-CU-NEXT:    buffer_gl0_inv
4321 ; GFX10-CU-NEXT:    buffer_gl1_inv
4322 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
4323 ; GFX10-CU-NEXT:    s_endpgm
4324 ;
4325 ; SKIP-CACHE-INV-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4326 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4327 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4328 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4329 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4330 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4331 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4332 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4333 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4334 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4335 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4336 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4337 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4338 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4339 ;
4340 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4341 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4342 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4343 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4344 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4345 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4346 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4347 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4348 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
4349 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4350 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4351 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4352 ;
4353 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4354 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4355 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4356 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4357 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4358 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4359 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4360 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4361 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
4362 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4363 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4364 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4365 ;
4366 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4367 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4368 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4369 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4370 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4371 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4372 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4373 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4374 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
4375 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4376 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4377 ;
4378 ; GFX940-TGSPLIT-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4379 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4380 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4381 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4382 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4383 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4384 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4385 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4386 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
4387 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4388 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4389 ;
4390 ; GFX11-WGP-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4391 ; GFX11-WGP:       ; %bb.0: ; %entry
4392 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4393 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4394 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4395 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4396 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4397 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
4398 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4399 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4400 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
4401 ; GFX11-WGP-NEXT:    s_nop 0
4402 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4403 ; GFX11-WGP-NEXT:    s_endpgm
4404 ;
4405 ; GFX11-CU-LABEL: global_system_acquire_monotonic_ret_cmpxchg:
4406 ; GFX11-CU:       ; %bb.0: ; %entry
4407 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4408 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4409 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4410 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4411 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4412 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
4413 ; GFX11-CU-NEXT:    buffer_gl0_inv
4414 ; GFX11-CU-NEXT:    buffer_gl1_inv
4415 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
4416 ; GFX11-CU-NEXT:    s_nop 0
4417 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4418 ; GFX11-CU-NEXT:    s_endpgm
4419     ptr addrspace(1) %out, i32 %in, i32 %old) {
4420 entry:
4421   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4422   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acquire monotonic
4423   %val0 = extractvalue { i32, i1 } %val, 0
4424   store i32 %val0, ptr addrspace(1) %out, align 4
4425   ret void
4426 }
4427
4428 define amdgpu_kernel void @global_system_acq_rel_monotonic_ret_cmpxchg(
4429 ; GFX6-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4430 ; GFX6:       ; %bb.0: ; %entry
4431 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4432 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4433 ; GFX6-NEXT:    s_mov_b32 s6, -1
4434 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4435 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4436 ; GFX6-NEXT:    s_mov_b32 s4, s0
4437 ; GFX6-NEXT:    s_mov_b32 s5, s1
4438 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4439 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4440 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4441 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4442 ; GFX6-NEXT:    buffer_wbinvl1
4443 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4444 ; GFX6-NEXT:    s_endpgm
4445 ;
4446 ; GFX7-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4447 ; GFX7:       ; %bb.0: ; %entry
4448 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4449 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4450 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4451 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4452 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4453 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4454 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4455 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4456 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4457 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4458 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4459 ; GFX7-NEXT:    buffer_wbinvl1_vol
4460 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4461 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4462 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4463 ; GFX7-NEXT:    s_endpgm
4464 ;
4465 ; GFX10-WGP-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4466 ; GFX10-WGP:       ; %bb.0: ; %entry
4467 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4468 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
4469 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4470 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
4471 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
4472 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4473 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4474 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4475 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
4476 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4477 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4478 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
4479 ; GFX10-WGP-NEXT:    s_endpgm
4480 ;
4481 ; GFX10-CU-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4482 ; GFX10-CU:       ; %bb.0: ; %entry
4483 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4484 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
4485 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4486 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4487 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4488 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4489 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4490 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4491 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
4492 ; GFX10-CU-NEXT:    buffer_gl0_inv
4493 ; GFX10-CU-NEXT:    buffer_gl1_inv
4494 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
4495 ; GFX10-CU-NEXT:    s_endpgm
4496 ;
4497 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4498 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4499 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4500 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4501 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4502 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4503 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4504 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4505 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4506 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4507 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4508 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4509 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4510 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4511 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4512 ;
4513 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4514 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4515 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4516 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4517 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4518 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4519 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
4520 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4521 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4522 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4523 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
4524 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4525 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4526 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4527 ;
4528 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4529 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4530 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4531 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4532 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4533 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4534 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
4535 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4536 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4537 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4538 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
4539 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4540 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4541 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4542 ;
4543 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4544 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4545 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4546 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4547 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4548 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4549 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4550 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4551 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4552 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4553 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
4554 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4555 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4556 ;
4557 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4558 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4559 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4560 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4561 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4562 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4563 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4564 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4565 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4566 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4567 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
4568 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4569 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4570 ;
4571 ; GFX11-WGP-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4572 ; GFX11-WGP:       ; %bb.0: ; %entry
4573 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4574 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4575 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4576 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4577 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4578 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4579 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4580 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
4581 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4582 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4583 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
4584 ; GFX11-WGP-NEXT:    s_nop 0
4585 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4586 ; GFX11-WGP-NEXT:    s_endpgm
4587 ;
4588 ; GFX11-CU-LABEL: global_system_acq_rel_monotonic_ret_cmpxchg:
4589 ; GFX11-CU:       ; %bb.0: ; %entry
4590 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4591 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4592 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4593 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4594 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4595 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4596 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4597 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
4598 ; GFX11-CU-NEXT:    buffer_gl0_inv
4599 ; GFX11-CU-NEXT:    buffer_gl1_inv
4600 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
4601 ; GFX11-CU-NEXT:    s_nop 0
4602 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4603 ; GFX11-CU-NEXT:    s_endpgm
4604     ptr addrspace(1) %out, i32 %in, i32 %old) {
4605 entry:
4606   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4607   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acq_rel monotonic
4608   %val0 = extractvalue { i32, i1 } %val, 0
4609   store i32 %val0, ptr addrspace(1) %out, align 4
4610   ret void
4611 }
4612
4613 define amdgpu_kernel void @global_system_seq_cst_monotonic_ret_cmpxchg(
4614 ; GFX6-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4615 ; GFX6:       ; %bb.0: ; %entry
4616 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4617 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4618 ; GFX6-NEXT:    s_mov_b32 s6, -1
4619 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4620 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4621 ; GFX6-NEXT:    s_mov_b32 s4, s0
4622 ; GFX6-NEXT:    s_mov_b32 s5, s1
4623 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4624 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4625 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4626 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4627 ; GFX6-NEXT:    buffer_wbinvl1
4628 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4629 ; GFX6-NEXT:    s_endpgm
4630 ;
4631 ; GFX7-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4632 ; GFX7:       ; %bb.0: ; %entry
4633 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4634 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4635 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4636 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4637 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4638 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4639 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4640 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4641 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4642 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4643 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4644 ; GFX7-NEXT:    buffer_wbinvl1_vol
4645 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4646 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4647 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4648 ; GFX7-NEXT:    s_endpgm
4649 ;
4650 ; GFX10-WGP-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4651 ; GFX10-WGP:       ; %bb.0: ; %entry
4652 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
4654 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4655 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
4656 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
4657 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4658 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4659 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4660 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
4661 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4662 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4663 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
4664 ; GFX10-WGP-NEXT:    s_endpgm
4665 ;
4666 ; GFX10-CU-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4667 ; GFX10-CU:       ; %bb.0: ; %entry
4668 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4669 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
4670 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4671 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4672 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4673 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4674 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4675 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4676 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
4677 ; GFX10-CU-NEXT:    buffer_gl0_inv
4678 ; GFX10-CU-NEXT:    buffer_gl1_inv
4679 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
4680 ; GFX10-CU-NEXT:    s_endpgm
4681 ;
4682 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4683 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4684 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4685 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4686 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4687 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4688 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4689 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4690 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4691 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4692 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4693 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4694 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4695 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4696 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4697 ;
4698 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4699 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4700 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4701 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4702 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4703 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4704 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
4705 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4706 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4707 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4708 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
4709 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4710 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4711 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4712 ;
4713 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4714 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4715 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4716 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4717 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4718 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4719 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
4720 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4721 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4722 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4723 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
4724 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4725 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4726 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4727 ;
4728 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4729 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4730 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4731 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4732 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4733 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4734 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4735 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4736 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4737 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4738 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
4739 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4740 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4741 ;
4742 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4743 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4744 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4745 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4746 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4747 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4748 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
4749 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4750 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4751 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4752 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
4753 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4754 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4755 ;
4756 ; GFX11-WGP-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4757 ; GFX11-WGP:       ; %bb.0: ; %entry
4758 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4759 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4760 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4761 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4762 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4763 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4764 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4765 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
4766 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4767 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4768 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
4769 ; GFX11-WGP-NEXT:    s_nop 0
4770 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4771 ; GFX11-WGP-NEXT:    s_endpgm
4772 ;
4773 ; GFX11-CU-LABEL: global_system_seq_cst_monotonic_ret_cmpxchg:
4774 ; GFX11-CU:       ; %bb.0: ; %entry
4775 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4776 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4777 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4778 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4779 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4780 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4781 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4782 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
4783 ; GFX11-CU-NEXT:    buffer_gl0_inv
4784 ; GFX11-CU-NEXT:    buffer_gl1_inv
4785 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
4786 ; GFX11-CU-NEXT:    s_nop 0
4787 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4788 ; GFX11-CU-NEXT:    s_endpgm
4789     ptr addrspace(1) %out, i32 %in, i32 %old) {
4790 entry:
4791   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4792   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst monotonic
4793   %val0 = extractvalue { i32, i1 } %val, 0
4794   store i32 %val0, ptr addrspace(1) %out, align 4
4795   ret void
4796 }
4797
4798 define amdgpu_kernel void @global_system_monotonic_acquire_ret_cmpxchg(
4799 ; GFX6-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4800 ; GFX6:       ; %bb.0: ; %entry
4801 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4802 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4803 ; GFX6-NEXT:    s_mov_b32 s6, -1
4804 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4805 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4806 ; GFX6-NEXT:    s_mov_b32 s4, s0
4807 ; GFX6-NEXT:    s_mov_b32 s5, s1
4808 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4809 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4810 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4811 ; GFX6-NEXT:    buffer_wbinvl1
4812 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4813 ; GFX6-NEXT:    s_endpgm
4814 ;
4815 ; GFX7-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4816 ; GFX7:       ; %bb.0: ; %entry
4817 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4818 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4819 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4820 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4821 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4822 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4823 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4824 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4825 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4826 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4827 ; GFX7-NEXT:    buffer_wbinvl1_vol
4828 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4829 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4830 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4831 ; GFX7-NEXT:    s_endpgm
4832 ;
4833 ; GFX10-WGP-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4834 ; GFX10-WGP:       ; %bb.0: ; %entry
4835 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4836 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
4837 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4838 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
4839 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
4840 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4841 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
4842 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4843 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4844 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
4845 ; GFX10-WGP-NEXT:    s_endpgm
4846 ;
4847 ; GFX10-CU-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4848 ; GFX10-CU:       ; %bb.0: ; %entry
4849 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4850 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
4851 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4852 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
4853 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
4854 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4855 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
4856 ; GFX10-CU-NEXT:    buffer_gl0_inv
4857 ; GFX10-CU-NEXT:    buffer_gl1_inv
4858 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
4859 ; GFX10-CU-NEXT:    s_endpgm
4860 ;
4861 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4862 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4863 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4864 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
4865 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
4866 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4867 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4868 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
4869 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
4870 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
4871 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4872 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
4873 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4874 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4875 ;
4876 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4877 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4878 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4879 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4880 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4881 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4882 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4883 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4884 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
4885 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4886 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4887 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4888 ;
4889 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4890 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4891 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4892 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4893 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4894 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
4895 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
4896 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4897 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
4898 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4899 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
4900 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4901 ;
4902 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4903 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4904 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4905 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4906 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4907 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4908 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4909 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4910 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
4911 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4912 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4913 ;
4914 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4915 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4916 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4917 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
4918 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4919 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
4920 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
4921 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4922 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
4923 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
4924 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4925 ;
4926 ; GFX11-WGP-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4927 ; GFX11-WGP:       ; %bb.0: ; %entry
4928 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4929 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
4930 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4931 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4932 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4933 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
4934 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4935 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4936 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
4937 ; GFX11-WGP-NEXT:    s_nop 0
4938 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4939 ; GFX11-WGP-NEXT:    s_endpgm
4940 ;
4941 ; GFX11-CU-LABEL: global_system_monotonic_acquire_ret_cmpxchg:
4942 ; GFX11-CU:       ; %bb.0: ; %entry
4943 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4944 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
4945 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4946 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4947 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
4948 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
4949 ; GFX11-CU-NEXT:    buffer_gl0_inv
4950 ; GFX11-CU-NEXT:    buffer_gl1_inv
4951 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
4952 ; GFX11-CU-NEXT:    s_nop 0
4953 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
4954 ; GFX11-CU-NEXT:    s_endpgm
4955     ptr addrspace(1) %out, i32 %in, i32 %old) {
4956 entry:
4957   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
4958   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in monotonic acquire
4959   %val0 = extractvalue { i32, i1 } %val, 0
4960   store i32 %val0, ptr addrspace(1) %out, align 4
4961   ret void
4962 }
4963
4964 define amdgpu_kernel void @global_system_acquire_acquire_ret_cmpxchg(
4965 ; GFX6-LABEL: global_system_acquire_acquire_ret_cmpxchg:
4966 ; GFX6:       ; %bb.0: ; %entry
4967 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4968 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
4969 ; GFX6-NEXT:    s_mov_b32 s6, -1
4970 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4971 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4972 ; GFX6-NEXT:    s_mov_b32 s4, s0
4973 ; GFX6-NEXT:    s_mov_b32 s5, s1
4974 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
4975 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
4976 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
4977 ; GFX6-NEXT:    buffer_wbinvl1
4978 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
4979 ; GFX6-NEXT:    s_endpgm
4980 ;
4981 ; GFX7-LABEL: global_system_acquire_acquire_ret_cmpxchg:
4982 ; GFX7:       ; %bb.0: ; %entry
4983 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4984 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4985 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4986 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4987 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4988 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4989 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4990 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4991 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4992 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
4993 ; GFX7-NEXT:    buffer_wbinvl1_vol
4994 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4995 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4996 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4997 ; GFX7-NEXT:    s_endpgm
4998 ;
4999 ; GFX10-WGP-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5000 ; GFX10-WGP:       ; %bb.0: ; %entry
5001 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5002 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5003 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5004 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5005 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5006 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5007 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5008 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5009 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5010 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5011 ; GFX10-WGP-NEXT:    s_endpgm
5012 ;
5013 ; GFX10-CU-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5014 ; GFX10-CU:       ; %bb.0: ; %entry
5015 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5016 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5017 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5018 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5019 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5020 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5021 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5022 ; GFX10-CU-NEXT:    buffer_gl0_inv
5023 ; GFX10-CU-NEXT:    buffer_gl1_inv
5024 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5025 ; GFX10-CU-NEXT:    s_endpgm
5026 ;
5027 ; SKIP-CACHE-INV-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5028 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5029 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5030 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5031 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5032 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5033 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5034 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5035 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5036 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5037 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5038 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5039 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5040 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5041 ;
5042 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5043 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5044 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5045 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5046 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5047 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5048 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5049 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5050 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5051 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5052 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5053 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5054 ;
5055 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5056 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5057 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5058 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5059 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5060 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5061 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5062 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5063 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5064 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5065 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5066 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5067 ;
5068 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5069 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5070 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5071 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5072 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5073 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5074 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5075 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5076 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5077 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5078 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5079 ;
5080 ; GFX940-TGSPLIT-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5081 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5082 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5083 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5084 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5085 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5086 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5087 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5088 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
5089 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5090 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5091 ;
5092 ; GFX11-WGP-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5093 ; GFX11-WGP:       ; %bb.0: ; %entry
5094 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5095 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
5096 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5097 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5098 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5099 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
5100 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5101 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5102 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
5103 ; GFX11-WGP-NEXT:    s_nop 0
5104 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5105 ; GFX11-WGP-NEXT:    s_endpgm
5106 ;
5107 ; GFX11-CU-LABEL: global_system_acquire_acquire_ret_cmpxchg:
5108 ; GFX11-CU:       ; %bb.0: ; %entry
5109 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5110 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
5111 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5112 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5113 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5114 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
5115 ; GFX11-CU-NEXT:    buffer_gl0_inv
5116 ; GFX11-CU-NEXT:    buffer_gl1_inv
5117 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
5118 ; GFX11-CU-NEXT:    s_nop 0
5119 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5120 ; GFX11-CU-NEXT:    s_endpgm
5121     ptr addrspace(1) %out, i32 %in, i32 %old) {
5122 entry:
5123   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
5124   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acquire acquire
5125   %val0 = extractvalue { i32, i1 } %val, 0
5126   store i32 %val0, ptr addrspace(1) %out, align 4
5127   ret void
5128 }
5129
5130 define amdgpu_kernel void @global_system_release_acquire_ret_cmpxchg(
5131 ; GFX6-LABEL: global_system_release_acquire_ret_cmpxchg:
5132 ; GFX6:       ; %bb.0: ; %entry
5133 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5134 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
5135 ; GFX6-NEXT:    s_mov_b32 s6, -1
5136 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5137 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5138 ; GFX6-NEXT:    s_mov_b32 s4, s0
5139 ; GFX6-NEXT:    s_mov_b32 s5, s1
5140 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
5141 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5142 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5143 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
5144 ; GFX6-NEXT:    buffer_wbinvl1
5145 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5146 ; GFX6-NEXT:    s_endpgm
5147 ;
5148 ; GFX7-LABEL: global_system_release_acquire_ret_cmpxchg:
5149 ; GFX7:       ; %bb.0: ; %entry
5150 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5151 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5152 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5153 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5154 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5155 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5156 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5157 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5158 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5159 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5160 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
5161 ; GFX7-NEXT:    buffer_wbinvl1_vol
5162 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5163 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5164 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5165 ; GFX7-NEXT:    s_endpgm
5166 ;
5167 ; GFX10-WGP-LABEL: global_system_release_acquire_ret_cmpxchg:
5168 ; GFX10-WGP:       ; %bb.0: ; %entry
5169 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5170 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5171 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5172 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5173 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5174 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5175 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5176 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5177 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5178 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5179 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5180 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5181 ; GFX10-WGP-NEXT:    s_endpgm
5182 ;
5183 ; GFX10-CU-LABEL: global_system_release_acquire_ret_cmpxchg:
5184 ; GFX10-CU:       ; %bb.0: ; %entry
5185 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5186 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5187 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5188 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5189 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5190 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5191 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5192 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5193 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5194 ; GFX10-CU-NEXT:    buffer_gl0_inv
5195 ; GFX10-CU-NEXT:    buffer_gl1_inv
5196 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5197 ; GFX10-CU-NEXT:    s_endpgm
5198 ;
5199 ; SKIP-CACHE-INV-LABEL: global_system_release_acquire_ret_cmpxchg:
5200 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5201 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5202 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5203 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5204 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5205 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5206 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5207 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5208 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5209 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5210 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5211 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5212 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5213 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5214 ;
5215 ; GFX90A-NOTTGSPLIT-LABEL: global_system_release_acquire_ret_cmpxchg:
5216 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5217 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5218 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5219 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5220 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5221 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
5222 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5223 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5224 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5225 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5226 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5227 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5228 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5229 ;
5230 ; GFX90A-TGSPLIT-LABEL: global_system_release_acquire_ret_cmpxchg:
5231 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5232 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5233 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5234 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5235 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5236 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
5237 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5238 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5239 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5240 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5241 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5242 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5243 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5244 ;
5245 ; GFX940-NOTTGSPLIT-LABEL: global_system_release_acquire_ret_cmpxchg:
5246 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5247 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5248 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5249 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5250 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5251 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5252 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5253 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5254 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5255 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5256 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5257 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5258 ;
5259 ; GFX940-TGSPLIT-LABEL: global_system_release_acquire_ret_cmpxchg:
5260 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5261 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5262 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5263 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5264 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5265 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5266 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5267 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5268 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5269 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
5270 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5271 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5272 ;
5273 ; GFX11-WGP-LABEL: global_system_release_acquire_ret_cmpxchg:
5274 ; GFX11-WGP:       ; %bb.0: ; %entry
5275 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5276 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
5277 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5278 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5279 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5280 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5281 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5282 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
5283 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5284 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5285 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
5286 ; GFX11-WGP-NEXT:    s_nop 0
5287 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5288 ; GFX11-WGP-NEXT:    s_endpgm
5289 ;
5290 ; GFX11-CU-LABEL: global_system_release_acquire_ret_cmpxchg:
5291 ; GFX11-CU:       ; %bb.0: ; %entry
5292 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5293 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
5294 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5295 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5296 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5297 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5298 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5299 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
5300 ; GFX11-CU-NEXT:    buffer_gl0_inv
5301 ; GFX11-CU-NEXT:    buffer_gl1_inv
5302 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
5303 ; GFX11-CU-NEXT:    s_nop 0
5304 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5305 ; GFX11-CU-NEXT:    s_endpgm
5306     ptr addrspace(1) %out, i32 %in, i32 %old) {
5307 entry:
5308   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
5309   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in release acquire
5310   %val0 = extractvalue { i32, i1 } %val, 0
5311   store i32 %val0, ptr addrspace(1) %out, align 4
5312   ret void
5313 }
5314
5315 define amdgpu_kernel void @global_system_acq_rel_acquire_ret_cmpxchg(
5316 ; GFX6-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5317 ; GFX6:       ; %bb.0: ; %entry
5318 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5319 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
5320 ; GFX6-NEXT:    s_mov_b32 s6, -1
5321 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5322 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5323 ; GFX6-NEXT:    s_mov_b32 s4, s0
5324 ; GFX6-NEXT:    s_mov_b32 s5, s1
5325 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
5326 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5327 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5328 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
5329 ; GFX6-NEXT:    buffer_wbinvl1
5330 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5331 ; GFX6-NEXT:    s_endpgm
5332 ;
5333 ; GFX7-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5334 ; GFX7:       ; %bb.0: ; %entry
5335 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5336 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5337 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5338 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5339 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5340 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5341 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5342 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5343 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5344 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5345 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
5346 ; GFX7-NEXT:    buffer_wbinvl1_vol
5347 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5348 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5349 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5350 ; GFX7-NEXT:    s_endpgm
5351 ;
5352 ; GFX10-WGP-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5353 ; GFX10-WGP:       ; %bb.0: ; %entry
5354 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5355 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5356 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5357 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5358 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5359 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5360 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5361 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5362 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5363 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5364 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5365 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5366 ; GFX10-WGP-NEXT:    s_endpgm
5367 ;
5368 ; GFX10-CU-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5369 ; GFX10-CU:       ; %bb.0: ; %entry
5370 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5371 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5372 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5373 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5374 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5375 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5376 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5377 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5378 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5379 ; GFX10-CU-NEXT:    buffer_gl0_inv
5380 ; GFX10-CU-NEXT:    buffer_gl1_inv
5381 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5382 ; GFX10-CU-NEXT:    s_endpgm
5383 ;
5384 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5385 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5386 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5387 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5388 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5389 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5390 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5391 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5392 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5393 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5394 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5395 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5396 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5397 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5398 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5399 ;
5400 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5401 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5402 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5403 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5404 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5405 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5406 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
5407 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5408 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5409 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5410 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5411 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5412 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5413 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5414 ;
5415 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5416 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5417 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5418 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5419 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5420 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5421 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
5422 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5423 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5424 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5425 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5426 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5427 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5428 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5429 ;
5430 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5431 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5432 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5433 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5434 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5435 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5436 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5437 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5438 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5439 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5440 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5441 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5442 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5443 ;
5444 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5445 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5446 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5447 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5448 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5449 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5450 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5451 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5452 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5453 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5454 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
5455 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5456 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5457 ;
5458 ; GFX11-WGP-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5459 ; GFX11-WGP:       ; %bb.0: ; %entry
5460 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5461 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
5462 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5463 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5464 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5465 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5466 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5467 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
5468 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5469 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5470 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
5471 ; GFX11-WGP-NEXT:    s_nop 0
5472 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5473 ; GFX11-WGP-NEXT:    s_endpgm
5474 ;
5475 ; GFX11-CU-LABEL: global_system_acq_rel_acquire_ret_cmpxchg:
5476 ; GFX11-CU:       ; %bb.0: ; %entry
5477 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5478 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
5479 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5480 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5481 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5482 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5483 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5484 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
5485 ; GFX11-CU-NEXT:    buffer_gl0_inv
5486 ; GFX11-CU-NEXT:    buffer_gl1_inv
5487 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
5488 ; GFX11-CU-NEXT:    s_nop 0
5489 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5490 ; GFX11-CU-NEXT:    s_endpgm
5491     ptr addrspace(1) %out, i32 %in, i32 %old) {
5492 entry:
5493   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
5494   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acq_rel acquire
5495   %val0 = extractvalue { i32, i1 } %val, 0
5496   store i32 %val0, ptr addrspace(1) %out, align 4
5497   ret void
5498 }
5499
5500 define amdgpu_kernel void @global_system_seq_cst_acquire_ret_cmpxchg(
5501 ; GFX6-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5502 ; GFX6:       ; %bb.0: ; %entry
5503 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5504 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
5505 ; GFX6-NEXT:    s_mov_b32 s6, -1
5506 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5507 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5508 ; GFX6-NEXT:    s_mov_b32 s4, s0
5509 ; GFX6-NEXT:    s_mov_b32 s5, s1
5510 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
5511 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5512 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5513 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
5514 ; GFX6-NEXT:    buffer_wbinvl1
5515 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5516 ; GFX6-NEXT:    s_endpgm
5517 ;
5518 ; GFX7-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5519 ; GFX7:       ; %bb.0: ; %entry
5520 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5521 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5522 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5523 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5524 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5525 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5526 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5527 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5528 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5529 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5530 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
5531 ; GFX7-NEXT:    buffer_wbinvl1_vol
5532 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5533 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5534 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5535 ; GFX7-NEXT:    s_endpgm
5536 ;
5537 ; GFX10-WGP-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5538 ; GFX10-WGP:       ; %bb.0: ; %entry
5539 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5540 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5541 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5542 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5544 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5545 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5546 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5547 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5548 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5549 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5550 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5551 ; GFX10-WGP-NEXT:    s_endpgm
5552 ;
5553 ; GFX10-CU-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5554 ; GFX10-CU:       ; %bb.0: ; %entry
5555 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5557 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5558 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5559 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5560 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5561 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5562 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5563 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5564 ; GFX10-CU-NEXT:    buffer_gl0_inv
5565 ; GFX10-CU-NEXT:    buffer_gl1_inv
5566 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5567 ; GFX10-CU-NEXT:    s_endpgm
5568 ;
5569 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5570 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5571 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5572 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5573 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5574 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5575 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5576 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5577 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5578 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5579 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5580 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5581 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5582 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5583 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5584 ;
5585 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5586 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5587 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5588 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5589 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5590 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5591 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
5592 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5593 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5594 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5595 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5596 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5597 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5598 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5599 ;
5600 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5601 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5602 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5603 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5604 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5605 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5606 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
5607 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5608 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5609 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5610 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5611 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5612 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5613 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5614 ;
5615 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5616 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5617 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5618 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5619 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5620 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5621 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5622 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5623 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5624 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5625 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5626 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5627 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5628 ;
5629 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5630 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5631 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5632 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5633 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5634 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5635 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5636 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5637 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5638 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5639 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
5640 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5641 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5642 ;
5643 ; GFX11-WGP-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5644 ; GFX11-WGP:       ; %bb.0: ; %entry
5645 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5646 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
5647 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5648 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5649 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5650 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5651 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5652 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
5653 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5654 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5655 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
5656 ; GFX11-WGP-NEXT:    s_nop 0
5657 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5658 ; GFX11-WGP-NEXT:    s_endpgm
5659 ;
5660 ; GFX11-CU-LABEL: global_system_seq_cst_acquire_ret_cmpxchg:
5661 ; GFX11-CU:       ; %bb.0: ; %entry
5662 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5663 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
5664 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5665 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5666 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5667 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5668 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5669 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
5670 ; GFX11-CU-NEXT:    buffer_gl0_inv
5671 ; GFX11-CU-NEXT:    buffer_gl1_inv
5672 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
5673 ; GFX11-CU-NEXT:    s_nop 0
5674 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5675 ; GFX11-CU-NEXT:    s_endpgm
5676     ptr addrspace(1) %out, i32 %in, i32 %old) {
5677 entry:
5678   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
5679   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst acquire
5680   %val0 = extractvalue { i32, i1 } %val, 0
5681   store i32 %val0, ptr addrspace(1) %out, align 4
5682   ret void
5683 }
5684
5685 define amdgpu_kernel void @global_system_monotonic_seq_cst_ret_cmpxchg(
5686 ; GFX6-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5687 ; GFX6:       ; %bb.0: ; %entry
5688 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5689 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
5690 ; GFX6-NEXT:    s_mov_b32 s6, -1
5691 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5692 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5693 ; GFX6-NEXT:    s_mov_b32 s4, s0
5694 ; GFX6-NEXT:    s_mov_b32 s5, s1
5695 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
5696 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5697 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5698 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
5699 ; GFX6-NEXT:    buffer_wbinvl1
5700 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5701 ; GFX6-NEXT:    s_endpgm
5702 ;
5703 ; GFX7-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5704 ; GFX7:       ; %bb.0: ; %entry
5705 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5706 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5707 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5708 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5709 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5710 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5711 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5712 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5713 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5714 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5715 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
5716 ; GFX7-NEXT:    buffer_wbinvl1_vol
5717 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5718 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5719 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5720 ; GFX7-NEXT:    s_endpgm
5721 ;
5722 ; GFX10-WGP-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5723 ; GFX10-WGP:       ; %bb.0: ; %entry
5724 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5725 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5726 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5727 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5728 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5729 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5730 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5731 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5732 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5733 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5734 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5735 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5736 ; GFX10-WGP-NEXT:    s_endpgm
5737 ;
5738 ; GFX10-CU-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5739 ; GFX10-CU:       ; %bb.0: ; %entry
5740 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5741 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5742 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5743 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5744 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5745 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5746 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5747 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5748 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5749 ; GFX10-CU-NEXT:    buffer_gl0_inv
5750 ; GFX10-CU-NEXT:    buffer_gl1_inv
5751 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5752 ; GFX10-CU-NEXT:    s_endpgm
5753 ;
5754 ; SKIP-CACHE-INV-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5755 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5756 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5757 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5758 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5759 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5760 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5761 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5762 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5763 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5764 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5765 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5766 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5767 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5768 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5769 ;
5770 ; GFX90A-NOTTGSPLIT-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5771 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5772 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5773 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5774 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5775 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5776 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
5777 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5778 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5779 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5780 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5781 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5782 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5783 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5784 ;
5785 ; GFX90A-TGSPLIT-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5786 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5787 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5788 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5789 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5790 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5791 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
5792 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5793 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5794 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5795 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5796 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5797 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5798 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5799 ;
5800 ; GFX940-NOTTGSPLIT-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5801 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5802 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5803 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5804 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5805 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5806 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5807 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5808 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5809 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5810 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5811 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5812 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5813 ;
5814 ; GFX940-TGSPLIT-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5815 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5816 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5817 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5818 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5819 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5820 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5821 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5822 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5823 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5824 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
5825 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5826 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5827 ;
5828 ; GFX11-WGP-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5829 ; GFX11-WGP:       ; %bb.0: ; %entry
5830 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5831 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
5832 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5833 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5834 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5835 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5836 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5837 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
5838 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5839 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5840 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
5841 ; GFX11-WGP-NEXT:    s_nop 0
5842 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5843 ; GFX11-WGP-NEXT:    s_endpgm
5844 ;
5845 ; GFX11-CU-LABEL: global_system_monotonic_seq_cst_ret_cmpxchg:
5846 ; GFX11-CU:       ; %bb.0: ; %entry
5847 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5848 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
5849 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5850 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5851 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5852 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5853 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
5854 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
5855 ; GFX11-CU-NEXT:    buffer_gl0_inv
5856 ; GFX11-CU-NEXT:    buffer_gl1_inv
5857 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
5858 ; GFX11-CU-NEXT:    s_nop 0
5859 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
5860 ; GFX11-CU-NEXT:    s_endpgm
5861     ptr addrspace(1) %out, i32 %in, i32 %old) {
5862 entry:
5863   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
5864   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in monotonic seq_cst
5865   %val0 = extractvalue { i32, i1 } %val, 0
5866   store i32 %val0, ptr addrspace(1) %out, align 4
5867   ret void
5868 }
5869
5870 define amdgpu_kernel void @global_system_acquire_seq_cst_ret_cmpxchg(
5871 ; GFX6-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5872 ; GFX6:       ; %bb.0: ; %entry
5873 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5874 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
5875 ; GFX6-NEXT:    s_mov_b32 s6, -1
5876 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5877 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5878 ; GFX6-NEXT:    s_mov_b32 s4, s0
5879 ; GFX6-NEXT:    s_mov_b32 s5, s1
5880 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
5881 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5882 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5883 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
5884 ; GFX6-NEXT:    buffer_wbinvl1
5885 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5886 ; GFX6-NEXT:    s_endpgm
5887 ;
5888 ; GFX7-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5889 ; GFX7:       ; %bb.0: ; %entry
5890 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5891 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5892 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5893 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5894 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5895 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5896 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5897 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5898 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5899 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5900 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
5901 ; GFX7-NEXT:    buffer_wbinvl1_vol
5902 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5903 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5904 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5905 ; GFX7-NEXT:    s_endpgm
5906 ;
5907 ; GFX10-WGP-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5908 ; GFX10-WGP:       ; %bb.0: ; %entry
5909 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5910 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
5911 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5912 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
5913 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
5914 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5915 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5916 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5917 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
5918 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5919 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5920 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
5921 ; GFX10-WGP-NEXT:    s_endpgm
5922 ;
5923 ; GFX10-CU-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5924 ; GFX10-CU:       ; %bb.0: ; %entry
5925 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5926 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
5927 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5928 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
5929 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
5930 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5931 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5932 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5933 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
5934 ; GFX10-CU-NEXT:    buffer_gl0_inv
5935 ; GFX10-CU-NEXT:    buffer_gl1_inv
5936 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
5937 ; GFX10-CU-NEXT:    s_endpgm
5938 ;
5939 ; SKIP-CACHE-INV-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5940 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5941 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5942 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
5943 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
5944 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5945 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5946 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
5947 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
5948 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
5949 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5950 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
5951 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
5952 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
5953 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5954 ;
5955 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5956 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5957 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5958 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5959 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5960 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5961 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
5962 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5963 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5964 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5965 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
5966 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5967 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5968 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5969 ;
5970 ; GFX90A-TGSPLIT-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5971 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5972 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5973 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5974 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5975 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
5976 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
5977 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5978 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
5979 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5980 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
5981 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5982 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
5983 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5984 ;
5985 ; GFX940-NOTTGSPLIT-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
5986 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5987 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5988 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
5989 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5990 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
5991 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
5992 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5993 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
5994 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5995 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
5996 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
5997 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5998 ;
5999 ; GFX940-TGSPLIT-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
6000 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6001 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6002 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6003 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6004 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6005 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6006 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6007 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6008 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6009 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
6010 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6011 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6012 ;
6013 ; GFX11-WGP-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
6014 ; GFX11-WGP:       ; %bb.0: ; %entry
6015 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6016 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
6017 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6018 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6019 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6020 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6021 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6022 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6023 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6024 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6025 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
6026 ; GFX11-WGP-NEXT:    s_nop 0
6027 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6028 ; GFX11-WGP-NEXT:    s_endpgm
6029 ;
6030 ; GFX11-CU-LABEL: global_system_acquire_seq_cst_ret_cmpxchg:
6031 ; GFX11-CU:       ; %bb.0: ; %entry
6032 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6033 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
6034 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6035 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6036 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6037 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6038 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6039 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6040 ; GFX11-CU-NEXT:    buffer_gl0_inv
6041 ; GFX11-CU-NEXT:    buffer_gl1_inv
6042 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
6043 ; GFX11-CU-NEXT:    s_nop 0
6044 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6045 ; GFX11-CU-NEXT:    s_endpgm
6046     ptr addrspace(1) %out, i32 %in, i32 %old) {
6047 entry:
6048   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
6049   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acquire seq_cst
6050   %val0 = extractvalue { i32, i1 } %val, 0
6051   store i32 %val0, ptr addrspace(1) %out, align 4
6052   ret void
6053 }
6054
6055 define amdgpu_kernel void @global_system_relese_seq_cst_ret_cmpxchg(
6056 ; GFX6-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6057 ; GFX6:       ; %bb.0: ; %entry
6058 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6059 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6060 ; GFX6-NEXT:    s_mov_b32 s6, -1
6061 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6062 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6063 ; GFX6-NEXT:    s_mov_b32 s4, s0
6064 ; GFX6-NEXT:    s_mov_b32 s5, s1
6065 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
6066 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6067 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6068 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6069 ; GFX6-NEXT:    buffer_wbinvl1
6070 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6071 ; GFX6-NEXT:    s_endpgm
6072 ;
6073 ; GFX7-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6074 ; GFX7:       ; %bb.0: ; %entry
6075 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6076 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6077 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6078 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6079 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6080 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6081 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6082 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6083 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6084 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6085 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6086 ; GFX7-NEXT:    buffer_wbinvl1_vol
6087 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6088 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6089 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6090 ; GFX7-NEXT:    s_endpgm
6091 ;
6092 ; GFX10-WGP-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6093 ; GFX10-WGP:       ; %bb.0: ; %entry
6094 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6095 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
6096 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6097 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
6098 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
6099 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6100 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6101 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6102 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6103 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6104 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6105 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
6106 ; GFX10-WGP-NEXT:    s_endpgm
6107 ;
6108 ; GFX10-CU-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6109 ; GFX10-CU:       ; %bb.0: ; %entry
6110 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6111 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
6112 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6113 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
6114 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
6115 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6116 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6117 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6118 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6119 ; GFX10-CU-NEXT:    buffer_gl0_inv
6120 ; GFX10-CU-NEXT:    buffer_gl1_inv
6121 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
6122 ; GFX10-CU-NEXT:    s_endpgm
6123 ;
6124 ; SKIP-CACHE-INV-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6125 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6126 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6127 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6128 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6129 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6130 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6131 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6132 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6133 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
6134 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6135 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6136 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6137 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6138 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6139 ;
6140 ; GFX90A-NOTTGSPLIT-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6141 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6142 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6143 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6144 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6145 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6146 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
6147 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6148 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6149 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6150 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
6151 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6152 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6153 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6154 ;
6155 ; GFX90A-TGSPLIT-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6156 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6157 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6158 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6159 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6160 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6161 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
6162 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6163 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6164 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6165 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
6166 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6167 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6168 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6169 ;
6170 ; GFX940-NOTTGSPLIT-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6171 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6172 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6173 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6174 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6175 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6176 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6177 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6178 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6179 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6180 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
6181 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6182 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6183 ;
6184 ; GFX940-TGSPLIT-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6185 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6186 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6187 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6188 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6189 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6190 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6191 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6192 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6193 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6194 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
6195 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6196 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6197 ;
6198 ; GFX11-WGP-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6199 ; GFX11-WGP:       ; %bb.0: ; %entry
6200 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6201 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
6202 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6203 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6204 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6205 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6206 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6207 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6208 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6209 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6210 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
6211 ; GFX11-WGP-NEXT:    s_nop 0
6212 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6213 ; GFX11-WGP-NEXT:    s_endpgm
6214 ;
6215 ; GFX11-CU-LABEL: global_system_relese_seq_cst_ret_cmpxchg:
6216 ; GFX11-CU:       ; %bb.0: ; %entry
6217 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6218 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
6219 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6220 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6221 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6222 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6223 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6224 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6225 ; GFX11-CU-NEXT:    buffer_gl0_inv
6226 ; GFX11-CU-NEXT:    buffer_gl1_inv
6227 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
6228 ; GFX11-CU-NEXT:    s_nop 0
6229 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6230 ; GFX11-CU-NEXT:    s_endpgm
6231     ptr addrspace(1) %out, i32 %in, i32 %old) {
6232 entry:
6233   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
6234   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in release seq_cst
6235   %val0 = extractvalue { i32, i1 } %val, 0
6236   store i32 %val0, ptr addrspace(1) %out, align 4
6237   ret void
6238 }
6239
6240 define amdgpu_kernel void @global_system_acq_rel_seq_cst_ret_cmpxchg(
6241 ; GFX6-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6242 ; GFX6:       ; %bb.0: ; %entry
6243 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6244 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6245 ; GFX6-NEXT:    s_mov_b32 s6, -1
6246 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6247 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6248 ; GFX6-NEXT:    s_mov_b32 s4, s0
6249 ; GFX6-NEXT:    s_mov_b32 s5, s1
6250 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
6251 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6252 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6253 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6254 ; GFX6-NEXT:    buffer_wbinvl1
6255 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6256 ; GFX6-NEXT:    s_endpgm
6257 ;
6258 ; GFX7-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6259 ; GFX7:       ; %bb.0: ; %entry
6260 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6261 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6262 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6263 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6264 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6265 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6266 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6267 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6268 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6269 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6270 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6271 ; GFX7-NEXT:    buffer_wbinvl1_vol
6272 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6273 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6274 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6275 ; GFX7-NEXT:    s_endpgm
6276 ;
6277 ; GFX10-WGP-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6278 ; GFX10-WGP:       ; %bb.0: ; %entry
6279 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6280 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
6281 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6282 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
6283 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
6284 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6285 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6286 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6287 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6288 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6289 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6290 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
6291 ; GFX10-WGP-NEXT:    s_endpgm
6292 ;
6293 ; GFX10-CU-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6294 ; GFX10-CU:       ; %bb.0: ; %entry
6295 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6296 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
6297 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6298 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
6299 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
6300 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6301 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6302 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6303 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6304 ; GFX10-CU-NEXT:    buffer_gl0_inv
6305 ; GFX10-CU-NEXT:    buffer_gl1_inv
6306 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
6307 ; GFX10-CU-NEXT:    s_endpgm
6308 ;
6309 ; SKIP-CACHE-INV-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6310 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6311 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6312 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6313 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6314 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6315 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6316 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6317 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6318 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
6319 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6320 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6321 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6322 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6323 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6324 ;
6325 ; GFX90A-NOTTGSPLIT-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6326 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6327 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6328 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6329 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6330 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6331 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
6332 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6333 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6334 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6335 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
6336 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6337 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6338 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6339 ;
6340 ; GFX90A-TGSPLIT-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6341 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6342 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6343 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6344 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6345 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6346 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
6347 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6348 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6349 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6350 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
6351 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6352 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6353 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6354 ;
6355 ; GFX940-NOTTGSPLIT-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6356 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6357 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6358 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6359 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6360 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6361 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6362 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6363 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6364 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6365 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
6366 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6367 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6368 ;
6369 ; GFX940-TGSPLIT-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6370 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6371 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6372 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6373 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6374 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6375 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6376 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6377 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6378 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6379 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
6380 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6381 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6382 ;
6383 ; GFX11-WGP-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6384 ; GFX11-WGP:       ; %bb.0: ; %entry
6385 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6386 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
6387 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6388 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6389 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6390 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6391 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6392 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6393 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6394 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6395 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
6396 ; GFX11-WGP-NEXT:    s_nop 0
6397 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6398 ; GFX11-WGP-NEXT:    s_endpgm
6399 ;
6400 ; GFX11-CU-LABEL: global_system_acq_rel_seq_cst_ret_cmpxchg:
6401 ; GFX11-CU:       ; %bb.0: ; %entry
6402 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6403 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
6404 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6405 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6406 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6407 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6408 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6409 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6410 ; GFX11-CU-NEXT:    buffer_gl0_inv
6411 ; GFX11-CU-NEXT:    buffer_gl1_inv
6412 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
6413 ; GFX11-CU-NEXT:    s_nop 0
6414 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6415 ; GFX11-CU-NEXT:    s_endpgm
6416     ptr addrspace(1) %out, i32 %in, i32 %old) {
6417 entry:
6418   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
6419   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in acq_rel seq_cst
6420   %val0 = extractvalue { i32, i1 } %val, 0
6421   store i32 %val0, ptr addrspace(1) %out, align 4
6422   ret void
6423 }
6424
6425 define amdgpu_kernel void @global_system_seq_cst_seq_cst_ret_cmpxchg(
6426 ; GFX6-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6427 ; GFX6:       ; %bb.0: ; %entry
6428 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6429 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6430 ; GFX6-NEXT:    s_mov_b32 s6, -1
6431 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6432 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6433 ; GFX6-NEXT:    s_mov_b32 s4, s0
6434 ; GFX6-NEXT:    s_mov_b32 s5, s1
6435 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
6436 ; GFX6-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6437 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6438 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6439 ; GFX6-NEXT:    buffer_wbinvl1
6440 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6441 ; GFX6-NEXT:    s_endpgm
6442 ;
6443 ; GFX7-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6444 ; GFX7:       ; %bb.0: ; %entry
6445 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6446 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6447 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6448 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6449 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6450 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6451 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6452 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6453 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6454 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6455 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6456 ; GFX7-NEXT:    buffer_wbinvl1_vol
6457 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6458 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6459 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6460 ; GFX7-NEXT:    s_endpgm
6461 ;
6462 ; GFX10-WGP-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6463 ; GFX10-WGP:       ; %bb.0: ; %entry
6464 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6465 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
6466 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6467 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
6468 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
6469 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6470 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6471 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6472 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6473 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6474 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6475 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
6476 ; GFX10-WGP-NEXT:    s_endpgm
6477 ;
6478 ; GFX10-CU-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6479 ; GFX10-CU:       ; %bb.0: ; %entry
6480 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6481 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
6482 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6483 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
6484 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
6485 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6486 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6487 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6488 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6489 ; GFX10-CU-NEXT:    buffer_gl0_inv
6490 ; GFX10-CU-NEXT:    buffer_gl1_inv
6491 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
6492 ; GFX10-CU-NEXT:    s_endpgm
6493 ;
6494 ; SKIP-CACHE-INV-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6495 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6496 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6497 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6498 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6499 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6500 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6501 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6502 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6503 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
6504 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6505 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
6506 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6507 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6508 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6509 ;
6510 ; GFX90A-NOTTGSPLIT-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6511 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6512 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6513 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6514 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6515 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6516 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
6517 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6518 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6519 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6520 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
6521 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6522 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6523 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6524 ;
6525 ; GFX90A-TGSPLIT-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6526 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6527 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6528 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6529 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6530 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
6531 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
6532 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6533 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
6534 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6535 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
6536 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6537 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
6538 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6539 ;
6540 ; GFX940-NOTTGSPLIT-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6541 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6542 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6543 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6544 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6545 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6546 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6547 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6548 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6549 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6550 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
6551 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6552 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6553 ;
6554 ; GFX940-TGSPLIT-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6555 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6556 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6557 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
6558 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6559 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
6560 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
6561 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6562 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
6563 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6564 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
6565 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
6566 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6567 ;
6568 ; GFX11-WGP-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6569 ; GFX11-WGP:       ; %bb.0: ; %entry
6570 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6571 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
6572 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6573 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6574 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6575 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6576 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6577 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6578 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6579 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6580 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
6581 ; GFX11-WGP-NEXT:    s_nop 0
6582 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6583 ; GFX11-WGP-NEXT:    s_endpgm
6584 ;
6585 ; GFX11-CU-LABEL: global_system_seq_cst_seq_cst_ret_cmpxchg:
6586 ; GFX11-CU:       ; %bb.0: ; %entry
6587 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6588 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
6589 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6590 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6591 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6592 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6593 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
6594 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6595 ; GFX11-CU-NEXT:    buffer_gl0_inv
6596 ; GFX11-CU-NEXT:    buffer_gl1_inv
6597 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
6598 ; GFX11-CU-NEXT:    s_nop 0
6599 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6600 ; GFX11-CU-NEXT:    s_endpgm
6601     ptr addrspace(1) %out, i32 %in, i32 %old) {
6602 entry:
6603   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
6604   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in seq_cst seq_cst
6605   %val0 = extractvalue { i32, i1 } %val, 0
6606   store i32 %val0, ptr addrspace(1) %out, align 4
6607   ret void
6608 }
6609
6610 define amdgpu_kernel void @global_system_one_as_unordered_load(
6611 ; GFX6-LABEL: global_system_one_as_unordered_load:
6612 ; GFX6:       ; %bb.0: ; %entry
6613 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6614 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6615 ; GFX6-NEXT:    s_mov_b32 s6, -1
6616 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6617 ; GFX6-NEXT:    s_mov_b32 s4, s0
6618 ; GFX6-NEXT:    s_mov_b32 s5, s1
6619 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0
6620 ; GFX6-NEXT:    s_mov_b32 s4, s2
6621 ; GFX6-NEXT:    s_mov_b32 s5, s3
6622 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6623 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6624 ; GFX6-NEXT:    s_endpgm
6625 ;
6626 ; GFX7-LABEL: global_system_one_as_unordered_load:
6627 ; GFX7:       ; %bb.0: ; %entry
6628 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6629 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6630 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6631 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6632 ; GFX7-NEXT:    flat_load_dword v2, v[0:1]
6633 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6634 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6635 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6636 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6637 ; GFX7-NEXT:    s_endpgm
6638 ;
6639 ; GFX10-WGP-LABEL: global_system_one_as_unordered_load:
6640 ; GFX10-WGP:       ; %bb.0: ; %entry
6641 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6642 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
6643 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6644 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1]
6645 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6646 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
6647 ; GFX10-WGP-NEXT:    s_endpgm
6648 ;
6649 ; GFX10-CU-LABEL: global_system_one_as_unordered_load:
6650 ; GFX10-CU:       ; %bb.0: ; %entry
6651 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6652 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
6653 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6654 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1]
6655 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6656 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
6657 ; GFX10-CU-NEXT:    s_endpgm
6658 ;
6659 ; SKIP-CACHE-INV-LABEL: global_system_one_as_unordered_load:
6660 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6661 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6662 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6663 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6664 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6665 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6666 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6667 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0
6668 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
6669 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
6670 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6671 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6672 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6673 ;
6674 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_unordered_load:
6675 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6676 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6677 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6678 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6679 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
6680 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6681 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6682 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6683 ;
6684 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_unordered_load:
6685 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6686 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6687 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6688 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6689 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
6690 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6691 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6692 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6693 ;
6694 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_unordered_load:
6695 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6696 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6697 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6698 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6699 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
6700 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6701 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6702 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6703 ;
6704 ; GFX940-TGSPLIT-LABEL: global_system_one_as_unordered_load:
6705 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6706 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6707 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6708 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6709 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1]
6710 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6711 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6712 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6713 ;
6714 ; GFX11-WGP-LABEL: global_system_one_as_unordered_load:
6715 ; GFX11-WGP:       ; %bb.0: ; %entry
6716 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6717 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
6718 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6719 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1]
6720 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6721 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
6722 ; GFX11-WGP-NEXT:    s_nop 0
6723 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6724 ; GFX11-WGP-NEXT:    s_endpgm
6725 ;
6726 ; GFX11-CU-LABEL: global_system_one_as_unordered_load:
6727 ; GFX11-CU:       ; %bb.0: ; %entry
6728 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6729 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
6730 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6731 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1]
6732 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6733 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
6734 ; GFX11-CU-NEXT:    s_nop 0
6735 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6736 ; GFX11-CU-NEXT:    s_endpgm
6737     ptr addrspace(1) %in, ptr addrspace(1) %out) {
6738 entry:
6739   %val = load atomic i32, ptr addrspace(1) %in syncscope("one-as") unordered, align 4
6740   store i32 %val, ptr addrspace(1) %out
6741   ret void
6742 }
6743
6744 define amdgpu_kernel void @global_system_one_as_monotonic_load(
6745 ; GFX6-LABEL: global_system_one_as_monotonic_load:
6746 ; GFX6:       ; %bb.0: ; %entry
6747 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6748 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6749 ; GFX6-NEXT:    s_mov_b32 s6, -1
6750 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6751 ; GFX6-NEXT:    s_mov_b32 s4, s0
6752 ; GFX6-NEXT:    s_mov_b32 s5, s1
6753 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
6754 ; GFX6-NEXT:    s_mov_b32 s4, s2
6755 ; GFX6-NEXT:    s_mov_b32 s5, s3
6756 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6757 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6758 ; GFX6-NEXT:    s_endpgm
6759 ;
6760 ; GFX7-LABEL: global_system_one_as_monotonic_load:
6761 ; GFX7:       ; %bb.0: ; %entry
6762 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6763 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6764 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6765 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6766 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
6767 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6768 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6769 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6770 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6771 ; GFX7-NEXT:    s_endpgm
6772 ;
6773 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_load:
6774 ; GFX10-WGP:       ; %bb.0: ; %entry
6775 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6776 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
6777 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6778 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
6779 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6780 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
6781 ; GFX10-WGP-NEXT:    s_endpgm
6782 ;
6783 ; GFX10-CU-LABEL: global_system_one_as_monotonic_load:
6784 ; GFX10-CU:       ; %bb.0: ; %entry
6785 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6786 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
6787 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6788 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
6789 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6790 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
6791 ; GFX10-CU-NEXT:    s_endpgm
6792 ;
6793 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_load:
6794 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6795 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6796 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6797 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6798 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6799 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6800 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6801 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
6802 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
6803 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
6804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6805 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6806 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6807 ;
6808 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_load:
6809 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6810 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6811 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6812 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6813 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
6814 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6815 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6816 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6817 ;
6818 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_load:
6819 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6820 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6821 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6822 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6823 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
6824 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6825 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6826 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6827 ;
6828 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_load:
6829 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6830 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6831 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6832 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6833 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
6834 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6835 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6836 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6837 ;
6838 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_load:
6839 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6840 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6841 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6842 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6843 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
6844 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6845 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6846 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6847 ;
6848 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_load:
6849 ; GFX11-WGP:       ; %bb.0: ; %entry
6850 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6851 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
6852 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6853 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
6854 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
6855 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
6856 ; GFX11-WGP-NEXT:    s_nop 0
6857 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6858 ; GFX11-WGP-NEXT:    s_endpgm
6859 ;
6860 ; GFX11-CU-LABEL: global_system_one_as_monotonic_load:
6861 ; GFX11-CU:       ; %bb.0: ; %entry
6862 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6863 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
6864 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6865 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
6866 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
6867 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
6868 ; GFX11-CU-NEXT:    s_nop 0
6869 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
6870 ; GFX11-CU-NEXT:    s_endpgm
6871     ptr addrspace(1) %in, ptr addrspace(1) %out) {
6872 entry:
6873   %val = load atomic i32, ptr addrspace(1) %in syncscope("one-as") monotonic, align 4
6874   store i32 %val, ptr addrspace(1) %out
6875   ret void
6876 }
6877
6878 define amdgpu_kernel void @global_system_one_as_acquire_load(
6879 ; GFX6-LABEL: global_system_one_as_acquire_load:
6880 ; GFX6:       ; %bb.0: ; %entry
6881 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6882 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
6883 ; GFX6-NEXT:    s_mov_b32 s6, -1
6884 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6885 ; GFX6-NEXT:    s_mov_b32 s4, s0
6886 ; GFX6-NEXT:    s_mov_b32 s5, s1
6887 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
6888 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
6889 ; GFX6-NEXT:    buffer_wbinvl1
6890 ; GFX6-NEXT:    s_mov_b32 s4, s2
6891 ; GFX6-NEXT:    s_mov_b32 s5, s3
6892 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6893 ; GFX6-NEXT:    s_endpgm
6894 ;
6895 ; GFX7-LABEL: global_system_one_as_acquire_load:
6896 ; GFX7:       ; %bb.0: ; %entry
6897 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6898 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6899 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6900 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6901 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
6902 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
6903 ; GFX7-NEXT:    buffer_wbinvl1_vol
6904 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6905 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6906 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6907 ; GFX7-NEXT:    s_endpgm
6908 ;
6909 ; GFX10-WGP-LABEL: global_system_one_as_acquire_load:
6910 ; GFX10-WGP:       ; %bb.0: ; %entry
6911 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6912 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
6913 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6914 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
6915 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
6916 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6917 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6918 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
6919 ; GFX10-WGP-NEXT:    s_endpgm
6920 ;
6921 ; GFX10-CU-LABEL: global_system_one_as_acquire_load:
6922 ; GFX10-CU:       ; %bb.0: ; %entry
6923 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6924 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
6925 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6926 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
6927 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
6928 ; GFX10-CU-NEXT:    buffer_gl0_inv
6929 ; GFX10-CU-NEXT:    buffer_gl1_inv
6930 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
6931 ; GFX10-CU-NEXT:    s_endpgm
6932 ;
6933 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_load:
6934 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6935 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6936 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
6937 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
6938 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6939 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
6940 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
6941 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
6942 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
6943 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
6944 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
6945 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
6946 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6947 ;
6948 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_load:
6949 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6950 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6951 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6952 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6953 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
6954 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6955 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
6956 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6957 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6958 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6959 ;
6960 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_load:
6961 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6962 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6963 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6964 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6965 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
6966 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6967 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
6968 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6969 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
6970 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6971 ;
6972 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_load:
6973 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6974 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6975 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6976 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6977 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
6978 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6979 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
6980 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6981 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6982 ;
6983 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_load:
6984 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6985 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6986 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
6987 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6988 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
6989 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6990 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
6991 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
6992 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6993 ;
6994 ; GFX11-WGP-LABEL: global_system_one_as_acquire_load:
6995 ; GFX11-WGP:       ; %bb.0: ; %entry
6996 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6997 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
6998 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6999 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
7000 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7001 ; GFX11-WGP-NEXT:    buffer_gl0_inv
7002 ; GFX11-WGP-NEXT:    buffer_gl1_inv
7003 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
7004 ; GFX11-WGP-NEXT:    s_nop 0
7005 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7006 ; GFX11-WGP-NEXT:    s_endpgm
7007 ;
7008 ; GFX11-CU-LABEL: global_system_one_as_acquire_load:
7009 ; GFX11-CU:       ; %bb.0: ; %entry
7010 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7011 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
7012 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7013 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
7014 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7015 ; GFX11-CU-NEXT:    buffer_gl0_inv
7016 ; GFX11-CU-NEXT:    buffer_gl1_inv
7017 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
7018 ; GFX11-CU-NEXT:    s_nop 0
7019 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7020 ; GFX11-CU-NEXT:    s_endpgm
7021     ptr addrspace(1) %in, ptr addrspace(1) %out) {
7022 entry:
7023   %val = load atomic i32, ptr addrspace(1) %in syncscope("one-as") acquire, align 4
7024   store i32 %val, ptr addrspace(1) %out
7025   ret void
7026 }
7027
7028 define amdgpu_kernel void @global_system_one_as_seq_cst_load(
7029 ; GFX6-LABEL: global_system_one_as_seq_cst_load:
7030 ; GFX6:       ; %bb.0: ; %entry
7031 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7032 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
7033 ; GFX6-NEXT:    s_mov_b32 s6, -1
7034 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7035 ; GFX6-NEXT:    s_mov_b32 s4, s0
7036 ; GFX6-NEXT:    s_mov_b32 s5, s1
7037 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
7038 ; GFX6-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
7039 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
7040 ; GFX6-NEXT:    buffer_wbinvl1
7041 ; GFX6-NEXT:    s_mov_b32 s4, s2
7042 ; GFX6-NEXT:    s_mov_b32 s5, s3
7043 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
7044 ; GFX6-NEXT:    s_endpgm
7045 ;
7046 ; GFX7-LABEL: global_system_one_as_seq_cst_load:
7047 ; GFX7:       ; %bb.0: ; %entry
7048 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7049 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7050 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7051 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7052 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7053 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
7054 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7055 ; GFX7-NEXT:    buffer_wbinvl1_vol
7056 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
7057 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
7058 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7059 ; GFX7-NEXT:    s_endpgm
7060 ;
7061 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_load:
7062 ; GFX10-WGP:       ; %bb.0: ; %entry
7063 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7064 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7065 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7066 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7067 ; GFX10-WGP-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
7068 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7069 ; GFX10-WGP-NEXT:    buffer_gl0_inv
7070 ; GFX10-WGP-NEXT:    buffer_gl1_inv
7071 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[2:3]
7072 ; GFX10-WGP-NEXT:    s_endpgm
7073 ;
7074 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_load:
7075 ; GFX10-CU:       ; %bb.0: ; %entry
7076 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7077 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7078 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7079 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7080 ; GFX10-CU-NEXT:    global_load_dword v1, v0, s[0:1] glc dlc
7081 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7082 ; GFX10-CU-NEXT:    buffer_gl0_inv
7083 ; GFX10-CU-NEXT:    buffer_gl1_inv
7084 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[2:3]
7085 ; GFX10-CU-NEXT:    s_endpgm
7086 ;
7087 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_load:
7088 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7089 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7090 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
7091 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
7092 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7093 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
7094 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
7095 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7096 ; SKIP-CACHE-INV-NEXT:    buffer_load_dword v0, off, s[4:7], 0 glc
7097 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7098 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s2
7099 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s3
7100 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
7101 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7102 ;
7103 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_load:
7104 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7105 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7106 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7107 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7108 ; GFX90A-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
7109 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7110 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
7111 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
7112 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
7113 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7114 ;
7115 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_load:
7116 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7117 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7118 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7119 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7120 ; GFX90A-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] glc
7121 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7122 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
7123 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
7124 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3]
7125 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7126 ;
7127 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_load:
7128 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7129 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7130 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7131 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7132 ; GFX940-NOTTGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
7133 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7134 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
7135 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7136 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7137 ;
7138 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_load:
7139 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7140 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7141 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7142 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7143 ; GFX940-TGSPLIT-NEXT:    global_load_dword v1, v0, s[0:1] sc0 sc1
7144 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7145 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
7146 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7147 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7148 ;
7149 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_load:
7150 ; GFX11-WGP:       ; %bb.0: ; %entry
7151 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7152 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, 0
7153 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7154 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7155 ; GFX11-WGP-NEXT:    global_load_b32 v1, v0, s[0:1] glc
7156 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7157 ; GFX11-WGP-NEXT:    buffer_gl0_inv
7158 ; GFX11-WGP-NEXT:    buffer_gl1_inv
7159 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[2:3]
7160 ; GFX11-WGP-NEXT:    s_nop 0
7161 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7162 ; GFX11-WGP-NEXT:    s_endpgm
7163 ;
7164 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_load:
7165 ; GFX11-CU:       ; %bb.0: ; %entry
7166 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7167 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, 0
7168 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7169 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7170 ; GFX11-CU-NEXT:    global_load_b32 v1, v0, s[0:1] glc
7171 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7172 ; GFX11-CU-NEXT:    buffer_gl0_inv
7173 ; GFX11-CU-NEXT:    buffer_gl1_inv
7174 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[2:3]
7175 ; GFX11-CU-NEXT:    s_nop 0
7176 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7177 ; GFX11-CU-NEXT:    s_endpgm
7178     ptr addrspace(1) %in, ptr addrspace(1) %out) {
7179 entry:
7180   %val = load atomic i32, ptr addrspace(1) %in syncscope("one-as") seq_cst, align 4
7181   store i32 %val, ptr addrspace(1) %out
7182   ret void
7183 }
7184
7185 define amdgpu_kernel void @global_system_one_as_unordered_store(
7186 ; GFX6-LABEL: global_system_one_as_unordered_store:
7187 ; GFX6:       ; %bb.0: ; %entry
7188 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
7189 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7190 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7191 ; GFX6-NEXT:    s_mov_b32 s2, -1
7192 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7193 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7194 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7195 ; GFX6-NEXT:    s_endpgm
7196 ;
7197 ; GFX7-LABEL: global_system_one_as_unordered_store:
7198 ; GFX7:       ; %bb.0: ; %entry
7199 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7200 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7201 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7202 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7203 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7204 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7205 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7206 ; GFX7-NEXT:    s_endpgm
7207 ;
7208 ; GFX10-WGP-LABEL: global_system_one_as_unordered_store:
7209 ; GFX10-WGP:       ; %bb.0: ; %entry
7210 ; GFX10-WGP-NEXT:    s_clause 0x1
7211 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7212 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7213 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7214 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7215 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7216 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
7217 ; GFX10-WGP-NEXT:    s_endpgm
7218 ;
7219 ; GFX10-CU-LABEL: global_system_one_as_unordered_store:
7220 ; GFX10-CU:       ; %bb.0: ; %entry
7221 ; GFX10-CU-NEXT:    s_clause 0x1
7222 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7223 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7224 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7225 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7226 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7227 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
7228 ; GFX10-CU-NEXT:    s_endpgm
7229 ;
7230 ; SKIP-CACHE-INV-LABEL: global_system_one_as_unordered_store:
7231 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7232 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
7233 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
7234 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7235 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7236 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7237 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7238 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7239 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7240 ;
7241 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_unordered_store:
7242 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7243 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7244 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7245 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7246 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7247 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7248 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7249 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7250 ;
7251 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_unordered_store:
7252 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7253 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7254 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7255 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7256 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7257 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7258 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7259 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7260 ;
7261 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_unordered_store:
7262 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7263 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7264 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7265 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7266 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7267 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7268 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7269 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7270 ;
7271 ; GFX940-TGSPLIT-LABEL: global_system_one_as_unordered_store:
7272 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7273 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7274 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7275 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7276 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7277 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7278 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7279 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7280 ;
7281 ; GFX11-WGP-LABEL: global_system_one_as_unordered_store:
7282 ; GFX11-WGP:       ; %bb.0: ; %entry
7283 ; GFX11-WGP-NEXT:    s_clause 0x1
7284 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
7285 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7286 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7287 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7288 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
7289 ; GFX11-WGP-NEXT:    s_nop 0
7290 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7291 ; GFX11-WGP-NEXT:    s_endpgm
7292 ;
7293 ; GFX11-CU-LABEL: global_system_one_as_unordered_store:
7294 ; GFX11-CU:       ; %bb.0: ; %entry
7295 ; GFX11-CU-NEXT:    s_clause 0x1
7296 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
7297 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7298 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7299 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7300 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
7301 ; GFX11-CU-NEXT:    s_nop 0
7302 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7303 ; GFX11-CU-NEXT:    s_endpgm
7304     i32 %in, ptr addrspace(1) %out) {
7305 entry:
7306   store atomic i32 %in, ptr addrspace(1) %out syncscope("one-as") unordered, align 4
7307   ret void
7308 }
7309
7310 define amdgpu_kernel void @global_system_one_as_monotonic_store(
7311 ; GFX6-LABEL: global_system_one_as_monotonic_store:
7312 ; GFX6:       ; %bb.0: ; %entry
7313 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
7314 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7315 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7316 ; GFX6-NEXT:    s_mov_b32 s2, -1
7317 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7318 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7319 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7320 ; GFX6-NEXT:    s_endpgm
7321 ;
7322 ; GFX7-LABEL: global_system_one_as_monotonic_store:
7323 ; GFX7:       ; %bb.0: ; %entry
7324 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7325 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7326 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7327 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7328 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7329 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7330 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7331 ; GFX7-NEXT:    s_endpgm
7332 ;
7333 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_store:
7334 ; GFX10-WGP:       ; %bb.0: ; %entry
7335 ; GFX10-WGP-NEXT:    s_clause 0x1
7336 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7337 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7338 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7339 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7340 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7341 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
7342 ; GFX10-WGP-NEXT:    s_endpgm
7343 ;
7344 ; GFX10-CU-LABEL: global_system_one_as_monotonic_store:
7345 ; GFX10-CU:       ; %bb.0: ; %entry
7346 ; GFX10-CU-NEXT:    s_clause 0x1
7347 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7348 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7349 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7350 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7351 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7352 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
7353 ; GFX10-CU-NEXT:    s_endpgm
7354 ;
7355 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_store:
7356 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7357 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
7358 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
7359 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7360 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7361 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7362 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7363 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7364 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7365 ;
7366 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_store:
7367 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7368 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7369 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7370 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7371 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7372 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7373 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7374 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7375 ;
7376 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_store:
7377 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7378 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7379 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7380 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7381 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7382 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7383 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7384 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7385 ;
7386 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_store:
7387 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7388 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7389 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7390 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7391 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7392 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7393 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7394 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7395 ;
7396 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_store:
7397 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7398 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7399 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7400 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7401 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7402 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7403 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7404 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7405 ;
7406 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_store:
7407 ; GFX11-WGP:       ; %bb.0: ; %entry
7408 ; GFX11-WGP-NEXT:    s_clause 0x1
7409 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
7410 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7411 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7412 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7413 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
7414 ; GFX11-WGP-NEXT:    s_nop 0
7415 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7416 ; GFX11-WGP-NEXT:    s_endpgm
7417 ;
7418 ; GFX11-CU-LABEL: global_system_one_as_monotonic_store:
7419 ; GFX11-CU:       ; %bb.0: ; %entry
7420 ; GFX11-CU-NEXT:    s_clause 0x1
7421 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
7422 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7423 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7424 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7425 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
7426 ; GFX11-CU-NEXT:    s_nop 0
7427 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7428 ; GFX11-CU-NEXT:    s_endpgm
7429     i32 %in, ptr addrspace(1) %out) {
7430 entry:
7431   store atomic i32 %in, ptr addrspace(1) %out syncscope("one-as") monotonic, align 4
7432   ret void
7433 }
7434
7435 define amdgpu_kernel void @global_system_one_as_release_store(
7436 ; GFX6-LABEL: global_system_one_as_release_store:
7437 ; GFX6:       ; %bb.0: ; %entry
7438 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
7439 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7440 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7441 ; GFX6-NEXT:    s_mov_b32 s2, -1
7442 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7443 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7444 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
7445 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7446 ; GFX6-NEXT:    s_endpgm
7447 ;
7448 ; GFX7-LABEL: global_system_one_as_release_store:
7449 ; GFX7:       ; %bb.0: ; %entry
7450 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7451 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7452 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7453 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7454 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7455 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7456 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7457 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7458 ; GFX7-NEXT:    s_endpgm
7459 ;
7460 ; GFX10-WGP-LABEL: global_system_one_as_release_store:
7461 ; GFX10-WGP:       ; %bb.0: ; %entry
7462 ; GFX10-WGP-NEXT:    s_clause 0x1
7463 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7464 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7465 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7466 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7467 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7468 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7469 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7470 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
7471 ; GFX10-WGP-NEXT:    s_endpgm
7472 ;
7473 ; GFX10-CU-LABEL: global_system_one_as_release_store:
7474 ; GFX10-CU:       ; %bb.0: ; %entry
7475 ; GFX10-CU-NEXT:    s_clause 0x1
7476 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7477 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7478 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7479 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7480 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7481 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7482 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7483 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
7484 ; GFX10-CU-NEXT:    s_endpgm
7485 ;
7486 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_store:
7487 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7488 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
7489 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
7490 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7491 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7492 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7493 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7494 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7495 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7496 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7497 ;
7498 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_store:
7499 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7500 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7501 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7502 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7503 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7504 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7505 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
7506 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7507 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7508 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7509 ;
7510 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_store:
7511 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7512 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7513 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7514 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7515 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7516 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7517 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
7518 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7519 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7520 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7521 ;
7522 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_store:
7523 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7524 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7525 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7526 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7527 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7528 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7529 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
7530 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7531 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7532 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7533 ;
7534 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_store:
7535 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7536 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7537 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7538 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7539 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7540 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7541 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
7542 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7543 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7544 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7545 ;
7546 ; GFX11-WGP-LABEL: global_system_one_as_release_store:
7547 ; GFX11-WGP:       ; %bb.0: ; %entry
7548 ; GFX11-WGP-NEXT:    s_clause 0x1
7549 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
7550 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7551 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7552 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7553 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7554 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7555 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
7556 ; GFX11-WGP-NEXT:    s_nop 0
7557 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7558 ; GFX11-WGP-NEXT:    s_endpgm
7559 ;
7560 ; GFX11-CU-LABEL: global_system_one_as_release_store:
7561 ; GFX11-CU:       ; %bb.0: ; %entry
7562 ; GFX11-CU-NEXT:    s_clause 0x1
7563 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
7564 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7565 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7566 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7567 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7568 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7569 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
7570 ; GFX11-CU-NEXT:    s_nop 0
7571 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7572 ; GFX11-CU-NEXT:    s_endpgm
7573     i32 %in, ptr addrspace(1) %out) {
7574 entry:
7575   store atomic i32 %in, ptr addrspace(1) %out syncscope("one-as") release, align 4
7576   ret void
7577 }
7578
7579 define amdgpu_kernel void @global_system_one_as_seq_cst_store(
7580 ; GFX6-LABEL: global_system_one_as_seq_cst_store:
7581 ; GFX6:       ; %bb.0: ; %entry
7582 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x0
7583 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7584 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7585 ; GFX6-NEXT:    s_mov_b32 s2, -1
7586 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7587 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7588 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
7589 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7590 ; GFX6-NEXT:    s_endpgm
7591 ;
7592 ; GFX7-LABEL: global_system_one_as_seq_cst_store:
7593 ; GFX7:       ; %bb.0: ; %entry
7594 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7595 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7596 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7597 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7598 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7599 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7600 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7601 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7602 ; GFX7-NEXT:    s_endpgm
7603 ;
7604 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_store:
7605 ; GFX10-WGP:       ; %bb.0: ; %entry
7606 ; GFX10-WGP-NEXT:    s_clause 0x1
7607 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7608 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7609 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7610 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7611 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7612 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7613 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7614 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
7615 ; GFX10-WGP-NEXT:    s_endpgm
7616 ;
7617 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_store:
7618 ; GFX10-CU:       ; %bb.0: ; %entry
7619 ; GFX10-CU-NEXT:    s_clause 0x1
7620 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7621 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7622 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7623 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7624 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7625 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7626 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7627 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
7628 ; GFX10-CU-NEXT:    s_endpgm
7629 ;
7630 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_store:
7631 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7632 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x0
7633 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x2
7634 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7635 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7636 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7637 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7638 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7639 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
7640 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7641 ;
7642 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_store:
7643 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7644 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7645 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7646 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7647 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7648 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7649 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
7650 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7651 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7652 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7653 ;
7654 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_store:
7655 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7656 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7657 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7658 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7659 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7660 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7661 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
7662 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7663 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
7664 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7665 ;
7666 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_store:
7667 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7668 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7669 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7670 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7671 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7672 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7673 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
7674 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7675 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7676 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7677 ;
7678 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_store:
7679 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7680 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7681 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7682 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7683 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7684 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7685 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
7686 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7687 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
7688 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7689 ;
7690 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_store:
7691 ; GFX11-WGP:       ; %bb.0: ; %entry
7692 ; GFX11-WGP-NEXT:    s_clause 0x1
7693 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x0
7694 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7695 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7696 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7697 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7698 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7699 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
7700 ; GFX11-WGP-NEXT:    s_nop 0
7701 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7702 ; GFX11-WGP-NEXT:    s_endpgm
7703 ;
7704 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_store:
7705 ; GFX11-CU:       ; %bb.0: ; %entry
7706 ; GFX11-CU-NEXT:    s_clause 0x1
7707 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x0
7708 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x8
7709 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7710 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7711 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7712 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7713 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
7714 ; GFX11-CU-NEXT:    s_nop 0
7715 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7716 ; GFX11-CU-NEXT:    s_endpgm
7717     i32 %in, ptr addrspace(1) %out) {
7718 entry:
7719   store atomic i32 %in, ptr addrspace(1) %out syncscope("one-as") seq_cst, align 4
7720   ret void
7721 }
7722
7723 define amdgpu_kernel void @global_system_one_as_monotonic_atomicrmw(
7724 ; GFX6-LABEL: global_system_one_as_monotonic_atomicrmw:
7725 ; GFX6:       ; %bb.0: ; %entry
7726 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
7727 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7728 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7729 ; GFX6-NEXT:    s_mov_b32 s2, -1
7730 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7731 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7732 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
7733 ; GFX6-NEXT:    s_endpgm
7734 ;
7735 ; GFX7-LABEL: global_system_one_as_monotonic_atomicrmw:
7736 ; GFX7:       ; %bb.0: ; %entry
7737 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7738 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
7739 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7740 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7741 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7742 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7743 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
7744 ; GFX7-NEXT:    s_endpgm
7745 ;
7746 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_atomicrmw:
7747 ; GFX10-WGP:       ; %bb.0: ; %entry
7748 ; GFX10-WGP-NEXT:    s_clause 0x1
7749 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
7750 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7751 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7752 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7753 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7754 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
7755 ; GFX10-WGP-NEXT:    s_endpgm
7756 ;
7757 ; GFX10-CU-LABEL: global_system_one_as_monotonic_atomicrmw:
7758 ; GFX10-CU:       ; %bb.0: ; %entry
7759 ; GFX10-CU-NEXT:    s_clause 0x1
7760 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
7761 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7762 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7763 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7764 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7765 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
7766 ; GFX10-CU-NEXT:    s_endpgm
7767 ;
7768 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_atomicrmw:
7769 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7770 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
7771 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7772 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7773 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7774 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7775 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7776 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
7777 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7778 ;
7779 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_atomicrmw:
7780 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7781 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7782 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7783 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7784 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7785 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7786 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
7787 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7788 ;
7789 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_atomicrmw:
7790 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7791 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7792 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7793 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7794 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7795 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7796 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
7797 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7798 ;
7799 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_atomicrmw:
7800 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7801 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
7802 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
7803 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7804 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7805 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7806 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
7807 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7808 ;
7809 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_atomicrmw:
7810 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7811 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
7812 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
7813 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7814 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7815 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7816 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
7817 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7818 ;
7819 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_atomicrmw:
7820 ; GFX11-WGP:       ; %bb.0: ; %entry
7821 ; GFX11-WGP-NEXT:    s_clause 0x1
7822 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
7823 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7824 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7825 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7826 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
7827 ; GFX11-WGP-NEXT:    s_nop 0
7828 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7829 ; GFX11-WGP-NEXT:    s_endpgm
7830 ;
7831 ; GFX11-CU-LABEL: global_system_one_as_monotonic_atomicrmw:
7832 ; GFX11-CU:       ; %bb.0: ; %entry
7833 ; GFX11-CU-NEXT:    s_clause 0x1
7834 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
7835 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7836 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7837 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7838 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
7839 ; GFX11-CU-NEXT:    s_nop 0
7840 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
7841 ; GFX11-CU-NEXT:    s_endpgm
7842     ptr addrspace(1) %out, i32 %in) {
7843 entry:
7844   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") monotonic
7845   ret void
7846 }
7847
7848 define amdgpu_kernel void @global_system_one_as_acquire_atomicrmw(
7849 ; GFX6-LABEL: global_system_one_as_acquire_atomicrmw:
7850 ; GFX6:       ; %bb.0: ; %entry
7851 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
7852 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7853 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
7854 ; GFX6-NEXT:    s_mov_b32 s2, -1
7855 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7856 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
7857 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
7858 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
7859 ; GFX6-NEXT:    buffer_wbinvl1
7860 ; GFX6-NEXT:    s_endpgm
7861 ;
7862 ; GFX7-LABEL: global_system_one_as_acquire_atomicrmw:
7863 ; GFX7:       ; %bb.0: ; %entry
7864 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7865 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
7866 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7867 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7868 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7869 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7870 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
7871 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7872 ; GFX7-NEXT:    buffer_wbinvl1_vol
7873 ; GFX7-NEXT:    s_endpgm
7874 ;
7875 ; GFX10-WGP-LABEL: global_system_one_as_acquire_atomicrmw:
7876 ; GFX10-WGP:       ; %bb.0: ; %entry
7877 ; GFX10-WGP-NEXT:    s_clause 0x1
7878 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
7879 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7880 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
7881 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7882 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7883 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
7884 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7885 ; GFX10-WGP-NEXT:    buffer_gl0_inv
7886 ; GFX10-WGP-NEXT:    buffer_gl1_inv
7887 ; GFX10-WGP-NEXT:    s_endpgm
7888 ;
7889 ; GFX10-CU-LABEL: global_system_one_as_acquire_atomicrmw:
7890 ; GFX10-CU:       ; %bb.0: ; %entry
7891 ; GFX10-CU-NEXT:    s_clause 0x1
7892 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
7893 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7894 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
7895 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7896 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7897 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
7898 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7899 ; GFX10-CU-NEXT:    buffer_gl0_inv
7900 ; GFX10-CU-NEXT:    buffer_gl1_inv
7901 ; GFX10-CU-NEXT:    s_endpgm
7902 ;
7903 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_atomicrmw:
7904 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7905 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
7906 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7907 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
7908 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
7909 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7910 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
7911 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
7912 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7913 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7914 ;
7915 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_atomicrmw:
7916 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7917 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7918 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7919 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7920 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7921 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7922 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
7923 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7924 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
7925 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
7926 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7927 ;
7928 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_atomicrmw:
7929 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7930 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7931 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7932 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7933 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7934 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7935 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
7936 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7937 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
7938 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
7939 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7940 ;
7941 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_atomicrmw:
7942 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7943 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
7944 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
7945 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7946 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7947 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7948 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
7949 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7950 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
7951 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7952 ;
7953 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_atomicrmw:
7954 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7955 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
7956 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
7957 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
7958 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7959 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
7960 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
7961 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7962 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
7963 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7964 ;
7965 ; GFX11-WGP-LABEL: global_system_one_as_acquire_atomicrmw:
7966 ; GFX11-WGP:       ; %bb.0: ; %entry
7967 ; GFX11-WGP-NEXT:    s_clause 0x1
7968 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
7969 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7970 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7971 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7972 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
7973 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7974 ; GFX11-WGP-NEXT:    buffer_gl0_inv
7975 ; GFX11-WGP-NEXT:    buffer_gl1_inv
7976 ; GFX11-WGP-NEXT:    s_endpgm
7977 ;
7978 ; GFX11-CU-LABEL: global_system_one_as_acquire_atomicrmw:
7979 ; GFX11-CU:       ; %bb.0: ; %entry
7980 ; GFX11-CU-NEXT:    s_clause 0x1
7981 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
7982 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7983 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7984 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
7985 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
7986 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7987 ; GFX11-CU-NEXT:    buffer_gl0_inv
7988 ; GFX11-CU-NEXT:    buffer_gl1_inv
7989 ; GFX11-CU-NEXT:    s_endpgm
7990     ptr addrspace(1) %out, i32 %in) {
7991 entry:
7992   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") acquire
7993   ret void
7994 }
7995
7996 define amdgpu_kernel void @global_system_one_as_release_atomicrmw(
7997 ; GFX6-LABEL: global_system_one_as_release_atomicrmw:
7998 ; GFX6:       ; %bb.0: ; %entry
7999 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8000 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8001 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8002 ; GFX6-NEXT:    s_mov_b32 s2, -1
8003 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8004 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8005 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8006 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8007 ; GFX6-NEXT:    s_endpgm
8008 ;
8009 ; GFX7-LABEL: global_system_one_as_release_atomicrmw:
8010 ; GFX7:       ; %bb.0: ; %entry
8011 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8012 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8013 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8014 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8015 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8016 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8017 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8018 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8019 ; GFX7-NEXT:    s_endpgm
8020 ;
8021 ; GFX10-WGP-LABEL: global_system_one_as_release_atomicrmw:
8022 ; GFX10-WGP:       ; %bb.0: ; %entry
8023 ; GFX10-WGP-NEXT:    s_clause 0x1
8024 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8025 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8026 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8027 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8028 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8029 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8030 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8031 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
8032 ; GFX10-WGP-NEXT:    s_endpgm
8033 ;
8034 ; GFX10-CU-LABEL: global_system_one_as_release_atomicrmw:
8035 ; GFX10-CU:       ; %bb.0: ; %entry
8036 ; GFX10-CU-NEXT:    s_clause 0x1
8037 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8038 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8039 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8040 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8041 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8042 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8043 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8044 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
8045 ; GFX10-CU-NEXT:    s_endpgm
8046 ;
8047 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_atomicrmw:
8048 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8049 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8050 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8051 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8052 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8053 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8054 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8055 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8056 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8057 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8058 ;
8059 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_atomicrmw:
8060 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8061 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8062 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8063 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8064 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8065 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8066 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
8067 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8068 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8069 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8070 ;
8071 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_atomicrmw:
8072 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8073 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8074 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8075 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8076 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8077 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8078 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
8079 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8080 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8081 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8082 ;
8083 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_atomicrmw:
8084 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8085 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8086 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8087 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8088 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8089 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8090 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8091 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8092 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8093 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8094 ;
8095 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_atomicrmw:
8096 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8097 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8098 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8099 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8100 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8101 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8102 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8103 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8104 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8105 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8106 ;
8107 ; GFX11-WGP-LABEL: global_system_one_as_release_atomicrmw:
8108 ; GFX11-WGP:       ; %bb.0: ; %entry
8109 ; GFX11-WGP-NEXT:    s_clause 0x1
8110 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8111 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8112 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8113 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8114 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8115 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8116 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8117 ; GFX11-WGP-NEXT:    s_nop 0
8118 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8119 ; GFX11-WGP-NEXT:    s_endpgm
8120 ;
8121 ; GFX11-CU-LABEL: global_system_one_as_release_atomicrmw:
8122 ; GFX11-CU:       ; %bb.0: ; %entry
8123 ; GFX11-CU-NEXT:    s_clause 0x1
8124 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8125 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8126 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8127 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8128 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8129 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8130 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8131 ; GFX11-CU-NEXT:    s_nop 0
8132 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8133 ; GFX11-CU-NEXT:    s_endpgm
8134     ptr addrspace(1) %out, i32 %in) {
8135 entry:
8136   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") release
8137   ret void
8138 }
8139
8140 define amdgpu_kernel void @global_system_one_as_acq_rel_atomicrmw(
8141 ; GFX6-LABEL: global_system_one_as_acq_rel_atomicrmw:
8142 ; GFX6:       ; %bb.0: ; %entry
8143 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8144 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8145 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8146 ; GFX6-NEXT:    s_mov_b32 s2, -1
8147 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8148 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8149 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8150 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8151 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8152 ; GFX6-NEXT:    buffer_wbinvl1
8153 ; GFX6-NEXT:    s_endpgm
8154 ;
8155 ; GFX7-LABEL: global_system_one_as_acq_rel_atomicrmw:
8156 ; GFX7:       ; %bb.0: ; %entry
8157 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8158 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8159 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8160 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8161 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8162 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8163 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8164 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8165 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8166 ; GFX7-NEXT:    buffer_wbinvl1_vol
8167 ; GFX7-NEXT:    s_endpgm
8168 ;
8169 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_atomicrmw:
8170 ; GFX10-WGP:       ; %bb.0: ; %entry
8171 ; GFX10-WGP-NEXT:    s_clause 0x1
8172 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8173 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8174 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8175 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8176 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8177 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8178 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8179 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
8180 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8181 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8182 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8183 ; GFX10-WGP-NEXT:    s_endpgm
8184 ;
8185 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_atomicrmw:
8186 ; GFX10-CU:       ; %bb.0: ; %entry
8187 ; GFX10-CU-NEXT:    s_clause 0x1
8188 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8189 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8190 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8191 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8192 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8193 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8194 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8195 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
8196 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8197 ; GFX10-CU-NEXT:    buffer_gl0_inv
8198 ; GFX10-CU-NEXT:    buffer_gl1_inv
8199 ; GFX10-CU-NEXT:    s_endpgm
8200 ;
8201 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_atomicrmw:
8202 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8203 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8204 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8205 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8206 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8207 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8208 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8209 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8210 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8211 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8212 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8213 ;
8214 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_atomicrmw:
8215 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8216 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8217 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8218 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8219 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8220 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8221 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
8222 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8223 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8224 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8225 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
8226 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8227 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8228 ;
8229 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_atomicrmw:
8230 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8231 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8232 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8233 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8234 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8235 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8236 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
8237 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8238 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8239 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8240 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
8241 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8242 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8243 ;
8244 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_atomicrmw:
8245 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8246 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8247 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8248 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8249 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8250 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8251 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8252 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8253 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8254 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8255 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
8256 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8257 ;
8258 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_atomicrmw:
8259 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8260 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8261 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8262 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8263 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8264 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8265 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8266 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8267 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8268 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8269 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
8270 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8271 ;
8272 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_atomicrmw:
8273 ; GFX11-WGP:       ; %bb.0: ; %entry
8274 ; GFX11-WGP-NEXT:    s_clause 0x1
8275 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8276 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8277 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8278 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8279 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8280 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8281 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8282 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8283 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8284 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8285 ; GFX11-WGP-NEXT:    s_endpgm
8286 ;
8287 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_atomicrmw:
8288 ; GFX11-CU:       ; %bb.0: ; %entry
8289 ; GFX11-CU-NEXT:    s_clause 0x1
8290 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8291 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8292 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8293 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8294 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8295 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8296 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8297 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8298 ; GFX11-CU-NEXT:    buffer_gl0_inv
8299 ; GFX11-CU-NEXT:    buffer_gl1_inv
8300 ; GFX11-CU-NEXT:    s_endpgm
8301     ptr addrspace(1) %out, i32 %in) {
8302 entry:
8303   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") acq_rel
8304   ret void
8305 }
8306
8307 define amdgpu_kernel void @global_system_one_as_seq_cst_atomicrmw(
8308 ; GFX6-LABEL: global_system_one_as_seq_cst_atomicrmw:
8309 ; GFX6:       ; %bb.0: ; %entry
8310 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8311 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8312 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8313 ; GFX6-NEXT:    s_mov_b32 s2, -1
8314 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8315 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8316 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8317 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8318 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8319 ; GFX6-NEXT:    buffer_wbinvl1
8320 ; GFX6-NEXT:    s_endpgm
8321 ;
8322 ; GFX7-LABEL: global_system_one_as_seq_cst_atomicrmw:
8323 ; GFX7:       ; %bb.0: ; %entry
8324 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8325 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8326 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8327 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8328 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8329 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8330 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8331 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8332 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8333 ; GFX7-NEXT:    buffer_wbinvl1_vol
8334 ; GFX7-NEXT:    s_endpgm
8335 ;
8336 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_atomicrmw:
8337 ; GFX10-WGP:       ; %bb.0: ; %entry
8338 ; GFX10-WGP-NEXT:    s_clause 0x1
8339 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8340 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8341 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8342 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8343 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8344 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8345 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8346 ; GFX10-WGP-NEXT:    global_atomic_swap v0, v1, s[0:1]
8347 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8348 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8349 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8350 ; GFX10-WGP-NEXT:    s_endpgm
8351 ;
8352 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_atomicrmw:
8353 ; GFX10-CU:       ; %bb.0: ; %entry
8354 ; GFX10-CU-NEXT:    s_clause 0x1
8355 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8356 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8357 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8358 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8359 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8360 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8361 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8362 ; GFX10-CU-NEXT:    global_atomic_swap v0, v1, s[0:1]
8363 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8364 ; GFX10-CU-NEXT:    buffer_gl0_inv
8365 ; GFX10-CU-NEXT:    buffer_gl1_inv
8366 ; GFX10-CU-NEXT:    s_endpgm
8367 ;
8368 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_atomicrmw:
8369 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8370 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8371 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8372 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8373 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8374 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8375 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8376 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8377 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0
8378 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8379 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8380 ;
8381 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_atomicrmw:
8382 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8383 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8384 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8385 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8386 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8388 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
8389 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8390 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8391 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8392 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
8393 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8394 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8395 ;
8396 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_atomicrmw:
8397 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8398 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8399 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8400 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8401 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8402 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8403 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
8404 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8405 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[0:1]
8406 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8407 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
8408 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8409 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8410 ;
8411 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_atomicrmw:
8412 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8413 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8414 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8415 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8416 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8417 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8418 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8419 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8420 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8421 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8422 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
8423 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8424 ;
8425 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_atomicrmw:
8426 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8427 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8428 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8429 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8430 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8431 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8432 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8433 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8434 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v0, v1, s[2:3] sc1
8435 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8436 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
8437 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8438 ;
8439 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_atomicrmw:
8440 ; GFX11-WGP:       ; %bb.0: ; %entry
8441 ; GFX11-WGP-NEXT:    s_clause 0x1
8442 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8443 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8444 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8445 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8446 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8447 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8448 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8449 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8450 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8451 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8452 ; GFX11-WGP-NEXT:    s_endpgm
8453 ;
8454 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_atomicrmw:
8455 ; GFX11-CU:       ; %bb.0: ; %entry
8456 ; GFX11-CU-NEXT:    s_clause 0x1
8457 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8458 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8459 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8460 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8461 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8462 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8463 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v0, v1, s[0:1]
8464 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8465 ; GFX11-CU-NEXT:    buffer_gl0_inv
8466 ; GFX11-CU-NEXT:    buffer_gl1_inv
8467 ; GFX11-CU-NEXT:    s_endpgm
8468     ptr addrspace(1) %out, i32 %in) {
8469 entry:
8470   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") seq_cst
8471   ret void
8472 }
8473
8474 define amdgpu_kernel void @global_system_one_as_acquire_ret_atomicrmw(
8475 ; GFX6-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8476 ; GFX6:       ; %bb.0: ; %entry
8477 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8478 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8479 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8480 ; GFX6-NEXT:    s_mov_b32 s2, -1
8481 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8482 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8483 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8484 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8485 ; GFX6-NEXT:    buffer_wbinvl1
8486 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8487 ; GFX6-NEXT:    s_endpgm
8488 ;
8489 ; GFX7-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8490 ; GFX7:       ; %bb.0: ; %entry
8491 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8492 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8493 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8494 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8495 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8496 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8497 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8498 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8499 ; GFX7-NEXT:    buffer_wbinvl1_vol
8500 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
8501 ; GFX7-NEXT:    s_endpgm
8502 ;
8503 ; GFX10-WGP-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8504 ; GFX10-WGP:       ; %bb.0: ; %entry
8505 ; GFX10-WGP-NEXT:    s_clause 0x1
8506 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8507 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8508 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8509 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8510 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8511 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8512 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8513 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8514 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8515 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
8516 ; GFX10-WGP-NEXT:    s_endpgm
8517 ;
8518 ; GFX10-CU-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8519 ; GFX10-CU:       ; %bb.0: ; %entry
8520 ; GFX10-CU-NEXT:    s_clause 0x1
8521 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8522 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8523 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8524 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8525 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8526 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8527 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8528 ; GFX10-CU-NEXT:    buffer_gl0_inv
8529 ; GFX10-CU-NEXT:    buffer_gl1_inv
8530 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
8531 ; GFX10-CU-NEXT:    s_endpgm
8532 ;
8533 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8534 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8535 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8536 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8537 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8538 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8539 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8540 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8541 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8542 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8543 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8544 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8545 ;
8546 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8547 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8548 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8549 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8550 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8551 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8552 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8553 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8554 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8555 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
8556 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8557 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8558 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8559 ;
8560 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8561 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8562 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8563 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8564 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8565 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8566 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8567 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8568 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8569 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
8570 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8571 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8572 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8573 ;
8574 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8575 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8576 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8577 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8578 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8579 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8580 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8581 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8582 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8583 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
8584 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8585 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8586 ;
8587 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8588 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8589 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8590 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8591 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8592 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8593 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8594 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8595 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8596 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
8597 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8598 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8599 ;
8600 ; GFX11-WGP-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8601 ; GFX11-WGP:       ; %bb.0: ; %entry
8602 ; GFX11-WGP-NEXT:    s_clause 0x1
8603 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8604 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8605 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8606 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8607 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8608 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8609 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8610 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8611 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
8612 ; GFX11-WGP-NEXT:    s_nop 0
8613 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8614 ; GFX11-WGP-NEXT:    s_endpgm
8615 ;
8616 ; GFX11-CU-LABEL: global_system_one_as_acquire_ret_atomicrmw:
8617 ; GFX11-CU:       ; %bb.0: ; %entry
8618 ; GFX11-CU-NEXT:    s_clause 0x1
8619 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8620 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8621 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8622 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8623 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8624 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8625 ; GFX11-CU-NEXT:    buffer_gl0_inv
8626 ; GFX11-CU-NEXT:    buffer_gl1_inv
8627 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
8628 ; GFX11-CU-NEXT:    s_nop 0
8629 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8630 ; GFX11-CU-NEXT:    s_endpgm
8631     ptr addrspace(1) %out, i32 %in) {
8632 entry:
8633   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") acquire
8634   store i32 %val, ptr addrspace(1) %out, align 4
8635   ret void
8636 }
8637
8638 define amdgpu_kernel void @global_system_one_as_acq_rel_ret_atomicrmw(
8639 ; GFX6-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8640 ; GFX6:       ; %bb.0: ; %entry
8641 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8642 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8643 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8644 ; GFX6-NEXT:    s_mov_b32 s2, -1
8645 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8646 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8647 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8648 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8649 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8650 ; GFX6-NEXT:    buffer_wbinvl1
8651 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8652 ; GFX6-NEXT:    s_endpgm
8653 ;
8654 ; GFX7-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8655 ; GFX7:       ; %bb.0: ; %entry
8656 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8657 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8658 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8659 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8660 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8661 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8662 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8663 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8664 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8665 ; GFX7-NEXT:    buffer_wbinvl1_vol
8666 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
8667 ; GFX7-NEXT:    s_endpgm
8668 ;
8669 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8670 ; GFX10-WGP:       ; %bb.0: ; %entry
8671 ; GFX10-WGP-NEXT:    s_clause 0x1
8672 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8673 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8674 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8675 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8676 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8677 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8678 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8679 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8680 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8681 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8682 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8683 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
8684 ; GFX10-WGP-NEXT:    s_endpgm
8685 ;
8686 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8687 ; GFX10-CU:       ; %bb.0: ; %entry
8688 ; GFX10-CU-NEXT:    s_clause 0x1
8689 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8690 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8691 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8692 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8693 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8694 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8695 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8696 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8697 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8698 ; GFX10-CU-NEXT:    buffer_gl0_inv
8699 ; GFX10-CU-NEXT:    buffer_gl1_inv
8700 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
8701 ; GFX10-CU-NEXT:    s_endpgm
8702 ;
8703 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8704 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8705 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8706 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8707 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8708 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8709 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8710 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8711 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8712 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8713 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8714 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8715 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8716 ;
8717 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8718 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8719 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8720 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8721 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8722 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8723 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8724 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
8725 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8726 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8727 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8728 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
8729 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8730 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8731 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8732 ;
8733 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8734 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8735 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8736 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8737 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8738 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8739 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8740 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
8741 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8742 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8743 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8744 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
8745 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8746 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8747 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8748 ;
8749 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8750 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8751 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8752 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8753 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8754 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8755 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8756 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8757 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8758 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8759 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8760 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
8761 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8762 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8763 ;
8764 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8765 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8766 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8767 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8768 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8769 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8770 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8771 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8772 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8773 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8774 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8775 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
8776 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8777 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8778 ;
8779 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8780 ; GFX11-WGP:       ; %bb.0: ; %entry
8781 ; GFX11-WGP-NEXT:    s_clause 0x1
8782 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8783 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8784 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8785 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8786 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8787 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8788 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8789 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8790 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8791 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8792 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
8793 ; GFX11-WGP-NEXT:    s_nop 0
8794 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8795 ; GFX11-WGP-NEXT:    s_endpgm
8796 ;
8797 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_ret_atomicrmw:
8798 ; GFX11-CU:       ; %bb.0: ; %entry
8799 ; GFX11-CU-NEXT:    s_clause 0x1
8800 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8801 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8802 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8803 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8804 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8805 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8806 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8807 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8808 ; GFX11-CU-NEXT:    buffer_gl0_inv
8809 ; GFX11-CU-NEXT:    buffer_gl1_inv
8810 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
8811 ; GFX11-CU-NEXT:    s_nop 0
8812 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8813 ; GFX11-CU-NEXT:    s_endpgm
8814     ptr addrspace(1) %out, i32 %in) {
8815 entry:
8816   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") acq_rel
8817   store i32 %val, ptr addrspace(1) %out, align 4
8818   ret void
8819 }
8820
8821 define amdgpu_kernel void @global_system_one_as_seq_cst_ret_atomicrmw(
8822 ; GFX6-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8823 ; GFX6:       ; %bb.0: ; %entry
8824 ; GFX6-NEXT:    s_load_dword s6, s[4:5], 0x2
8825 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8826 ; GFX6-NEXT:    s_mov_b32 s3, 0x100f000
8827 ; GFX6-NEXT:    s_mov_b32 s2, -1
8828 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8829 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
8830 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8831 ; GFX6-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8832 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
8833 ; GFX6-NEXT:    buffer_wbinvl1
8834 ; GFX6-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8835 ; GFX6-NEXT:    s_endpgm
8836 ;
8837 ; GFX7-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8838 ; GFX7:       ; %bb.0: ; %entry
8839 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8840 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8841 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8842 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8843 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8844 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8845 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8846 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8847 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8848 ; GFX7-NEXT:    buffer_wbinvl1_vol
8849 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
8850 ; GFX7-NEXT:    s_endpgm
8851 ;
8852 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8853 ; GFX10-WGP:       ; %bb.0: ; %entry
8854 ; GFX10-WGP-NEXT:    s_clause 0x1
8855 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8856 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8857 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, 0
8858 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8859 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8860 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8861 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8862 ; GFX10-WGP-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8863 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8864 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8865 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8866 ; GFX10-WGP-NEXT:    global_store_dword v0, v1, s[0:1]
8867 ; GFX10-WGP-NEXT:    s_endpgm
8868 ;
8869 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8870 ; GFX10-CU:       ; %bb.0: ; %entry
8871 ; GFX10-CU-NEXT:    s_clause 0x1
8872 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8873 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8874 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, 0
8875 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8876 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8877 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8878 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8879 ; GFX10-CU-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8880 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8881 ; GFX10-CU-NEXT:    buffer_gl0_inv
8882 ; GFX10-CU-NEXT:    buffer_gl1_inv
8883 ; GFX10-CU-NEXT:    global_store_dword v0, v1, s[0:1]
8884 ; GFX10-CU-NEXT:    s_endpgm
8885 ;
8886 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8887 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8888 ; SKIP-CACHE-INV-NEXT:    s_load_dword s4, s[0:1], 0x2
8889 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8890 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s3, 0xf000
8891 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s2, -1
8892 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8893 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
8894 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8895 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_swap v0, off, s[0:3], 0 glc
8896 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8897 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[0:3], 0
8898 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8899 ;
8900 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8901 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8902 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8903 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8904 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8905 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8906 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8907 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
8908 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8909 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8910 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8911 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
8912 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8913 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8914 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8915 ;
8916 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8917 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8918 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8919 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8920 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8921 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8922 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8923 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
8924 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8925 ; GFX90A-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[0:1] glc
8926 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8927 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
8928 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8929 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v0, v1, s[0:1]
8930 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8931 ;
8932 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8933 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8934 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8935 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8936 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8937 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8938 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8939 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8940 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8941 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8942 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8943 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
8944 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8945 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8946 ;
8947 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8948 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8949 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8950 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8951 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, 0
8952 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8953 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8954 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
8955 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8956 ; GFX940-TGSPLIT-NEXT:    global_atomic_swap v1, v0, v1, s[2:3] sc0 sc1
8957 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8958 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
8959 ; GFX940-TGSPLIT-NEXT:    global_store_dword v0, v1, s[2:3] sc0 sc1
8960 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8961 ;
8962 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8963 ; GFX11-WGP:       ; %bb.0: ; %entry
8964 ; GFX11-WGP-NEXT:    s_clause 0x1
8965 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[0:1], 0x8
8966 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8967 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8968 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8969 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8970 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8971 ; GFX11-WGP-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8972 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8973 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8974 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8975 ; GFX11-WGP-NEXT:    global_store_b32 v0, v1, s[0:1]
8976 ; GFX11-WGP-NEXT:    s_nop 0
8977 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8978 ; GFX11-WGP-NEXT:    s_endpgm
8979 ;
8980 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_ret_atomicrmw:
8981 ; GFX11-CU:       ; %bb.0: ; %entry
8982 ; GFX11-CU-NEXT:    s_clause 0x1
8983 ; GFX11-CU-NEXT:    s_load_b32 s2, s[0:1], 0x8
8984 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8985 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8986 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s2
8987 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8988 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8989 ; GFX11-CU-NEXT:    global_atomic_swap_b32 v1, v0, v1, s[0:1] glc
8990 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8991 ; GFX11-CU-NEXT:    buffer_gl0_inv
8992 ; GFX11-CU-NEXT:    buffer_gl1_inv
8993 ; GFX11-CU-NEXT:    global_store_b32 v0, v1, s[0:1]
8994 ; GFX11-CU-NEXT:    s_nop 0
8995 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
8996 ; GFX11-CU-NEXT:    s_endpgm
8997     ptr addrspace(1) %out, i32 %in) {
8998 entry:
8999   %val = atomicrmw volatile xchg ptr addrspace(1) %out, i32 %in syncscope("one-as") seq_cst
9000   store i32 %val, ptr addrspace(1) %out, align 4
9001   ret void
9002 }
9003
9004 define amdgpu_kernel void @global_system_one_as_monotonic_monotonic_cmpxchg(
9005 ; GFX6-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9006 ; GFX6:       ; %bb.0: ; %entry
9007 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9008 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9009 ; GFX6-NEXT:    s_mov_b32 s6, -1
9010 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9011 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9012 ; GFX6-NEXT:    s_mov_b32 s4, s0
9013 ; GFX6-NEXT:    s_mov_b32 s5, s1
9014 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9015 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9016 ; GFX6-NEXT:    s_endpgm
9017 ;
9018 ; GFX7-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9019 ; GFX7:       ; %bb.0: ; %entry
9020 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9021 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9022 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9023 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9024 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9025 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9026 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9027 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9028 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9029 ; GFX7-NEXT:    s_endpgm
9030 ;
9031 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9032 ; GFX10-WGP:       ; %bb.0: ; %entry
9033 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9034 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9035 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9036 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9037 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9038 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9039 ; GFX10-WGP-NEXT:    s_endpgm
9040 ;
9041 ; GFX10-CU-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9042 ; GFX10-CU:       ; %bb.0: ; %entry
9043 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9044 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9045 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9046 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9047 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9048 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9049 ; GFX10-CU-NEXT:    s_endpgm
9050 ;
9051 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9052 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9053 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9054 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9055 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9056 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9057 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9058 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9059 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9060 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9061 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9062 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9063 ;
9064 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9065 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9066 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9067 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9068 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9069 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9070 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9071 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9072 ;
9073 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9074 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9075 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9076 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9077 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9078 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9079 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9080 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9081 ;
9082 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9083 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9084 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9085 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9086 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9087 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9088 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9089 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9090 ;
9091 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9092 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9093 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9094 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9095 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9096 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9097 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9098 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9099 ;
9100 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9101 ; GFX11-WGP:       ; %bb.0: ; %entry
9102 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9103 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9104 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9105 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9106 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9107 ; GFX11-WGP-NEXT:    s_nop 0
9108 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
9109 ; GFX11-WGP-NEXT:    s_endpgm
9110 ;
9111 ; GFX11-CU-LABEL: global_system_one_as_monotonic_monotonic_cmpxchg:
9112 ; GFX11-CU:       ; %bb.0: ; %entry
9113 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9114 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9115 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9116 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9117 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9118 ; GFX11-CU-NEXT:    s_nop 0
9119 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
9120 ; GFX11-CU-NEXT:    s_endpgm
9121     ptr addrspace(1) %out, i32 %in, i32 %old) {
9122 entry:
9123   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9124   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic monotonic
9125   ret void
9126 }
9127
9128 define amdgpu_kernel void @global_system_one_as_acquire_monotonic_cmpxchg(
9129 ; GFX6-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9130 ; GFX6:       ; %bb.0: ; %entry
9131 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9132 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9133 ; GFX6-NEXT:    s_mov_b32 s6, -1
9134 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9135 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9136 ; GFX6-NEXT:    s_mov_b32 s4, s0
9137 ; GFX6-NEXT:    s_mov_b32 s5, s1
9138 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9139 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9140 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9141 ; GFX6-NEXT:    buffer_wbinvl1
9142 ; GFX6-NEXT:    s_endpgm
9143 ;
9144 ; GFX7-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9145 ; GFX7:       ; %bb.0: ; %entry
9146 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9147 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9148 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9149 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9150 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9151 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9152 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9153 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9154 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9155 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9156 ; GFX7-NEXT:    buffer_wbinvl1_vol
9157 ; GFX7-NEXT:    s_endpgm
9158 ;
9159 ; GFX10-WGP-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9160 ; GFX10-WGP:       ; %bb.0: ; %entry
9161 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9162 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9163 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9164 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9165 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9166 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9167 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9168 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9169 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9170 ; GFX10-WGP-NEXT:    s_endpgm
9171 ;
9172 ; GFX10-CU-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9173 ; GFX10-CU:       ; %bb.0: ; %entry
9174 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9175 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9176 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9177 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9178 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9179 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9180 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9181 ; GFX10-CU-NEXT:    buffer_gl0_inv
9182 ; GFX10-CU-NEXT:    buffer_gl1_inv
9183 ; GFX10-CU-NEXT:    s_endpgm
9184 ;
9185 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9186 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9187 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9188 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9189 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9190 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9191 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9192 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9193 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9194 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9195 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9196 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9197 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9198 ;
9199 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9200 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9201 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9202 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9203 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9204 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9205 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9206 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9207 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
9208 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9209 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9210 ;
9211 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9212 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9213 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9214 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9215 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9216 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9217 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9218 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9219 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
9220 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9221 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9222 ;
9223 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9224 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9225 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9226 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9227 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9228 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9229 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9230 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9231 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
9232 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9233 ;
9234 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9235 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9236 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9237 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9238 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9239 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9240 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9241 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9242 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
9243 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9244 ;
9245 ; GFX11-WGP-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9246 ; GFX11-WGP:       ; %bb.0: ; %entry
9247 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9248 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9249 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9250 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9251 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9252 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9253 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9254 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9255 ; GFX11-WGP-NEXT:    s_endpgm
9256 ;
9257 ; GFX11-CU-LABEL: global_system_one_as_acquire_monotonic_cmpxchg:
9258 ; GFX11-CU:       ; %bb.0: ; %entry
9259 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9260 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9261 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9262 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9263 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9264 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9265 ; GFX11-CU-NEXT:    buffer_gl0_inv
9266 ; GFX11-CU-NEXT:    buffer_gl1_inv
9267 ; GFX11-CU-NEXT:    s_endpgm
9268     ptr addrspace(1) %out, i32 %in, i32 %old) {
9269 entry:
9270   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9271   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire monotonic
9272   ret void
9273 }
9274
9275 define amdgpu_kernel void @global_system_one_as_release_monotonic_cmpxchg(
9276 ; GFX6-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9277 ; GFX6:       ; %bb.0: ; %entry
9278 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9279 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9280 ; GFX6-NEXT:    s_mov_b32 s6, -1
9281 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9282 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9283 ; GFX6-NEXT:    s_mov_b32 s4, s0
9284 ; GFX6-NEXT:    s_mov_b32 s5, s1
9285 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9286 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9287 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9288 ; GFX6-NEXT:    s_endpgm
9289 ;
9290 ; GFX7-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9291 ; GFX7:       ; %bb.0: ; %entry
9292 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9293 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9294 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9295 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9296 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9297 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9298 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9299 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9300 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9301 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9302 ; GFX7-NEXT:    s_endpgm
9303 ;
9304 ; GFX10-WGP-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9305 ; GFX10-WGP:       ; %bb.0: ; %entry
9306 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9307 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9308 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9309 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9310 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9311 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9312 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9313 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9314 ; GFX10-WGP-NEXT:    s_endpgm
9315 ;
9316 ; GFX10-CU-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9317 ; GFX10-CU:       ; %bb.0: ; %entry
9318 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9320 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9321 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9322 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9323 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9324 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9325 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9326 ; GFX10-CU-NEXT:    s_endpgm
9327 ;
9328 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9329 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9330 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9331 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9332 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9333 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9334 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9335 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9336 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9337 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9338 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9339 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9340 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9341 ;
9342 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9343 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9344 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9345 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9346 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9347 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9348 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
9349 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9350 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9351 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9352 ;
9353 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9354 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9355 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9356 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9357 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9358 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9359 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
9360 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9361 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9362 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9363 ;
9364 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9365 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9366 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9367 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9368 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9369 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9370 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9371 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9372 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9373 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9374 ;
9375 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9376 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9377 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9378 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9379 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9380 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9381 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9382 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9383 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9384 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9385 ;
9386 ; GFX11-WGP-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9387 ; GFX11-WGP:       ; %bb.0: ; %entry
9388 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9389 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9390 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9391 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9392 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9393 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9394 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9395 ; GFX11-WGP-NEXT:    s_nop 0
9396 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
9397 ; GFX11-WGP-NEXT:    s_endpgm
9398 ;
9399 ; GFX11-CU-LABEL: global_system_one_as_release_monotonic_cmpxchg:
9400 ; GFX11-CU:       ; %bb.0: ; %entry
9401 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9402 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9403 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9404 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9405 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9406 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9407 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9408 ; GFX11-CU-NEXT:    s_nop 0
9409 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
9410 ; GFX11-CU-NEXT:    s_endpgm
9411     ptr addrspace(1) %out, i32 %in, i32 %old) {
9412 entry:
9413   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9414   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release monotonic
9415   ret void
9416 }
9417
9418 define amdgpu_kernel void @global_system_one_as_acq_rel_monotonic_cmpxchg(
9419 ; GFX6-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9420 ; GFX6:       ; %bb.0: ; %entry
9421 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9422 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9423 ; GFX6-NEXT:    s_mov_b32 s6, -1
9424 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9425 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9426 ; GFX6-NEXT:    s_mov_b32 s4, s0
9427 ; GFX6-NEXT:    s_mov_b32 s5, s1
9428 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9429 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9430 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9431 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9432 ; GFX6-NEXT:    buffer_wbinvl1
9433 ; GFX6-NEXT:    s_endpgm
9434 ;
9435 ; GFX7-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9436 ; GFX7:       ; %bb.0: ; %entry
9437 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9438 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9439 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9440 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9441 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9442 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9443 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9444 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9445 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9446 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9447 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9448 ; GFX7-NEXT:    buffer_wbinvl1_vol
9449 ; GFX7-NEXT:    s_endpgm
9450 ;
9451 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9452 ; GFX10-WGP:       ; %bb.0: ; %entry
9453 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9454 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9455 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9456 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9457 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9458 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9459 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9460 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9461 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9462 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9463 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9464 ; GFX10-WGP-NEXT:    s_endpgm
9465 ;
9466 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9467 ; GFX10-CU:       ; %bb.0: ; %entry
9468 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9469 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9470 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9471 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9472 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9473 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9474 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9475 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9476 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9477 ; GFX10-CU-NEXT:    buffer_gl0_inv
9478 ; GFX10-CU-NEXT:    buffer_gl1_inv
9479 ; GFX10-CU-NEXT:    s_endpgm
9480 ;
9481 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9482 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9483 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9484 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9485 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9486 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9487 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9488 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9489 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9490 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9491 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9492 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9493 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9494 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9495 ;
9496 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9497 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9498 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9499 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9500 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9501 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9502 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
9503 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9504 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9505 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9506 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
9507 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9508 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9509 ;
9510 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9511 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9512 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9513 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9514 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9515 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9516 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
9517 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9518 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9519 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9520 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
9521 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9522 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9523 ;
9524 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9525 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9526 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9527 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9528 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9529 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9530 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9531 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9532 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9533 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9534 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
9535 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9536 ;
9537 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9538 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9539 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9540 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9541 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9542 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9543 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9544 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9545 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9546 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9547 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
9548 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9549 ;
9550 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9551 ; GFX11-WGP:       ; %bb.0: ; %entry
9552 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9553 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9554 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9555 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9556 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9557 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9558 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9559 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9560 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9561 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9562 ; GFX11-WGP-NEXT:    s_endpgm
9563 ;
9564 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_monotonic_cmpxchg:
9565 ; GFX11-CU:       ; %bb.0: ; %entry
9566 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9567 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9568 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9569 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9570 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9571 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9572 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9573 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9574 ; GFX11-CU-NEXT:    buffer_gl0_inv
9575 ; GFX11-CU-NEXT:    buffer_gl1_inv
9576 ; GFX11-CU-NEXT:    s_endpgm
9577     ptr addrspace(1) %out, i32 %in, i32 %old) {
9578 entry:
9579   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9580   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel monotonic
9581   ret void
9582 }
9583
9584 define amdgpu_kernel void @global_system_one_as_seq_cst_monotonic_cmpxchg(
9585 ; GFX6-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9586 ; GFX6:       ; %bb.0: ; %entry
9587 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9588 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9589 ; GFX6-NEXT:    s_mov_b32 s6, -1
9590 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9591 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9592 ; GFX6-NEXT:    s_mov_b32 s4, s0
9593 ; GFX6-NEXT:    s_mov_b32 s5, s1
9594 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9595 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9596 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9597 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9598 ; GFX6-NEXT:    buffer_wbinvl1
9599 ; GFX6-NEXT:    s_endpgm
9600 ;
9601 ; GFX7-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9602 ; GFX7:       ; %bb.0: ; %entry
9603 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9604 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9605 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9606 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9607 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9608 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9609 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9610 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9611 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9612 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9613 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9614 ; GFX7-NEXT:    buffer_wbinvl1_vol
9615 ; GFX7-NEXT:    s_endpgm
9616 ;
9617 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9618 ; GFX10-WGP:       ; %bb.0: ; %entry
9619 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9620 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9621 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9622 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9623 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9624 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9625 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9626 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9627 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9628 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9629 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9630 ; GFX10-WGP-NEXT:    s_endpgm
9631 ;
9632 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9633 ; GFX10-CU:       ; %bb.0: ; %entry
9634 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9635 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9636 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9637 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9638 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9639 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9640 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9641 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9642 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9643 ; GFX10-CU-NEXT:    buffer_gl0_inv
9644 ; GFX10-CU-NEXT:    buffer_gl1_inv
9645 ; GFX10-CU-NEXT:    s_endpgm
9646 ;
9647 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9648 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9649 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9650 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9651 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9652 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9653 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9654 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9655 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9656 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9657 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9658 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9659 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9660 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9661 ;
9662 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9663 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9664 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9665 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9666 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9667 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9668 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
9669 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9670 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9671 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9672 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
9673 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9674 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9675 ;
9676 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9677 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9678 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9679 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9680 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9681 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9682 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
9683 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9684 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9685 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9686 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
9687 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9688 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9689 ;
9690 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9691 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9692 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9693 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9694 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9695 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9696 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9697 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9698 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9699 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9700 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
9701 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9702 ;
9703 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9704 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9705 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9706 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9707 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9708 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9709 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
9710 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9711 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9712 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9713 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
9714 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9715 ;
9716 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9717 ; GFX11-WGP:       ; %bb.0: ; %entry
9718 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9719 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9720 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9721 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9722 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9723 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9724 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9725 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9726 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9727 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9728 ; GFX11-WGP-NEXT:    s_endpgm
9729 ;
9730 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_monotonic_cmpxchg:
9731 ; GFX11-CU:       ; %bb.0: ; %entry
9732 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9733 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9734 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9735 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9736 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9737 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9738 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9739 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9740 ; GFX11-CU-NEXT:    buffer_gl0_inv
9741 ; GFX11-CU-NEXT:    buffer_gl1_inv
9742 ; GFX11-CU-NEXT:    s_endpgm
9743     ptr addrspace(1) %out, i32 %in, i32 %old) {
9744 entry:
9745   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9746   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst monotonic
9747   ret void
9748 }
9749
9750 define amdgpu_kernel void @global_system_one_as_monotonic_acquire_cmpxchg(
9751 ; GFX6-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9752 ; GFX6:       ; %bb.0: ; %entry
9753 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9754 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9755 ; GFX6-NEXT:    s_mov_b32 s6, -1
9756 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9757 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9758 ; GFX6-NEXT:    s_mov_b32 s4, s0
9759 ; GFX6-NEXT:    s_mov_b32 s5, s1
9760 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9761 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9762 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9763 ; GFX6-NEXT:    buffer_wbinvl1
9764 ; GFX6-NEXT:    s_endpgm
9765 ;
9766 ; GFX7-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9767 ; GFX7:       ; %bb.0: ; %entry
9768 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9769 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9770 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9771 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9772 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9773 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9774 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9775 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9776 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9777 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9778 ; GFX7-NEXT:    buffer_wbinvl1_vol
9779 ; GFX7-NEXT:    s_endpgm
9780 ;
9781 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9782 ; GFX10-WGP:       ; %bb.0: ; %entry
9783 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9784 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9785 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9786 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9787 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9788 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9789 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9790 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9791 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9792 ; GFX10-WGP-NEXT:    s_endpgm
9793 ;
9794 ; GFX10-CU-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9795 ; GFX10-CU:       ; %bb.0: ; %entry
9796 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9797 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9798 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9799 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9800 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9801 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9802 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9803 ; GFX10-CU-NEXT:    buffer_gl0_inv
9804 ; GFX10-CU-NEXT:    buffer_gl1_inv
9805 ; GFX10-CU-NEXT:    s_endpgm
9806 ;
9807 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9808 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9809 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9810 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9811 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9812 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9813 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9814 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9815 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9816 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9817 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9818 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9819 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9820 ;
9821 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9822 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9823 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9824 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9825 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9826 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9827 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9828 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9829 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
9830 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9831 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9832 ;
9833 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9834 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9835 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9836 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9837 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9838 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9839 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9840 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9841 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
9842 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9843 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9844 ;
9845 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9846 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9847 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9848 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9849 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9850 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9851 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9852 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9853 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
9854 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9855 ;
9856 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9857 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9858 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9859 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9860 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9861 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9862 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9863 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9864 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
9865 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9866 ;
9867 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9868 ; GFX11-WGP:       ; %bb.0: ; %entry
9869 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9870 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
9871 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9872 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9873 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9874 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9875 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9876 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9877 ; GFX11-WGP-NEXT:    s_endpgm
9878 ;
9879 ; GFX11-CU-LABEL: global_system_one_as_monotonic_acquire_cmpxchg:
9880 ; GFX11-CU:       ; %bb.0: ; %entry
9881 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9882 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
9883 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9884 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9885 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
9886 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9887 ; GFX11-CU-NEXT:    buffer_gl0_inv
9888 ; GFX11-CU-NEXT:    buffer_gl1_inv
9889 ; GFX11-CU-NEXT:    s_endpgm
9890     ptr addrspace(1) %out, i32 %in, i32 %old) {
9891 entry:
9892   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
9893   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic acquire
9894   ret void
9895 }
9896
9897 define amdgpu_kernel void @global_system_one_as_acquire_acquire_cmpxchg(
9898 ; GFX6-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9899 ; GFX6:       ; %bb.0: ; %entry
9900 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9901 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
9902 ; GFX6-NEXT:    s_mov_b32 s6, -1
9903 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9904 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9905 ; GFX6-NEXT:    s_mov_b32 s4, s0
9906 ; GFX6-NEXT:    s_mov_b32 s5, s1
9907 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
9908 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9909 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
9910 ; GFX6-NEXT:    buffer_wbinvl1
9911 ; GFX6-NEXT:    s_endpgm
9912 ;
9913 ; GFX7-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9914 ; GFX7:       ; %bb.0: ; %entry
9915 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9916 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9917 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9918 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9919 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9920 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9921 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9922 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9923 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9924 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9925 ; GFX7-NEXT:    buffer_wbinvl1_vol
9926 ; GFX7-NEXT:    s_endpgm
9927 ;
9928 ; GFX10-WGP-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9929 ; GFX10-WGP:       ; %bb.0: ; %entry
9930 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9931 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
9932 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9933 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
9934 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
9935 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9936 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9937 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9938 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9939 ; GFX10-WGP-NEXT:    s_endpgm
9940 ;
9941 ; GFX10-CU-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9942 ; GFX10-CU:       ; %bb.0: ; %entry
9943 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9944 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
9945 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9946 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
9947 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
9948 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9949 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9950 ; GFX10-CU-NEXT:    buffer_gl0_inv
9951 ; GFX10-CU-NEXT:    buffer_gl1_inv
9952 ; GFX10-CU-NEXT:    s_endpgm
9953 ;
9954 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9955 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9956 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9957 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
9958 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
9959 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9960 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9961 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
9962 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
9963 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9964 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
9965 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9966 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9967 ;
9968 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9969 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9970 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9971 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9972 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9973 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9974 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9975 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9976 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
9977 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9978 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9979 ;
9980 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9981 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9982 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9983 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9984 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9985 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
9986 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
9987 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9988 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
9989 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9990 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9991 ;
9992 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
9993 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9994 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9995 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
9996 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9997 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9998 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
9999 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10000 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10001 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10002 ;
10003 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
10004 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10005 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10006 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10007 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10008 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10009 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10010 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10011 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10012 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10013 ;
10014 ; GFX11-WGP-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
10015 ; GFX11-WGP:       ; %bb.0: ; %entry
10016 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10017 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10018 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10019 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10020 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10021 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10022 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10023 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10024 ; GFX11-WGP-NEXT:    s_endpgm
10025 ;
10026 ; GFX11-CU-LABEL: global_system_one_as_acquire_acquire_cmpxchg:
10027 ; GFX11-CU:       ; %bb.0: ; %entry
10028 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10029 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10030 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10031 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10032 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10033 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10034 ; GFX11-CU-NEXT:    buffer_gl0_inv
10035 ; GFX11-CU-NEXT:    buffer_gl1_inv
10036 ; GFX11-CU-NEXT:    s_endpgm
10037     ptr addrspace(1) %out, i32 %in, i32 %old) {
10038 entry:
10039   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10040   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire acquire
10041   ret void
10042 }
10043
10044 define amdgpu_kernel void @global_system_one_as_release_acquire_cmpxchg(
10045 ; GFX6-LABEL: global_system_one_as_release_acquire_cmpxchg:
10046 ; GFX6:       ; %bb.0: ; %entry
10047 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10048 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10049 ; GFX6-NEXT:    s_mov_b32 s6, -1
10050 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10051 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10052 ; GFX6-NEXT:    s_mov_b32 s4, s0
10053 ; GFX6-NEXT:    s_mov_b32 s5, s1
10054 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10055 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10056 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10057 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10058 ; GFX6-NEXT:    buffer_wbinvl1
10059 ; GFX6-NEXT:    s_endpgm
10060 ;
10061 ; GFX7-LABEL: global_system_one_as_release_acquire_cmpxchg:
10062 ; GFX7:       ; %bb.0: ; %entry
10063 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10064 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10065 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10066 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10067 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10068 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10069 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10070 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10071 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10072 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10073 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10074 ; GFX7-NEXT:    buffer_wbinvl1_vol
10075 ; GFX7-NEXT:    s_endpgm
10076 ;
10077 ; GFX10-WGP-LABEL: global_system_one_as_release_acquire_cmpxchg:
10078 ; GFX10-WGP:       ; %bb.0: ; %entry
10079 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10080 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10081 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10082 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10083 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10084 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10085 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10086 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10087 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10088 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10089 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10090 ; GFX10-WGP-NEXT:    s_endpgm
10091 ;
10092 ; GFX10-CU-LABEL: global_system_one_as_release_acquire_cmpxchg:
10093 ; GFX10-CU:       ; %bb.0: ; %entry
10094 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10095 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10096 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10097 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10098 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10099 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10100 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10101 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10102 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10103 ; GFX10-CU-NEXT:    buffer_gl0_inv
10104 ; GFX10-CU-NEXT:    buffer_gl1_inv
10105 ; GFX10-CU-NEXT:    s_endpgm
10106 ;
10107 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_acquire_cmpxchg:
10108 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10109 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10110 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10111 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10112 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10113 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10114 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10115 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10116 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10117 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10118 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10119 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10120 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10121 ;
10122 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_acquire_cmpxchg:
10123 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10124 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10125 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10126 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10127 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10128 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10129 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10130 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10131 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10132 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10133 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10134 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10135 ;
10136 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_acquire_cmpxchg:
10137 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10138 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10139 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10140 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10141 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10142 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10143 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10144 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10145 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10146 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10147 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10148 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10149 ;
10150 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_acquire_cmpxchg:
10151 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10152 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10153 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10154 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10155 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10156 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10157 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10158 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10159 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10160 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10161 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10162 ;
10163 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_acquire_cmpxchg:
10164 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10165 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10166 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10167 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10168 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10169 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10170 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10171 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10172 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10173 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10174 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10175 ;
10176 ; GFX11-WGP-LABEL: global_system_one_as_release_acquire_cmpxchg:
10177 ; GFX11-WGP:       ; %bb.0: ; %entry
10178 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10179 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10180 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10181 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10182 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10183 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10184 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10185 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10186 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10187 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10188 ; GFX11-WGP-NEXT:    s_endpgm
10189 ;
10190 ; GFX11-CU-LABEL: global_system_one_as_release_acquire_cmpxchg:
10191 ; GFX11-CU:       ; %bb.0: ; %entry
10192 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10193 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10194 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10195 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10196 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10197 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10198 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10199 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10200 ; GFX11-CU-NEXT:    buffer_gl0_inv
10201 ; GFX11-CU-NEXT:    buffer_gl1_inv
10202 ; GFX11-CU-NEXT:    s_endpgm
10203     ptr addrspace(1) %out, i32 %in, i32 %old) {
10204 entry:
10205   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10206   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release acquire
10207   ret void
10208 }
10209
10210 define amdgpu_kernel void @global_system_one_as_acq_rel_acquire_cmpxchg(
10211 ; GFX6-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10212 ; GFX6:       ; %bb.0: ; %entry
10213 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10214 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10215 ; GFX6-NEXT:    s_mov_b32 s6, -1
10216 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10217 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10218 ; GFX6-NEXT:    s_mov_b32 s4, s0
10219 ; GFX6-NEXT:    s_mov_b32 s5, s1
10220 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10221 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10222 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10223 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10224 ; GFX6-NEXT:    buffer_wbinvl1
10225 ; GFX6-NEXT:    s_endpgm
10226 ;
10227 ; GFX7-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10228 ; GFX7:       ; %bb.0: ; %entry
10229 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10230 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10231 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10232 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10233 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10234 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10235 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10236 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10237 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10238 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10239 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10240 ; GFX7-NEXT:    buffer_wbinvl1_vol
10241 ; GFX7-NEXT:    s_endpgm
10242 ;
10243 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10244 ; GFX10-WGP:       ; %bb.0: ; %entry
10245 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10246 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10247 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10248 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10249 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10250 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10251 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10252 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10253 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10254 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10255 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10256 ; GFX10-WGP-NEXT:    s_endpgm
10257 ;
10258 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10259 ; GFX10-CU:       ; %bb.0: ; %entry
10260 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10261 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10262 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10263 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10264 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10265 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10266 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10267 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10268 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10269 ; GFX10-CU-NEXT:    buffer_gl0_inv
10270 ; GFX10-CU-NEXT:    buffer_gl1_inv
10271 ; GFX10-CU-NEXT:    s_endpgm
10272 ;
10273 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10274 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10275 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10276 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10277 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10278 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10279 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10280 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10281 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10282 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10283 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10284 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10285 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10286 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10287 ;
10288 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10289 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10290 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10291 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10292 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10293 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10294 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10295 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10296 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10297 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10298 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10299 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10300 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10301 ;
10302 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10303 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10304 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10305 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10306 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10307 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10308 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10309 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10310 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10311 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10312 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10313 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10314 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10315 ;
10316 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10317 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10318 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10319 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10320 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10321 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10322 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10323 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10324 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10325 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10326 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10327 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10328 ;
10329 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10330 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10331 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10332 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10333 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10334 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10335 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10336 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10337 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10338 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10339 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10340 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10341 ;
10342 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10343 ; GFX11-WGP:       ; %bb.0: ; %entry
10344 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10345 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10346 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10347 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10348 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10349 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10350 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10351 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10352 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10353 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10354 ; GFX11-WGP-NEXT:    s_endpgm
10355 ;
10356 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_acquire_cmpxchg:
10357 ; GFX11-CU:       ; %bb.0: ; %entry
10358 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10359 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10360 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10361 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10362 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10363 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10364 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10365 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10366 ; GFX11-CU-NEXT:    buffer_gl0_inv
10367 ; GFX11-CU-NEXT:    buffer_gl1_inv
10368 ; GFX11-CU-NEXT:    s_endpgm
10369     ptr addrspace(1) %out, i32 %in, i32 %old) {
10370 entry:
10371   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10372   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel acquire
10373   ret void
10374 }
10375
10376 define amdgpu_kernel void @global_system_one_as_seq_cst_acquire_cmpxchg(
10377 ; GFX6-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10378 ; GFX6:       ; %bb.0: ; %entry
10379 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10380 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10381 ; GFX6-NEXT:    s_mov_b32 s6, -1
10382 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10383 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10384 ; GFX6-NEXT:    s_mov_b32 s4, s0
10385 ; GFX6-NEXT:    s_mov_b32 s5, s1
10386 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10387 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10388 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10389 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10390 ; GFX6-NEXT:    buffer_wbinvl1
10391 ; GFX6-NEXT:    s_endpgm
10392 ;
10393 ; GFX7-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10394 ; GFX7:       ; %bb.0: ; %entry
10395 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10396 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10397 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10398 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10399 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10400 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10401 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10402 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10403 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10404 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10405 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10406 ; GFX7-NEXT:    buffer_wbinvl1_vol
10407 ; GFX7-NEXT:    s_endpgm
10408 ;
10409 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10410 ; GFX10-WGP:       ; %bb.0: ; %entry
10411 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10412 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10413 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10414 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10415 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10416 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10417 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10418 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10419 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10420 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10421 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10422 ; GFX10-WGP-NEXT:    s_endpgm
10423 ;
10424 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10425 ; GFX10-CU:       ; %bb.0: ; %entry
10426 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10427 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10428 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10429 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10430 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10431 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10432 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10433 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10434 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10435 ; GFX10-CU-NEXT:    buffer_gl0_inv
10436 ; GFX10-CU-NEXT:    buffer_gl1_inv
10437 ; GFX10-CU-NEXT:    s_endpgm
10438 ;
10439 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10440 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10441 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10442 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10443 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10444 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10445 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10446 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10447 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10448 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10449 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10450 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10451 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10452 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10453 ;
10454 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10455 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10456 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10457 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10458 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10459 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10460 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10461 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10462 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10463 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10464 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10465 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10466 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10467 ;
10468 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10469 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10470 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10471 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10472 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10473 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10474 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10475 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10476 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10477 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10478 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10479 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10480 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10481 ;
10482 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10483 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10484 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10485 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10486 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10487 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10488 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10489 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10490 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10491 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10492 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10493 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10494 ;
10495 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10496 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10497 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10498 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10499 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10500 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10501 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10502 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10503 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10504 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10505 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10506 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10507 ;
10508 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10509 ; GFX11-WGP:       ; %bb.0: ; %entry
10510 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10511 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10512 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10513 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10514 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10515 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10516 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10517 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10518 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10519 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10520 ; GFX11-WGP-NEXT:    s_endpgm
10521 ;
10522 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_acquire_cmpxchg:
10523 ; GFX11-CU:       ; %bb.0: ; %entry
10524 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10525 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10526 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10527 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10528 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10529 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10530 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10531 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10532 ; GFX11-CU-NEXT:    buffer_gl0_inv
10533 ; GFX11-CU-NEXT:    buffer_gl1_inv
10534 ; GFX11-CU-NEXT:    s_endpgm
10535     ptr addrspace(1) %out, i32 %in, i32 %old) {
10536 entry:
10537   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10538   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst acquire
10539   ret void
10540 }
10541
10542 define amdgpu_kernel void @global_system_one_as_monotonic_seq_cst_cmpxchg(
10543 ; GFX6-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10544 ; GFX6:       ; %bb.0: ; %entry
10545 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10546 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10547 ; GFX6-NEXT:    s_mov_b32 s6, -1
10548 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10549 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10550 ; GFX6-NEXT:    s_mov_b32 s4, s0
10551 ; GFX6-NEXT:    s_mov_b32 s5, s1
10552 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10553 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10554 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10555 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10556 ; GFX6-NEXT:    buffer_wbinvl1
10557 ; GFX6-NEXT:    s_endpgm
10558 ;
10559 ; GFX7-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10560 ; GFX7:       ; %bb.0: ; %entry
10561 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10562 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10563 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10564 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10565 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10566 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10567 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10568 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10569 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10570 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10571 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10572 ; GFX7-NEXT:    buffer_wbinvl1_vol
10573 ; GFX7-NEXT:    s_endpgm
10574 ;
10575 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10576 ; GFX10-WGP:       ; %bb.0: ; %entry
10577 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10578 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10579 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10580 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10581 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10582 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10583 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10584 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10585 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10586 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10587 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10588 ; GFX10-WGP-NEXT:    s_endpgm
10589 ;
10590 ; GFX10-CU-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10591 ; GFX10-CU:       ; %bb.0: ; %entry
10592 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10593 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10594 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10595 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10596 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10597 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10598 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10599 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10600 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10601 ; GFX10-CU-NEXT:    buffer_gl0_inv
10602 ; GFX10-CU-NEXT:    buffer_gl1_inv
10603 ; GFX10-CU-NEXT:    s_endpgm
10604 ;
10605 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10606 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10607 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10608 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10609 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10610 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10611 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10612 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10613 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10614 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10615 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10616 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10617 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10618 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10619 ;
10620 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10621 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10622 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10623 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10624 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10625 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10626 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10627 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10628 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10629 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10630 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10631 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10632 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10633 ;
10634 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10635 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10636 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10637 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10638 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10639 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10640 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10641 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10642 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10643 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10644 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10645 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10646 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10647 ;
10648 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10649 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10650 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10651 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10652 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10653 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10654 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10655 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10656 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10657 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10658 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10659 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10660 ;
10661 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10662 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10663 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10664 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10665 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10666 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10667 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10668 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10669 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10670 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10671 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10672 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10673 ;
10674 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10675 ; GFX11-WGP:       ; %bb.0: ; %entry
10676 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10677 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10678 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10679 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10680 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10681 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10682 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10683 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10684 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10685 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10686 ; GFX11-WGP-NEXT:    s_endpgm
10687 ;
10688 ; GFX11-CU-LABEL: global_system_one_as_monotonic_seq_cst_cmpxchg:
10689 ; GFX11-CU:       ; %bb.0: ; %entry
10690 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10691 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10692 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10693 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10694 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10695 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10696 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10697 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10698 ; GFX11-CU-NEXT:    buffer_gl0_inv
10699 ; GFX11-CU-NEXT:    buffer_gl1_inv
10700 ; GFX11-CU-NEXT:    s_endpgm
10701     ptr addrspace(1) %out, i32 %in, i32 %old) {
10702 entry:
10703   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10704   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic seq_cst
10705   ret void
10706 }
10707
10708 define amdgpu_kernel void @global_system_one_as_acquire_seq_cst_cmpxchg(
10709 ; GFX6-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10710 ; GFX6:       ; %bb.0: ; %entry
10711 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10712 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10713 ; GFX6-NEXT:    s_mov_b32 s6, -1
10714 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10715 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10716 ; GFX6-NEXT:    s_mov_b32 s4, s0
10717 ; GFX6-NEXT:    s_mov_b32 s5, s1
10718 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10719 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10720 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10721 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10722 ; GFX6-NEXT:    buffer_wbinvl1
10723 ; GFX6-NEXT:    s_endpgm
10724 ;
10725 ; GFX7-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10726 ; GFX7:       ; %bb.0: ; %entry
10727 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10728 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10729 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10730 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10731 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10732 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10733 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10734 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10735 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10736 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10737 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10738 ; GFX7-NEXT:    buffer_wbinvl1_vol
10739 ; GFX7-NEXT:    s_endpgm
10740 ;
10741 ; GFX10-WGP-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10742 ; GFX10-WGP:       ; %bb.0: ; %entry
10743 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10744 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10745 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10746 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10747 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10748 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10749 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10750 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10751 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10752 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10753 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10754 ; GFX10-WGP-NEXT:    s_endpgm
10755 ;
10756 ; GFX10-CU-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10757 ; GFX10-CU:       ; %bb.0: ; %entry
10758 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10759 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10760 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10761 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10762 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10763 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10764 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10765 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10766 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10767 ; GFX10-CU-NEXT:    buffer_gl0_inv
10768 ; GFX10-CU-NEXT:    buffer_gl1_inv
10769 ; GFX10-CU-NEXT:    s_endpgm
10770 ;
10771 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10772 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10773 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10774 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10775 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10776 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10777 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10778 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10779 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10780 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10781 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10782 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10783 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10784 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10785 ;
10786 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10787 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10788 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10789 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10790 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10791 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10792 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10793 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10794 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10795 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10796 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10797 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10798 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10799 ;
10800 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10801 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10802 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10803 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10804 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10805 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10806 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10807 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10808 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10809 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10810 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10811 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10812 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10813 ;
10814 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10815 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10816 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10817 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10818 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10819 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10820 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10821 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10822 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10823 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10824 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10825 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10826 ;
10827 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10828 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10829 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10830 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10831 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10832 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10833 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10834 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10835 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10836 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10837 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
10838 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10839 ;
10840 ; GFX11-WGP-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10841 ; GFX11-WGP:       ; %bb.0: ; %entry
10842 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10843 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
10844 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10845 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10846 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10847 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10848 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10849 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10850 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10851 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10852 ; GFX11-WGP-NEXT:    s_endpgm
10853 ;
10854 ; GFX11-CU-LABEL: global_system_one_as_acquire_seq_cst_cmpxchg:
10855 ; GFX11-CU:       ; %bb.0: ; %entry
10856 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10857 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
10858 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10859 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
10860 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10861 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10862 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
10863 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10864 ; GFX11-CU-NEXT:    buffer_gl0_inv
10865 ; GFX11-CU-NEXT:    buffer_gl1_inv
10866 ; GFX11-CU-NEXT:    s_endpgm
10867     ptr addrspace(1) %out, i32 %in, i32 %old) {
10868 entry:
10869   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
10870   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire seq_cst
10871   ret void
10872 }
10873
10874 define amdgpu_kernel void @global_system_one_as_release_seq_cst_cmpxchg(
10875 ; GFX6-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10876 ; GFX6:       ; %bb.0: ; %entry
10877 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10878 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
10879 ; GFX6-NEXT:    s_mov_b32 s6, -1
10880 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10881 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10882 ; GFX6-NEXT:    s_mov_b32 s4, s0
10883 ; GFX6-NEXT:    s_mov_b32 s5, s1
10884 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
10885 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10886 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10887 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
10888 ; GFX6-NEXT:    buffer_wbinvl1
10889 ; GFX6-NEXT:    s_endpgm
10890 ;
10891 ; GFX7-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10892 ; GFX7:       ; %bb.0: ; %entry
10893 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10894 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10895 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10896 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10897 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10898 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10899 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10900 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10901 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10902 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10903 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10904 ; GFX7-NEXT:    buffer_wbinvl1_vol
10905 ; GFX7-NEXT:    s_endpgm
10906 ;
10907 ; GFX10-WGP-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10908 ; GFX10-WGP:       ; %bb.0: ; %entry
10909 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10910 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
10911 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10912 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
10913 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
10914 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10915 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10916 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10917 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10918 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10919 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10920 ; GFX10-WGP-NEXT:    s_endpgm
10921 ;
10922 ; GFX10-CU-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10923 ; GFX10-CU:       ; %bb.0: ; %entry
10924 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10925 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
10926 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10927 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
10928 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
10929 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10930 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10931 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10932 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10933 ; GFX10-CU-NEXT:    buffer_gl0_inv
10934 ; GFX10-CU-NEXT:    buffer_gl1_inv
10935 ; GFX10-CU-NEXT:    s_endpgm
10936 ;
10937 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10938 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10939 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10940 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
10941 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
10942 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10943 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10944 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
10945 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
10946 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
10947 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10948 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
10949 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10950 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10951 ;
10952 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10953 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10954 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10955 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10956 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10957 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10958 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
10959 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10960 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10961 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10962 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
10963 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10964 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10965 ;
10966 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10967 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10968 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10969 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10970 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10971 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
10972 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
10973 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10974 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
10975 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10976 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
10977 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10978 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10979 ;
10980 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10981 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10982 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10983 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10984 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10985 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10986 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
10987 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10988 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
10989 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10990 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
10991 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10992 ;
10993 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
10994 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10995 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10996 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
10997 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10998 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
10999 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11000 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11001 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
11002 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11003 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
11004 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11005 ;
11006 ; GFX11-WGP-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
11007 ; GFX11-WGP:       ; %bb.0: ; %entry
11008 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11009 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11010 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11011 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11012 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11013 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11014 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11015 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11016 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11017 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11018 ; GFX11-WGP-NEXT:    s_endpgm
11019 ;
11020 ; GFX11-CU-LABEL: global_system_one_as_release_seq_cst_cmpxchg:
11021 ; GFX11-CU:       ; %bb.0: ; %entry
11022 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11023 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11024 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11025 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11026 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11027 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11028 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11029 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11030 ; GFX11-CU-NEXT:    buffer_gl0_inv
11031 ; GFX11-CU-NEXT:    buffer_gl1_inv
11032 ; GFX11-CU-NEXT:    s_endpgm
11033     ptr addrspace(1) %out, i32 %in, i32 %old) {
11034 entry:
11035   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11036   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release seq_cst
11037   ret void
11038 }
11039
11040 define amdgpu_kernel void @global_system_one_as_acq_rel_seq_cst_cmpxchg(
11041 ; GFX6-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11042 ; GFX6:       ; %bb.0: ; %entry
11043 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11044 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11045 ; GFX6-NEXT:    s_mov_b32 s6, -1
11046 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11047 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11048 ; GFX6-NEXT:    s_mov_b32 s4, s0
11049 ; GFX6-NEXT:    s_mov_b32 s5, s1
11050 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11051 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11052 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
11053 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11054 ; GFX6-NEXT:    buffer_wbinvl1
11055 ; GFX6-NEXT:    s_endpgm
11056 ;
11057 ; GFX7-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11058 ; GFX7:       ; %bb.0: ; %entry
11059 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11060 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11061 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
11062 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
11063 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11064 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11065 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11066 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11067 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11068 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11069 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11070 ; GFX7-NEXT:    buffer_wbinvl1_vol
11071 ; GFX7-NEXT:    s_endpgm
11072 ;
11073 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11074 ; GFX10-WGP:       ; %bb.0: ; %entry
11075 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11076 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11077 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11078 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11079 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11080 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11081 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11082 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11083 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11084 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11085 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11086 ; GFX10-WGP-NEXT:    s_endpgm
11087 ;
11088 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11089 ; GFX10-CU:       ; %bb.0: ; %entry
11090 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11091 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11092 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11093 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11094 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11095 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11096 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11097 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11098 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11099 ; GFX10-CU-NEXT:    buffer_gl0_inv
11100 ; GFX10-CU-NEXT:    buffer_gl1_inv
11101 ; GFX10-CU-NEXT:    s_endpgm
11102 ;
11103 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11104 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11105 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11106 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11107 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11108 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11109 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11110 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11111 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11112 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11113 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11114 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
11115 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11116 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11117 ;
11118 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11119 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11120 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11121 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11122 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11123 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11124 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
11125 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11126 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11127 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11128 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
11129 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11130 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11131 ;
11132 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11133 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11134 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11135 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11136 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11137 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11138 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
11139 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11140 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11141 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11142 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
11143 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11144 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11145 ;
11146 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11147 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11148 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11149 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11150 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11151 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11152 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11153 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11154 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
11155 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11156 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
11157 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11158 ;
11159 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11160 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11161 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11162 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11163 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11164 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11165 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11166 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11167 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
11168 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11169 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
11170 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11171 ;
11172 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11173 ; GFX11-WGP:       ; %bb.0: ; %entry
11174 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11175 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11176 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11177 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11178 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11179 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11180 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11181 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11182 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11183 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11184 ; GFX11-WGP-NEXT:    s_endpgm
11185 ;
11186 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_seq_cst_cmpxchg:
11187 ; GFX11-CU:       ; %bb.0: ; %entry
11188 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11189 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11190 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11191 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11192 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11193 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11194 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11195 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11196 ; GFX11-CU-NEXT:    buffer_gl0_inv
11197 ; GFX11-CU-NEXT:    buffer_gl1_inv
11198 ; GFX11-CU-NEXT:    s_endpgm
11199     ptr addrspace(1) %out, i32 %in, i32 %old) {
11200 entry:
11201   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11202   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel seq_cst
11203   ret void
11204 }
11205
11206 define amdgpu_kernel void @global_system_one_as_seq_cst_seq_cst_cmpxchg(
11207 ; GFX6-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11208 ; GFX6:       ; %bb.0: ; %entry
11209 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11210 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11211 ; GFX6-NEXT:    s_mov_b32 s6, -1
11212 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11213 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11214 ; GFX6-NEXT:    s_mov_b32 s4, s0
11215 ; GFX6-NEXT:    s_mov_b32 s5, s1
11216 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11217 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11218 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
11219 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11220 ; GFX6-NEXT:    buffer_wbinvl1
11221 ; GFX6-NEXT:    s_endpgm
11222 ;
11223 ; GFX7-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11224 ; GFX7:       ; %bb.0: ; %entry
11225 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11226 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11227 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
11228 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
11229 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11230 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11231 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11232 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11233 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11234 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11235 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11236 ; GFX7-NEXT:    buffer_wbinvl1_vol
11237 ; GFX7-NEXT:    s_endpgm
11238 ;
11239 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11240 ; GFX10-WGP:       ; %bb.0: ; %entry
11241 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11242 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11243 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11244 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11245 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11246 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11247 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11248 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11249 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11250 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11251 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11252 ; GFX10-WGP-NEXT:    s_endpgm
11253 ;
11254 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11255 ; GFX10-CU:       ; %bb.0: ; %entry
11256 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11257 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11258 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11259 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11260 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11261 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11262 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11263 ; GFX10-CU-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11264 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11265 ; GFX10-CU-NEXT:    buffer_gl0_inv
11266 ; GFX10-CU-NEXT:    buffer_gl1_inv
11267 ; GFX10-CU-NEXT:    s_endpgm
11268 ;
11269 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11270 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11271 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11272 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11273 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11274 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11275 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11276 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11277 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11278 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11279 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11280 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16
11281 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11282 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11283 ;
11284 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11285 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11286 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11287 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11288 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11289 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11290 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
11291 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11292 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11293 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11294 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
11295 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11296 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11297 ;
11298 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11299 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11300 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11301 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11302 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11303 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11304 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
11305 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11306 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16
11307 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11308 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
11309 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11310 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11311 ;
11312 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11313 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11314 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11315 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11316 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11317 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11318 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11319 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11320 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
11321 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11322 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
11323 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11324 ;
11325 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11326 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11327 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11328 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11329 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11330 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11331 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11332 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11333 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v2, v[0:1], s[0:1] offset:16 sc1
11334 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11335 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
11336 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11337 ;
11338 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11339 ; GFX11-WGP:       ; %bb.0: ; %entry
11340 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11341 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11342 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11343 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11344 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11345 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11346 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11347 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11348 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11349 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11350 ; GFX11-WGP-NEXT:    s_endpgm
11351 ;
11352 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_seq_cst_cmpxchg:
11353 ; GFX11-CU:       ; %bb.0: ; %entry
11354 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11355 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11356 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11357 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11358 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11359 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11360 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v2, v[0:1], s[0:1] offset:16
11361 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11362 ; GFX11-CU-NEXT:    buffer_gl0_inv
11363 ; GFX11-CU-NEXT:    buffer_gl1_inv
11364 ; GFX11-CU-NEXT:    s_endpgm
11365     ptr addrspace(1) %out, i32 %in, i32 %old) {
11366 entry:
11367   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11368   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst seq_cst
11369   ret void
11370 }
11371
11372 define amdgpu_kernel void @global_system_one_as_monotonic_monotonic_ret_cmpxchg(
11373 ; GFX6-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11374 ; GFX6:       ; %bb.0: ; %entry
11375 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11376 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11377 ; GFX6-NEXT:    s_mov_b32 s6, -1
11378 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11379 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11380 ; GFX6-NEXT:    s_mov_b32 s4, s0
11381 ; GFX6-NEXT:    s_mov_b32 s5, s1
11382 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11383 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11384 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11385 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11386 ; GFX6-NEXT:    s_endpgm
11387 ;
11388 ; GFX7-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11389 ; GFX7:       ; %bb.0: ; %entry
11390 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11391 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11392 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11393 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11394 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11395 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11396 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11397 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11398 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11399 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11400 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11401 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11402 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11403 ; GFX7-NEXT:    s_endpgm
11404 ;
11405 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11406 ; GFX10-WGP:       ; %bb.0: ; %entry
11407 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11408 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11409 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11410 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11411 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11412 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11413 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11414 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
11415 ; GFX10-WGP-NEXT:    s_endpgm
11416 ;
11417 ; GFX10-CU-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11418 ; GFX10-CU:       ; %bb.0: ; %entry
11419 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11420 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11421 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11422 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11423 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11424 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11425 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11426 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
11427 ; GFX10-CU-NEXT:    s_endpgm
11428 ;
11429 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11430 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11431 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11432 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11433 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11434 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11435 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11436 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11437 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11438 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11439 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11440 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11441 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11442 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11443 ;
11444 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11445 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11446 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11447 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11448 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11449 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11450 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11451 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11452 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11453 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11454 ;
11455 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11456 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11457 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11458 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11459 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11460 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11461 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11462 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11463 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11464 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11465 ;
11466 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11467 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11468 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11469 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11470 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11471 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11472 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11473 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11474 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11475 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11476 ;
11477 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11478 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11479 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11480 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11481 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11482 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11483 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11484 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11485 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11486 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11487 ;
11488 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11489 ; GFX11-WGP:       ; %bb.0: ; %entry
11490 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11491 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11492 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11493 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11494 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11495 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11496 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
11497 ; GFX11-WGP-NEXT:    s_nop 0
11498 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11499 ; GFX11-WGP-NEXT:    s_endpgm
11500 ;
11501 ; GFX11-CU-LABEL: global_system_one_as_monotonic_monotonic_ret_cmpxchg:
11502 ; GFX11-CU:       ; %bb.0: ; %entry
11503 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11504 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11505 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11506 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11507 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11508 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11509 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
11510 ; GFX11-CU-NEXT:    s_nop 0
11511 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11512 ; GFX11-CU-NEXT:    s_endpgm
11513     ptr addrspace(1) %out, i32 %in, i32 %old) {
11514 entry:
11515   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11516   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic monotonic
11517   %val0 = extractvalue { i32, i1 } %val, 0
11518   store i32 %val0, ptr addrspace(1) %out, align 4
11519   ret void
11520 }
11521
11522 define amdgpu_kernel void @global_system_one_as_acquire_monotonic_ret_cmpxchg(
11523 ; GFX6-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11524 ; GFX6:       ; %bb.0: ; %entry
11525 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11526 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11527 ; GFX6-NEXT:    s_mov_b32 s6, -1
11528 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11529 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11530 ; GFX6-NEXT:    s_mov_b32 s4, s0
11531 ; GFX6-NEXT:    s_mov_b32 s5, s1
11532 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11533 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11534 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11535 ; GFX6-NEXT:    buffer_wbinvl1
11536 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11537 ; GFX6-NEXT:    s_endpgm
11538 ;
11539 ; GFX7-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11540 ; GFX7:       ; %bb.0: ; %entry
11541 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11542 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11543 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11544 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11545 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11546 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11547 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11548 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11549 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11550 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11551 ; GFX7-NEXT:    buffer_wbinvl1_vol
11552 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11553 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11554 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11555 ; GFX7-NEXT:    s_endpgm
11556 ;
11557 ; GFX10-WGP-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11558 ; GFX10-WGP:       ; %bb.0: ; %entry
11559 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11560 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11561 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11562 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11563 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11564 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11565 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11566 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11567 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11568 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
11569 ; GFX10-WGP-NEXT:    s_endpgm
11570 ;
11571 ; GFX10-CU-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11572 ; GFX10-CU:       ; %bb.0: ; %entry
11573 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11574 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11575 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11576 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11577 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11578 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11579 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11580 ; GFX10-CU-NEXT:    buffer_gl0_inv
11581 ; GFX10-CU-NEXT:    buffer_gl1_inv
11582 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
11583 ; GFX10-CU-NEXT:    s_endpgm
11584 ;
11585 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11586 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11587 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11588 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11589 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11590 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11591 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11592 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11593 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11594 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11595 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11596 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11597 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11598 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11599 ;
11600 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11601 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11602 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11603 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11604 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11605 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11606 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11607 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11608 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
11609 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11610 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11611 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11612 ;
11613 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11614 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11615 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11616 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11617 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11618 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11619 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11620 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11621 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
11622 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11623 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11624 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11625 ;
11626 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11627 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11628 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11629 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11630 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11631 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11632 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11633 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11634 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
11635 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11636 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11637 ;
11638 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11639 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11640 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11641 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11642 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11643 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11644 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11645 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11646 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
11647 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11648 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11649 ;
11650 ; GFX11-WGP-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11651 ; GFX11-WGP:       ; %bb.0: ; %entry
11652 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11653 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11654 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11655 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11656 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11657 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11658 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11659 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11660 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
11661 ; GFX11-WGP-NEXT:    s_nop 0
11662 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11663 ; GFX11-WGP-NEXT:    s_endpgm
11664 ;
11665 ; GFX11-CU-LABEL: global_system_one_as_acquire_monotonic_ret_cmpxchg:
11666 ; GFX11-CU:       ; %bb.0: ; %entry
11667 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11668 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11669 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11670 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11671 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11672 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11673 ; GFX11-CU-NEXT:    buffer_gl0_inv
11674 ; GFX11-CU-NEXT:    buffer_gl1_inv
11675 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
11676 ; GFX11-CU-NEXT:    s_nop 0
11677 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11678 ; GFX11-CU-NEXT:    s_endpgm
11679     ptr addrspace(1) %out, i32 %in, i32 %old) {
11680 entry:
11681   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11682   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire monotonic
11683   %val0 = extractvalue { i32, i1 } %val, 0
11684   store i32 %val0, ptr addrspace(1) %out, align 4
11685   ret void
11686 }
11687
11688 define amdgpu_kernel void @global_system_one_as_release_monotonic_ret_cmpxchg(
11689 ; GFX6-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11690 ; GFX6:       ; %bb.0: ; %entry
11691 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11692 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11693 ; GFX6-NEXT:    s_mov_b32 s6, -1
11694 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11695 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11696 ; GFX6-NEXT:    s_mov_b32 s4, s0
11697 ; GFX6-NEXT:    s_mov_b32 s5, s1
11698 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11699 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11700 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11701 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11702 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11703 ; GFX6-NEXT:    s_endpgm
11704 ;
11705 ; GFX7-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11706 ; GFX7:       ; %bb.0: ; %entry
11707 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11708 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11709 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11710 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11711 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11712 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11713 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11714 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11715 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11716 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11717 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11718 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11719 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11720 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11721 ; GFX7-NEXT:    s_endpgm
11722 ;
11723 ; GFX10-WGP-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11724 ; GFX10-WGP:       ; %bb.0: ; %entry
11725 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11726 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11727 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11728 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11729 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11730 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11731 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11732 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11733 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11734 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
11735 ; GFX10-WGP-NEXT:    s_endpgm
11736 ;
11737 ; GFX10-CU-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11738 ; GFX10-CU:       ; %bb.0: ; %entry
11739 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11740 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11741 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11742 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11743 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11744 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11745 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11746 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11747 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11748 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
11749 ; GFX10-CU-NEXT:    s_endpgm
11750 ;
11751 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11752 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11753 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11754 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11755 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11756 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11757 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11758 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11759 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11760 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11761 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11762 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11763 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11764 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11765 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11766 ;
11767 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11768 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11769 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11770 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11771 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11772 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11773 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
11774 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11775 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11776 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11777 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11778 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11779 ;
11780 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11781 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11782 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11783 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11784 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11785 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11786 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
11787 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11788 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11789 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11790 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11791 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11792 ;
11793 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11794 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11795 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11796 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11797 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11798 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11799 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11800 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11801 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11802 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11803 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11804 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11805 ;
11806 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11807 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11808 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11809 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11810 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11811 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11812 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11813 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11814 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11815 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11816 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11817 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11818 ;
11819 ; GFX11-WGP-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11820 ; GFX11-WGP:       ; %bb.0: ; %entry
11821 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11822 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
11823 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11824 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11825 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11826 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11827 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11828 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11829 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
11830 ; GFX11-WGP-NEXT:    s_nop 0
11831 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11832 ; GFX11-WGP-NEXT:    s_endpgm
11833 ;
11834 ; GFX11-CU-LABEL: global_system_one_as_release_monotonic_ret_cmpxchg:
11835 ; GFX11-CU:       ; %bb.0: ; %entry
11836 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11837 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
11838 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11839 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
11840 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11841 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11842 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
11843 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11844 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
11845 ; GFX11-CU-NEXT:    s_nop 0
11846 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
11847 ; GFX11-CU-NEXT:    s_endpgm
11848     ptr addrspace(1) %out, i32 %in, i32 %old) {
11849 entry:
11850   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
11851   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release monotonic
11852   %val0 = extractvalue { i32, i1 } %val, 0
11853   store i32 %val0, ptr addrspace(1) %out, align 4
11854   ret void
11855 }
11856
11857 define amdgpu_kernel void @global_system_one_as_acq_rel_monotonic_ret_cmpxchg(
11858 ; GFX6-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11859 ; GFX6:       ; %bb.0: ; %entry
11860 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11861 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
11862 ; GFX6-NEXT:    s_mov_b32 s6, -1
11863 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11864 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11865 ; GFX6-NEXT:    s_mov_b32 s4, s0
11866 ; GFX6-NEXT:    s_mov_b32 s5, s1
11867 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
11868 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11869 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11870 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
11871 ; GFX6-NEXT:    buffer_wbinvl1
11872 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11873 ; GFX6-NEXT:    s_endpgm
11874 ;
11875 ; GFX7-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11876 ; GFX7:       ; %bb.0: ; %entry
11877 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11878 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11879 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11880 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11881 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11882 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11883 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11884 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11885 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11886 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11887 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11888 ; GFX7-NEXT:    buffer_wbinvl1_vol
11889 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11890 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11891 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11892 ; GFX7-NEXT:    s_endpgm
11893 ;
11894 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11895 ; GFX10-WGP:       ; %bb.0: ; %entry
11896 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11897 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
11898 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11899 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
11900 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
11901 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11902 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11903 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11904 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11905 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11906 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11907 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
11908 ; GFX10-WGP-NEXT:    s_endpgm
11909 ;
11910 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11911 ; GFX10-CU:       ; %bb.0: ; %entry
11912 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11913 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
11914 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11915 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
11916 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
11917 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11918 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11919 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11920 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11921 ; GFX10-CU-NEXT:    buffer_gl0_inv
11922 ; GFX10-CU-NEXT:    buffer_gl1_inv
11923 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
11924 ; GFX10-CU-NEXT:    s_endpgm
11925 ;
11926 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11927 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11928 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11929 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
11930 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
11931 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11932 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11933 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
11934 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
11935 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
11936 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11937 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
11938 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11939 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
11940 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11941 ;
11942 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11943 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11944 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11945 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11946 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11947 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11948 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
11949 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11950 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11951 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11952 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
11953 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11954 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11955 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11956 ;
11957 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11958 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11959 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11960 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11961 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11962 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
11963 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
11964 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11965 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
11966 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11967 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
11968 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11969 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
11970 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11971 ;
11972 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11973 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11974 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11975 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11976 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11977 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11978 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11979 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11980 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11981 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11982 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
11983 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11984 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11985 ;
11986 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
11987 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11988 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11989 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
11990 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11991 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
11992 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
11993 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11994 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
11995 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11996 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
11997 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
11998 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11999 ;
12000 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
12001 ; GFX11-WGP:       ; %bb.0: ; %entry
12002 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12003 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12004 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12005 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12006 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12007 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12008 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12009 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12010 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12011 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12012 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12013 ; GFX11-WGP-NEXT:    s_nop 0
12014 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12015 ; GFX11-WGP-NEXT:    s_endpgm
12016 ;
12017 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_monotonic_ret_cmpxchg:
12018 ; GFX11-CU:       ; %bb.0: ; %entry
12019 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12020 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12021 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12022 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12023 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12024 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12025 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12026 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12027 ; GFX11-CU-NEXT:    buffer_gl0_inv
12028 ; GFX11-CU-NEXT:    buffer_gl1_inv
12029 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12030 ; GFX11-CU-NEXT:    s_nop 0
12031 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12032 ; GFX11-CU-NEXT:    s_endpgm
12033     ptr addrspace(1) %out, i32 %in, i32 %old) {
12034 entry:
12035   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12036   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel monotonic
12037   %val0 = extractvalue { i32, i1 } %val, 0
12038   store i32 %val0, ptr addrspace(1) %out, align 4
12039   ret void
12040 }
12041
12042 define amdgpu_kernel void @global_system_one_as_seq_cst_monotonic_ret_cmpxchg(
12043 ; GFX6-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12044 ; GFX6:       ; %bb.0: ; %entry
12045 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12046 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12047 ; GFX6-NEXT:    s_mov_b32 s6, -1
12048 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12049 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12050 ; GFX6-NEXT:    s_mov_b32 s4, s0
12051 ; GFX6-NEXT:    s_mov_b32 s5, s1
12052 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12053 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12054 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12055 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12056 ; GFX6-NEXT:    buffer_wbinvl1
12057 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12058 ; GFX6-NEXT:    s_endpgm
12059 ;
12060 ; GFX7-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12061 ; GFX7:       ; %bb.0: ; %entry
12062 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12063 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12064 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12065 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12066 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12067 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12068 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12069 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12070 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12071 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12072 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12073 ; GFX7-NEXT:    buffer_wbinvl1_vol
12074 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12075 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12076 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12077 ; GFX7-NEXT:    s_endpgm
12078 ;
12079 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12080 ; GFX10-WGP:       ; %bb.0: ; %entry
12081 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12082 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12083 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12084 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12085 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12086 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12087 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12088 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12089 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12090 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12091 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12092 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12093 ; GFX10-WGP-NEXT:    s_endpgm
12094 ;
12095 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12096 ; GFX10-CU:       ; %bb.0: ; %entry
12097 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12098 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12099 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12100 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12101 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12102 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12103 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12104 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12105 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12106 ; GFX10-CU-NEXT:    buffer_gl0_inv
12107 ; GFX10-CU-NEXT:    buffer_gl1_inv
12108 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12109 ; GFX10-CU-NEXT:    s_endpgm
12110 ;
12111 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12112 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12113 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12114 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
12115 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
12116 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12117 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12118 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
12119 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
12120 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
12121 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12122 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12123 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12124 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12125 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12126 ;
12127 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12128 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12129 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12130 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12131 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12132 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12133 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
12134 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12135 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12136 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12137 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
12138 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12139 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12140 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12141 ;
12142 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12143 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12144 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12145 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12146 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12147 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12148 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
12149 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12150 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12151 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12152 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
12153 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12154 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12155 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12156 ;
12157 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12158 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12159 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12160 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12161 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12162 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12163 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12164 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12165 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12166 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12167 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
12168 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12169 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12170 ;
12171 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12172 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12173 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12174 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12175 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12176 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12177 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12178 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12179 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12180 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12181 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
12182 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12183 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12184 ;
12185 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12186 ; GFX11-WGP:       ; %bb.0: ; %entry
12187 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12188 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12189 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12190 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12191 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12192 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12193 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12194 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12195 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12196 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12197 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12198 ; GFX11-WGP-NEXT:    s_nop 0
12199 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12200 ; GFX11-WGP-NEXT:    s_endpgm
12201 ;
12202 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_monotonic_ret_cmpxchg:
12203 ; GFX11-CU:       ; %bb.0: ; %entry
12204 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12205 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12206 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12207 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12208 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12209 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12210 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12211 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12212 ; GFX11-CU-NEXT:    buffer_gl0_inv
12213 ; GFX11-CU-NEXT:    buffer_gl1_inv
12214 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12215 ; GFX11-CU-NEXT:    s_nop 0
12216 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12217 ; GFX11-CU-NEXT:    s_endpgm
12218     ptr addrspace(1) %out, i32 %in, i32 %old) {
12219 entry:
12220   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12221   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst monotonic
12222   %val0 = extractvalue { i32, i1 } %val, 0
12223   store i32 %val0, ptr addrspace(1) %out, align 4
12224   ret void
12225 }
12226
12227 define amdgpu_kernel void @global_system_one_as_monotonic_acquire_ret_cmpxchg(
12228 ; GFX6-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12229 ; GFX6:       ; %bb.0: ; %entry
12230 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12231 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12232 ; GFX6-NEXT:    s_mov_b32 s6, -1
12233 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12234 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12235 ; GFX6-NEXT:    s_mov_b32 s4, s0
12236 ; GFX6-NEXT:    s_mov_b32 s5, s1
12237 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12238 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12239 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12240 ; GFX6-NEXT:    buffer_wbinvl1
12241 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12242 ; GFX6-NEXT:    s_endpgm
12243 ;
12244 ; GFX7-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12245 ; GFX7:       ; %bb.0: ; %entry
12246 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12247 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12248 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12249 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12250 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12251 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12252 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12253 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12254 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12255 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12256 ; GFX7-NEXT:    buffer_wbinvl1_vol
12257 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12258 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12259 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12260 ; GFX7-NEXT:    s_endpgm
12261 ;
12262 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12263 ; GFX10-WGP:       ; %bb.0: ; %entry
12264 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12265 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12266 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12267 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12268 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12269 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12270 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12271 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12272 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12273 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12274 ; GFX10-WGP-NEXT:    s_endpgm
12275 ;
12276 ; GFX10-CU-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12277 ; GFX10-CU:       ; %bb.0: ; %entry
12278 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12279 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12280 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12281 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12282 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12283 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12284 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12285 ; GFX10-CU-NEXT:    buffer_gl0_inv
12286 ; GFX10-CU-NEXT:    buffer_gl1_inv
12287 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12288 ; GFX10-CU-NEXT:    s_endpgm
12289 ;
12290 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12291 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12292 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12293 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
12294 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
12295 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12296 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12297 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
12298 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
12299 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
12300 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12301 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12302 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12303 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12304 ;
12305 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12306 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12307 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12308 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12309 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12310 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12311 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12312 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12313 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
12314 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12315 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12316 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12317 ;
12318 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12319 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12320 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12321 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12322 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12323 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12324 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12325 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12326 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
12327 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12328 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12329 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12330 ;
12331 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12332 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12333 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12334 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12335 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12336 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12337 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12338 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12339 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
12340 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12341 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12342 ;
12343 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12344 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12345 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12346 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12347 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12348 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12349 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12350 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12351 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
12352 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12353 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12354 ;
12355 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12356 ; GFX11-WGP:       ; %bb.0: ; %entry
12357 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12358 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12359 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12360 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12361 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12362 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12363 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12364 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12365 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12366 ; GFX11-WGP-NEXT:    s_nop 0
12367 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12368 ; GFX11-WGP-NEXT:    s_endpgm
12369 ;
12370 ; GFX11-CU-LABEL: global_system_one_as_monotonic_acquire_ret_cmpxchg:
12371 ; GFX11-CU:       ; %bb.0: ; %entry
12372 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12373 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12374 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12375 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12376 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12377 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12378 ; GFX11-CU-NEXT:    buffer_gl0_inv
12379 ; GFX11-CU-NEXT:    buffer_gl1_inv
12380 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12381 ; GFX11-CU-NEXT:    s_nop 0
12382 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12383 ; GFX11-CU-NEXT:    s_endpgm
12384     ptr addrspace(1) %out, i32 %in, i32 %old) {
12385 entry:
12386   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12387   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic acquire
12388   %val0 = extractvalue { i32, i1 } %val, 0
12389   store i32 %val0, ptr addrspace(1) %out, align 4
12390   ret void
12391 }
12392
12393 define amdgpu_kernel void @global_system_one_as_acquire_acquire_ret_cmpxchg(
12394 ; GFX6-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12395 ; GFX6:       ; %bb.0: ; %entry
12396 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12397 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12398 ; GFX6-NEXT:    s_mov_b32 s6, -1
12399 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12400 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12401 ; GFX6-NEXT:    s_mov_b32 s4, s0
12402 ; GFX6-NEXT:    s_mov_b32 s5, s1
12403 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12404 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12405 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12406 ; GFX6-NEXT:    buffer_wbinvl1
12407 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12408 ; GFX6-NEXT:    s_endpgm
12409 ;
12410 ; GFX7-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12411 ; GFX7:       ; %bb.0: ; %entry
12412 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12413 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12414 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12415 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12416 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12417 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12418 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12419 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12420 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12421 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12422 ; GFX7-NEXT:    buffer_wbinvl1_vol
12423 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12424 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12425 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12426 ; GFX7-NEXT:    s_endpgm
12427 ;
12428 ; GFX10-WGP-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12429 ; GFX10-WGP:       ; %bb.0: ; %entry
12430 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12431 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12432 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12433 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12434 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12435 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12436 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12437 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12438 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12439 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12440 ; GFX10-WGP-NEXT:    s_endpgm
12441 ;
12442 ; GFX10-CU-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12443 ; GFX10-CU:       ; %bb.0: ; %entry
12444 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12446 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12447 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12448 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12449 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12450 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12451 ; GFX10-CU-NEXT:    buffer_gl0_inv
12452 ; GFX10-CU-NEXT:    buffer_gl1_inv
12453 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12454 ; GFX10-CU-NEXT:    s_endpgm
12455 ;
12456 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12457 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12458 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12459 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
12460 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
12461 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12462 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12463 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
12464 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
12465 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
12466 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12467 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12468 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12469 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12470 ;
12471 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12472 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12473 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12474 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12475 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12476 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12477 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12478 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12479 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
12480 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12481 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12482 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12483 ;
12484 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12485 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12486 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12487 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12488 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12489 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12490 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12491 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12492 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
12493 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12494 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12495 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12496 ;
12497 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12498 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12499 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12500 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12501 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12502 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12503 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12504 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12505 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
12506 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12507 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12508 ;
12509 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12510 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12511 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12512 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12513 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12514 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12515 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12516 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12517 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
12518 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12519 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12520 ;
12521 ; GFX11-WGP-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12522 ; GFX11-WGP:       ; %bb.0: ; %entry
12523 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12524 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12525 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12526 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12527 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12528 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12529 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12530 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12531 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12532 ; GFX11-WGP-NEXT:    s_nop 0
12533 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12534 ; GFX11-WGP-NEXT:    s_endpgm
12535 ;
12536 ; GFX11-CU-LABEL: global_system_one_as_acquire_acquire_ret_cmpxchg:
12537 ; GFX11-CU:       ; %bb.0: ; %entry
12538 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12539 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12540 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12541 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12542 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12543 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12544 ; GFX11-CU-NEXT:    buffer_gl0_inv
12545 ; GFX11-CU-NEXT:    buffer_gl1_inv
12546 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12547 ; GFX11-CU-NEXT:    s_nop 0
12548 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12549 ; GFX11-CU-NEXT:    s_endpgm
12550     ptr addrspace(1) %out, i32 %in, i32 %old) {
12551 entry:
12552   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12553   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire acquire
12554   %val0 = extractvalue { i32, i1 } %val, 0
12555   store i32 %val0, ptr addrspace(1) %out, align 4
12556   ret void
12557 }
12558
12559 define amdgpu_kernel void @global_system_one_as_release_acquire_ret_cmpxchg(
12560 ; GFX6-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12561 ; GFX6:       ; %bb.0: ; %entry
12562 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12563 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12564 ; GFX6-NEXT:    s_mov_b32 s6, -1
12565 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12566 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12567 ; GFX6-NEXT:    s_mov_b32 s4, s0
12568 ; GFX6-NEXT:    s_mov_b32 s5, s1
12569 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12570 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12571 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12572 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12573 ; GFX6-NEXT:    buffer_wbinvl1
12574 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12575 ; GFX6-NEXT:    s_endpgm
12576 ;
12577 ; GFX7-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12578 ; GFX7:       ; %bb.0: ; %entry
12579 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12580 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12581 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12582 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12583 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12584 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12585 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12586 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12587 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12588 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12589 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12590 ; GFX7-NEXT:    buffer_wbinvl1_vol
12591 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12592 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12593 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12594 ; GFX7-NEXT:    s_endpgm
12595 ;
12596 ; GFX10-WGP-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12597 ; GFX10-WGP:       ; %bb.0: ; %entry
12598 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12599 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12600 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12601 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12602 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12603 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12604 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12605 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12606 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12607 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12608 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12609 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12610 ; GFX10-WGP-NEXT:    s_endpgm
12611 ;
12612 ; GFX10-CU-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12613 ; GFX10-CU:       ; %bb.0: ; %entry
12614 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12615 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12616 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12617 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12618 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12619 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12620 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12621 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12622 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12623 ; GFX10-CU-NEXT:    buffer_gl0_inv
12624 ; GFX10-CU-NEXT:    buffer_gl1_inv
12625 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12626 ; GFX10-CU-NEXT:    s_endpgm
12627 ;
12628 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12629 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12630 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12631 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
12632 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
12633 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12634 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12635 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
12636 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
12637 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
12638 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12639 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12640 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12641 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12642 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12643 ;
12644 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12645 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12646 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12647 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12648 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12649 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12650 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
12651 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12652 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12653 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12654 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
12655 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12656 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12657 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12658 ;
12659 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12660 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12661 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12662 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12663 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12664 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12665 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
12666 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12667 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12668 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12669 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
12670 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12671 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12672 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12673 ;
12674 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12675 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12676 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12677 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12678 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12679 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12680 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12681 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12682 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12683 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12684 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
12685 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12686 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12687 ;
12688 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12689 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12690 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12691 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12692 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12693 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12694 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12695 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12696 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12697 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12698 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
12699 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12700 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12701 ;
12702 ; GFX11-WGP-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12703 ; GFX11-WGP:       ; %bb.0: ; %entry
12704 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12705 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12706 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12707 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12708 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12709 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12710 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12711 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12712 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12713 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12714 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12715 ; GFX11-WGP-NEXT:    s_nop 0
12716 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12717 ; GFX11-WGP-NEXT:    s_endpgm
12718 ;
12719 ; GFX11-CU-LABEL: global_system_one_as_release_acquire_ret_cmpxchg:
12720 ; GFX11-CU:       ; %bb.0: ; %entry
12721 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12722 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12723 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12724 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12725 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12726 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12727 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12728 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12729 ; GFX11-CU-NEXT:    buffer_gl0_inv
12730 ; GFX11-CU-NEXT:    buffer_gl1_inv
12731 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12732 ; GFX11-CU-NEXT:    s_nop 0
12733 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12734 ; GFX11-CU-NEXT:    s_endpgm
12735     ptr addrspace(1) %out, i32 %in, i32 %old) {
12736 entry:
12737   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12738   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release acquire
12739   %val0 = extractvalue { i32, i1 } %val, 0
12740   store i32 %val0, ptr addrspace(1) %out, align 4
12741   ret void
12742 }
12743
12744 define amdgpu_kernel void @global_system_one_as_acq_rel_acquire_ret_cmpxchg(
12745 ; GFX6-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12746 ; GFX6:       ; %bb.0: ; %entry
12747 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12748 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12749 ; GFX6-NEXT:    s_mov_b32 s6, -1
12750 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12751 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12752 ; GFX6-NEXT:    s_mov_b32 s4, s0
12753 ; GFX6-NEXT:    s_mov_b32 s5, s1
12754 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12755 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12756 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12757 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12758 ; GFX6-NEXT:    buffer_wbinvl1
12759 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12760 ; GFX6-NEXT:    s_endpgm
12761 ;
12762 ; GFX7-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12763 ; GFX7:       ; %bb.0: ; %entry
12764 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12765 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12766 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12767 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12768 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12769 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12770 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12771 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12772 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12773 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12774 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12775 ; GFX7-NEXT:    buffer_wbinvl1_vol
12776 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12777 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12778 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12779 ; GFX7-NEXT:    s_endpgm
12780 ;
12781 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12782 ; GFX10-WGP:       ; %bb.0: ; %entry
12783 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12784 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12785 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12786 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12787 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12788 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12789 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12790 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12791 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12792 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12793 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12794 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12795 ; GFX10-WGP-NEXT:    s_endpgm
12796 ;
12797 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12798 ; GFX10-CU:       ; %bb.0: ; %entry
12799 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12800 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12801 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12802 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12803 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12804 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12805 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12806 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12807 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12808 ; GFX10-CU-NEXT:    buffer_gl0_inv
12809 ; GFX10-CU-NEXT:    buffer_gl1_inv
12810 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12811 ; GFX10-CU-NEXT:    s_endpgm
12812 ;
12813 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12814 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12815 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12816 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
12817 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
12818 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12819 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12820 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
12821 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
12822 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
12823 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12824 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12825 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12826 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12827 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12828 ;
12829 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12830 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12831 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12832 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12833 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12834 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12835 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
12836 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12837 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12838 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12839 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
12840 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12841 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12842 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12843 ;
12844 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12845 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12846 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12847 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12848 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12849 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
12850 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
12851 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12852 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12853 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12854 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
12855 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12856 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
12857 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12858 ;
12859 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12860 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12861 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12862 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12863 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12864 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12865 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12866 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12867 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12868 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12869 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
12870 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12871 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12872 ;
12873 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12874 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12875 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12876 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
12877 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12878 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
12879 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
12880 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12881 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
12882 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12883 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
12884 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
12885 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12886 ;
12887 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12888 ; GFX11-WGP:       ; %bb.0: ; %entry
12889 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12890 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
12891 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12892 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12893 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12894 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12895 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12896 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12897 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12898 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12899 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
12900 ; GFX11-WGP-NEXT:    s_nop 0
12901 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12902 ; GFX11-WGP-NEXT:    s_endpgm
12903 ;
12904 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_acquire_ret_cmpxchg:
12905 ; GFX11-CU:       ; %bb.0: ; %entry
12906 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12907 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
12908 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12909 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
12910 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12911 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12912 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
12913 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12914 ; GFX11-CU-NEXT:    buffer_gl0_inv
12915 ; GFX11-CU-NEXT:    buffer_gl1_inv
12916 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
12917 ; GFX11-CU-NEXT:    s_nop 0
12918 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
12919 ; GFX11-CU-NEXT:    s_endpgm
12920     ptr addrspace(1) %out, i32 %in, i32 %old) {
12921 entry:
12922   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
12923   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel acquire
12924   %val0 = extractvalue { i32, i1 } %val, 0
12925   store i32 %val0, ptr addrspace(1) %out, align 4
12926   ret void
12927 }
12928
12929 define amdgpu_kernel void @global_system_one_as_seq_cst_acquire_ret_cmpxchg(
12930 ; GFX6-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
12931 ; GFX6:       ; %bb.0: ; %entry
12932 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12933 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
12934 ; GFX6-NEXT:    s_mov_b32 s6, -1
12935 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12936 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12937 ; GFX6-NEXT:    s_mov_b32 s4, s0
12938 ; GFX6-NEXT:    s_mov_b32 s5, s1
12939 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
12940 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12941 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
12942 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
12943 ; GFX6-NEXT:    buffer_wbinvl1
12944 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
12945 ; GFX6-NEXT:    s_endpgm
12946 ;
12947 ; GFX7-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
12948 ; GFX7:       ; %bb.0: ; %entry
12949 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12950 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12951 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12952 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12953 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12954 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12955 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12956 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12957 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12958 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12959 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12960 ; GFX7-NEXT:    buffer_wbinvl1_vol
12961 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12962 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12963 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12964 ; GFX7-NEXT:    s_endpgm
12965 ;
12966 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
12967 ; GFX10-WGP:       ; %bb.0: ; %entry
12968 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12969 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
12970 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12971 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
12972 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
12973 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12974 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12975 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12976 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12977 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12978 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12979 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
12980 ; GFX10-WGP-NEXT:    s_endpgm
12981 ;
12982 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
12983 ; GFX10-CU:       ; %bb.0: ; %entry
12984 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12985 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
12986 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12987 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
12988 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
12989 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12990 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12991 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
12992 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12993 ; GFX10-CU-NEXT:    buffer_gl0_inv
12994 ; GFX10-CU-NEXT:    buffer_gl1_inv
12995 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
12996 ; GFX10-CU-NEXT:    s_endpgm
12997 ;
12998 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
12999 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13000 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13001 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13002 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13003 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13004 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13005 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13006 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13007 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13008 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13009 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13010 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13011 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13012 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13013 ;
13014 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13015 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13016 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13017 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13018 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13019 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13020 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13021 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13022 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13023 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13024 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13025 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13026 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13027 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13028 ;
13029 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13030 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13031 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13032 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13033 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13034 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13035 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13036 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13037 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13038 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13039 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13040 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13041 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13042 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13043 ;
13044 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13045 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13046 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13047 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13048 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13049 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13050 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13051 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13052 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13053 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13054 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13055 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13056 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13057 ;
13058 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13059 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13060 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13061 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13062 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13063 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13064 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13065 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13066 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13067 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13068 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13069 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13070 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13071 ;
13072 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13073 ; GFX11-WGP:       ; %bb.0: ; %entry
13074 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13075 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
13076 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13077 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13078 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13079 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13080 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13081 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13082 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13083 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13084 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
13085 ; GFX11-WGP-NEXT:    s_nop 0
13086 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13087 ; GFX11-WGP-NEXT:    s_endpgm
13088 ;
13089 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_acquire_ret_cmpxchg:
13090 ; GFX11-CU:       ; %bb.0: ; %entry
13091 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13092 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
13093 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13094 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13095 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13096 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13097 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13098 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13099 ; GFX11-CU-NEXT:    buffer_gl0_inv
13100 ; GFX11-CU-NEXT:    buffer_gl1_inv
13101 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
13102 ; GFX11-CU-NEXT:    s_nop 0
13103 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13104 ; GFX11-CU-NEXT:    s_endpgm
13105     ptr addrspace(1) %out, i32 %in, i32 %old) {
13106 entry:
13107   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
13108   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst acquire
13109   %val0 = extractvalue { i32, i1 } %val, 0
13110   store i32 %val0, ptr addrspace(1) %out, align 4
13111   ret void
13112 }
13113
13114 define amdgpu_kernel void @global_system_one_as_monotonic_seq_cst_ret_cmpxchg(
13115 ; GFX6-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13116 ; GFX6:       ; %bb.0: ; %entry
13117 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13118 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
13119 ; GFX6-NEXT:    s_mov_b32 s6, -1
13120 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13121 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
13122 ; GFX6-NEXT:    s_mov_b32 s4, s0
13123 ; GFX6-NEXT:    s_mov_b32 s5, s1
13124 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
13125 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13126 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13127 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13128 ; GFX6-NEXT:    buffer_wbinvl1
13129 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13130 ; GFX6-NEXT:    s_endpgm
13131 ;
13132 ; GFX7-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13133 ; GFX7:       ; %bb.0: ; %entry
13134 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13135 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13136 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13137 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13138 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13139 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13140 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13141 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13142 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13143 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13144 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13145 ; GFX7-NEXT:    buffer_wbinvl1_vol
13146 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13147 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13148 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13149 ; GFX7-NEXT:    s_endpgm
13150 ;
13151 ; GFX10-WGP-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13152 ; GFX10-WGP:       ; %bb.0: ; %entry
13153 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13154 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
13155 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13156 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
13157 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
13158 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13159 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13160 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13161 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13162 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13163 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13164 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
13165 ; GFX10-WGP-NEXT:    s_endpgm
13166 ;
13167 ; GFX10-CU-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13168 ; GFX10-CU:       ; %bb.0: ; %entry
13169 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13170 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
13171 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13172 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
13173 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
13174 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13175 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13176 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13177 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13178 ; GFX10-CU-NEXT:    buffer_gl0_inv
13179 ; GFX10-CU-NEXT:    buffer_gl1_inv
13180 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
13181 ; GFX10-CU-NEXT:    s_endpgm
13182 ;
13183 ; SKIP-CACHE-INV-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13184 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13185 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13186 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13187 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13188 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13189 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13190 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13191 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13192 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13193 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13194 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13195 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13196 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13197 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13198 ;
13199 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13200 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13201 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13202 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13203 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13204 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13205 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13206 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13207 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13208 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13209 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13210 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13211 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13212 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13213 ;
13214 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13215 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13216 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13217 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13218 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13219 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13220 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13221 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13222 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13223 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13224 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13225 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13226 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13227 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13228 ;
13229 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13230 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13231 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13232 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13233 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13234 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13235 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13236 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13237 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13238 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13239 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13240 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13241 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13242 ;
13243 ; GFX940-TGSPLIT-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13244 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13245 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13246 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13247 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13248 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13249 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13250 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13251 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13252 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13253 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13254 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13255 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13256 ;
13257 ; GFX11-WGP-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13258 ; GFX11-WGP:       ; %bb.0: ; %entry
13259 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13260 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
13261 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13262 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13263 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13264 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13265 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13266 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13267 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13268 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13269 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
13270 ; GFX11-WGP-NEXT:    s_nop 0
13271 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13272 ; GFX11-WGP-NEXT:    s_endpgm
13273 ;
13274 ; GFX11-CU-LABEL: global_system_one_as_monotonic_seq_cst_ret_cmpxchg:
13275 ; GFX11-CU:       ; %bb.0: ; %entry
13276 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13277 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
13278 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13279 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13280 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13281 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13282 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13283 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13284 ; GFX11-CU-NEXT:    buffer_gl0_inv
13285 ; GFX11-CU-NEXT:    buffer_gl1_inv
13286 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
13287 ; GFX11-CU-NEXT:    s_nop 0
13288 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13289 ; GFX11-CU-NEXT:    s_endpgm
13290     ptr addrspace(1) %out, i32 %in, i32 %old) {
13291 entry:
13292   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
13293   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") monotonic seq_cst
13294   %val0 = extractvalue { i32, i1 } %val, 0
13295   store i32 %val0, ptr addrspace(1) %out, align 4
13296   ret void
13297 }
13298
13299 define amdgpu_kernel void @global_system_one_as_acquire_seq_cst_ret_cmpxchg(
13300 ; GFX6-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13301 ; GFX6:       ; %bb.0: ; %entry
13302 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13303 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
13304 ; GFX6-NEXT:    s_mov_b32 s6, -1
13305 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13306 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
13307 ; GFX6-NEXT:    s_mov_b32 s4, s0
13308 ; GFX6-NEXT:    s_mov_b32 s5, s1
13309 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
13310 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13311 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13312 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13313 ; GFX6-NEXT:    buffer_wbinvl1
13314 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13315 ; GFX6-NEXT:    s_endpgm
13316 ;
13317 ; GFX7-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13318 ; GFX7:       ; %bb.0: ; %entry
13319 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13320 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13321 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13322 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13323 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13324 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13325 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13326 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13327 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13328 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13329 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13330 ; GFX7-NEXT:    buffer_wbinvl1_vol
13331 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13332 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13333 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13334 ; GFX7-NEXT:    s_endpgm
13335 ;
13336 ; GFX10-WGP-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13337 ; GFX10-WGP:       ; %bb.0: ; %entry
13338 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13339 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
13340 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13341 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
13342 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
13343 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13344 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13345 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13346 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13347 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13348 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13349 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
13350 ; GFX10-WGP-NEXT:    s_endpgm
13351 ;
13352 ; GFX10-CU-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13353 ; GFX10-CU:       ; %bb.0: ; %entry
13354 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13355 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
13356 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13357 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
13358 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
13359 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13360 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13361 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13362 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13363 ; GFX10-CU-NEXT:    buffer_gl0_inv
13364 ; GFX10-CU-NEXT:    buffer_gl1_inv
13365 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
13366 ; GFX10-CU-NEXT:    s_endpgm
13367 ;
13368 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13369 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13370 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13371 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13372 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13373 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13374 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13375 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13376 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13377 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13378 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13379 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13380 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13381 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13382 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13383 ;
13384 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13385 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13386 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13388 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13389 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13390 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13391 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13392 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13393 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13394 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13395 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13396 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13397 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13398 ;
13399 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13400 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13401 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13402 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13403 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13404 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13405 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13406 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13407 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13408 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13409 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13410 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13411 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13412 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13413 ;
13414 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13415 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13416 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13417 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13418 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13419 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13420 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13421 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13422 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13423 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13424 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13425 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13426 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13427 ;
13428 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13429 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13430 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13431 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13432 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13433 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13434 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13435 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13436 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13437 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13438 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13439 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13440 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13441 ;
13442 ; GFX11-WGP-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13443 ; GFX11-WGP:       ; %bb.0: ; %entry
13444 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13445 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
13446 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13447 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13448 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13449 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13450 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13451 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13452 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13453 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13454 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
13455 ; GFX11-WGP-NEXT:    s_nop 0
13456 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13457 ; GFX11-WGP-NEXT:    s_endpgm
13458 ;
13459 ; GFX11-CU-LABEL: global_system_one_as_acquire_seq_cst_ret_cmpxchg:
13460 ; GFX11-CU:       ; %bb.0: ; %entry
13461 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13462 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
13463 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13464 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13465 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13466 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13467 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13468 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13469 ; GFX11-CU-NEXT:    buffer_gl0_inv
13470 ; GFX11-CU-NEXT:    buffer_gl1_inv
13471 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
13472 ; GFX11-CU-NEXT:    s_nop 0
13473 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13474 ; GFX11-CU-NEXT:    s_endpgm
13475     ptr addrspace(1) %out, i32 %in, i32 %old) {
13476 entry:
13477   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
13478   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acquire seq_cst
13479   %val0 = extractvalue { i32, i1 } %val, 0
13480   store i32 %val0, ptr addrspace(1) %out, align 4
13481   ret void
13482 }
13483
13484 define amdgpu_kernel void @global_system_one_as_release_seq_cst_ret_cmpxchg(
13485 ; GFX6-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13486 ; GFX6:       ; %bb.0: ; %entry
13487 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13488 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
13489 ; GFX6-NEXT:    s_mov_b32 s6, -1
13490 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13491 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
13492 ; GFX6-NEXT:    s_mov_b32 s4, s0
13493 ; GFX6-NEXT:    s_mov_b32 s5, s1
13494 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
13495 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13496 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13497 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13498 ; GFX6-NEXT:    buffer_wbinvl1
13499 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13500 ; GFX6-NEXT:    s_endpgm
13501 ;
13502 ; GFX7-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13503 ; GFX7:       ; %bb.0: ; %entry
13504 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13505 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13506 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13507 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13508 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13509 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13510 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13511 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13512 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13513 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13514 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13515 ; GFX7-NEXT:    buffer_wbinvl1_vol
13516 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13517 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13518 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13519 ; GFX7-NEXT:    s_endpgm
13520 ;
13521 ; GFX10-WGP-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13522 ; GFX10-WGP:       ; %bb.0: ; %entry
13523 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13524 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
13525 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13526 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
13527 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
13528 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13529 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13530 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13531 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13532 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13533 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13534 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
13535 ; GFX10-WGP-NEXT:    s_endpgm
13536 ;
13537 ; GFX10-CU-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13538 ; GFX10-CU:       ; %bb.0: ; %entry
13539 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13540 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
13541 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13542 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
13543 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
13544 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13545 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13546 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13547 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13548 ; GFX10-CU-NEXT:    buffer_gl0_inv
13549 ; GFX10-CU-NEXT:    buffer_gl1_inv
13550 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
13551 ; GFX10-CU-NEXT:    s_endpgm
13552 ;
13553 ; SKIP-CACHE-INV-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13554 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13555 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13556 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13557 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13558 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13559 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13560 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13561 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13562 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13563 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13564 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13565 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13566 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13567 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13568 ;
13569 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13570 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13571 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13572 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13573 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13574 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13575 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13576 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13577 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13578 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13579 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13580 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13581 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13582 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13583 ;
13584 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13585 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13586 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13587 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13588 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13589 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13590 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13591 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13592 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13593 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13594 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13595 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13596 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13597 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13598 ;
13599 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13600 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13601 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13602 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13603 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13604 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13605 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13606 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13607 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13608 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13609 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13610 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13611 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13612 ;
13613 ; GFX940-TGSPLIT-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13614 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13615 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13616 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13617 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13618 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13619 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13620 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13621 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13622 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13623 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13624 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13625 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13626 ;
13627 ; GFX11-WGP-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13628 ; GFX11-WGP:       ; %bb.0: ; %entry
13629 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13630 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
13631 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13632 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13633 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13634 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13635 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13636 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13637 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13638 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13639 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
13640 ; GFX11-WGP-NEXT:    s_nop 0
13641 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13642 ; GFX11-WGP-NEXT:    s_endpgm
13643 ;
13644 ; GFX11-CU-LABEL: global_system_one_as_release_seq_cst_ret_cmpxchg:
13645 ; GFX11-CU:       ; %bb.0: ; %entry
13646 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13647 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
13648 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13649 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13650 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13651 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13652 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13653 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13654 ; GFX11-CU-NEXT:    buffer_gl0_inv
13655 ; GFX11-CU-NEXT:    buffer_gl1_inv
13656 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
13657 ; GFX11-CU-NEXT:    s_nop 0
13658 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13659 ; GFX11-CU-NEXT:    s_endpgm
13660     ptr addrspace(1) %out, i32 %in, i32 %old) {
13661 entry:
13662   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
13663   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") release seq_cst
13664   %val0 = extractvalue { i32, i1 } %val, 0
13665   store i32 %val0, ptr addrspace(1) %out, align 4
13666   ret void
13667 }
13668
13669 define amdgpu_kernel void @global_system_one_as_acq_rel_seq_cst_ret_cmpxchg(
13670 ; GFX6-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13671 ; GFX6:       ; %bb.0: ; %entry
13672 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13673 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
13674 ; GFX6-NEXT:    s_mov_b32 s6, -1
13675 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13676 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
13677 ; GFX6-NEXT:    s_mov_b32 s4, s0
13678 ; GFX6-NEXT:    s_mov_b32 s5, s1
13679 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
13680 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13681 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13682 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13683 ; GFX6-NEXT:    buffer_wbinvl1
13684 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13685 ; GFX6-NEXT:    s_endpgm
13686 ;
13687 ; GFX7-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13688 ; GFX7:       ; %bb.0: ; %entry
13689 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13690 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13691 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13692 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13693 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13694 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13695 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13696 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13697 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13698 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13699 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13700 ; GFX7-NEXT:    buffer_wbinvl1_vol
13701 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13702 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13703 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13704 ; GFX7-NEXT:    s_endpgm
13705 ;
13706 ; GFX10-WGP-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13707 ; GFX10-WGP:       ; %bb.0: ; %entry
13708 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13709 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
13710 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13711 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
13712 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
13713 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13714 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13715 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13716 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13717 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13718 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13719 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
13720 ; GFX10-WGP-NEXT:    s_endpgm
13721 ;
13722 ; GFX10-CU-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13723 ; GFX10-CU:       ; %bb.0: ; %entry
13724 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13725 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
13726 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13727 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
13728 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
13729 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13730 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13731 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13732 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13733 ; GFX10-CU-NEXT:    buffer_gl0_inv
13734 ; GFX10-CU-NEXT:    buffer_gl1_inv
13735 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
13736 ; GFX10-CU-NEXT:    s_endpgm
13737 ;
13738 ; SKIP-CACHE-INV-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13739 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13740 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13741 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13742 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13743 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13744 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13745 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13746 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13747 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13748 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13749 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13750 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13751 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13752 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13753 ;
13754 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13755 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13756 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13757 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13758 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13759 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13760 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13761 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13762 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13763 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13764 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13765 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13766 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13767 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13768 ;
13769 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13770 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13771 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13772 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13773 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13774 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13775 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13776 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13777 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13778 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13779 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13780 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13781 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13782 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13783 ;
13784 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13785 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13786 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13787 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13788 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13789 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13790 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13791 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13792 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13793 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13794 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13795 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13796 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13797 ;
13798 ; GFX940-TGSPLIT-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13799 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13800 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13801 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13802 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13803 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13804 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13805 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13806 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13807 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13808 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13809 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13810 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13811 ;
13812 ; GFX11-WGP-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13813 ; GFX11-WGP:       ; %bb.0: ; %entry
13814 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13815 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
13816 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13817 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13818 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13819 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13820 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13821 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13822 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13823 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13824 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
13825 ; GFX11-WGP-NEXT:    s_nop 0
13826 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13827 ; GFX11-WGP-NEXT:    s_endpgm
13828 ;
13829 ; GFX11-CU-LABEL: global_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
13830 ; GFX11-CU:       ; %bb.0: ; %entry
13831 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13832 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
13833 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13834 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
13835 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13836 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13837 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
13838 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13839 ; GFX11-CU-NEXT:    buffer_gl0_inv
13840 ; GFX11-CU-NEXT:    buffer_gl1_inv
13841 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
13842 ; GFX11-CU-NEXT:    s_nop 0
13843 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
13844 ; GFX11-CU-NEXT:    s_endpgm
13845     ptr addrspace(1) %out, i32 %in, i32 %old) {
13846 entry:
13847   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
13848   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") acq_rel seq_cst
13849   %val0 = extractvalue { i32, i1 } %val, 0
13850   store i32 %val0, ptr addrspace(1) %out, align 4
13851   ret void
13852 }
13853
13854 define amdgpu_kernel void @global_system_one_as_seq_cst_seq_cst_ret_cmpxchg(
13855 ; GFX6-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13856 ; GFX6:       ; %bb.0: ; %entry
13857 ; GFX6-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13858 ; GFX6-NEXT:    s_mov_b32 s7, 0x100f000
13859 ; GFX6-NEXT:    s_mov_b32 s6, -1
13860 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13861 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
13862 ; GFX6-NEXT:    s_mov_b32 s4, s0
13863 ; GFX6-NEXT:    s_mov_b32 s5, s1
13864 ; GFX6-NEXT:    v_mov_b32_e32 v1, s3
13865 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13866 ; GFX6-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13867 ; GFX6-NEXT:    s_waitcnt vmcnt(0)
13868 ; GFX6-NEXT:    buffer_wbinvl1
13869 ; GFX6-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13870 ; GFX6-NEXT:    s_endpgm
13871 ;
13872 ; GFX7-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13873 ; GFX7:       ; %bb.0: ; %entry
13874 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13875 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13876 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13877 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13878 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13879 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13880 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13881 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13882 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13883 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13884 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13885 ; GFX7-NEXT:    buffer_wbinvl1_vol
13886 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13887 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13888 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13889 ; GFX7-NEXT:    s_endpgm
13890 ;
13891 ; GFX10-WGP-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13892 ; GFX10-WGP:       ; %bb.0: ; %entry
13893 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13894 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, 0
13895 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13896 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
13897 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
13898 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13899 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13900 ; GFX10-WGP-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13901 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13902 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13903 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13904 ; GFX10-WGP-NEXT:    global_store_dword v2, v0, s[0:1]
13905 ; GFX10-WGP-NEXT:    s_endpgm
13906 ;
13907 ; GFX10-CU-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13908 ; GFX10-CU:       ; %bb.0: ; %entry
13909 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13910 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, 0
13911 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13912 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
13913 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
13914 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13915 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13916 ; GFX10-CU-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13917 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13918 ; GFX10-CU-NEXT:    buffer_gl0_inv
13919 ; GFX10-CU-NEXT:    buffer_gl1_inv
13920 ; GFX10-CU-NEXT:    global_store_dword v2, v0, s[0:1]
13921 ; GFX10-CU-NEXT:    s_endpgm
13922 ;
13923 ; SKIP-CACHE-INV-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13924 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13925 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13926 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s7, 0xf000
13927 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s6, -1
13928 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13929 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13930 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s4, s0
13931 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 s5, s1
13932 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
13933 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13934 ; SKIP-CACHE-INV-NEXT:    buffer_atomic_cmpswap v[0:1], off, s[4:7], 0 offset:16 glc
13935 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13936 ; SKIP-CACHE-INV-NEXT:    buffer_store_dword v0, off, s[4:7], 0
13937 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13938 ;
13939 ; GFX90A-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13940 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13941 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13942 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13943 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13944 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13945 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbl2
13946 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13947 ; GFX90A-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13948 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13949 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_invl2
13950 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13951 ; GFX90A-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13952 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13953 ;
13954 ; GFX90A-TGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13955 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13956 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13957 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13958 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13959 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[2:3], s[2:3] op_sel:[0,1]
13960 ; GFX90A-TGSPLIT-NEXT:    buffer_wbl2
13961 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13962 ; GFX90A-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 glc
13963 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13964 ; GFX90A-TGSPLIT-NEXT:    buffer_invl2
13965 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13966 ; GFX90A-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1]
13967 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13968 ;
13969 ; GFX940-NOTTGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13970 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13971 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13972 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13973 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13974 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13975 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13976 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13977 ; GFX940-NOTTGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13978 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13979 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc0 sc1
13980 ; GFX940-NOTTGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13981 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13982 ;
13983 ; GFX940-TGSPLIT-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13984 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13985 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13986 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, 0
13987 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13988 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
13989 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc0 sc1
13990 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13991 ; GFX940-TGSPLIT-NEXT:    global_atomic_cmpswap v0, v2, v[0:1], s[0:1] offset:16 sc0 sc1
13992 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13993 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0 sc1
13994 ; GFX940-TGSPLIT-NEXT:    global_store_dword v2, v0, s[0:1] sc0 sc1
13995 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13996 ;
13997 ; GFX11-WGP-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
13998 ; GFX11-WGP:       ; %bb.0: ; %entry
13999 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
14000 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, 0
14001 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14002 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
14003 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
14004 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
14005 ; GFX11-WGP-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
14006 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
14007 ; GFX11-WGP-NEXT:    buffer_gl0_inv
14008 ; GFX11-WGP-NEXT:    buffer_gl1_inv
14009 ; GFX11-WGP-NEXT:    global_store_b32 v2, v0, s[0:1]
14010 ; GFX11-WGP-NEXT:    s_nop 0
14011 ; GFX11-WGP-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
14012 ; GFX11-WGP-NEXT:    s_endpgm
14013 ;
14014 ; GFX11-CU-LABEL: global_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
14015 ; GFX11-CU:       ; %bb.0: ; %entry
14016 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
14017 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, 0
14018 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14019 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
14020 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
14021 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
14022 ; GFX11-CU-NEXT:    global_atomic_cmpswap_b32 v0, v2, v[0:1], s[0:1] offset:16 glc
14023 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
14024 ; GFX11-CU-NEXT:    buffer_gl0_inv
14025 ; GFX11-CU-NEXT:    buffer_gl1_inv
14026 ; GFX11-CU-NEXT:    global_store_b32 v2, v0, s[0:1]
14027 ; GFX11-CU-NEXT:    s_nop 0
14028 ; GFX11-CU-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
14029 ; GFX11-CU-NEXT:    s_endpgm
14030     ptr addrspace(1) %out, i32 %in, i32 %old) {
14031 entry:
14032   %gep = getelementptr i32, ptr addrspace(1) %out, i32 4
14033   %val = cmpxchg volatile ptr addrspace(1) %gep, i32 %old, i32 %in syncscope("one-as") seq_cst seq_cst
14034   %val0 = extractvalue { i32, i1 } %val, 0
14035   store i32 %val0, ptr addrspace(1) %out, align 4
14036   ret void
14037 }
14038