llvm/test/CodeGen/AMDGPU/memory-legalizer-local-agent.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx600 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX6 %s
   3 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx700 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX7 %s
   4 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-WGP %s
   5 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-CU %s
   6 ; RUN: llc -mtriple=amdgcn-amd-amdpal -mcpu=gfx700 -amdgcn-skip-cache-invalidations -verify-machineinstrs < %s | FileCheck --check-prefixes=SKIP-CACHE-INV %s
   7 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-NOTTGSPLIT %s
   8 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-TGSPLIT %s
   9 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-NOTTGSPLIT %s
  10 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-TGSPLIT %s
  11 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-WGP %s
  12 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-CU %s
  13
  14 define amdgpu_kernel void @local_agent_unordered_load(
  15 ; GFX6-LABEL: local_agent_unordered_load:
  16 ; GFX6:       ; %bb.0: ; %entry
  17 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  18 ; GFX6-NEXT:    s_mov_b32 m0, -1
  19 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  20 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
  21 ; GFX6-NEXT:    ds_read_b32 v0, v0
  22 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
  23 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  24 ; GFX6-NEXT:    ds_write_b32 v1, v0
  25 ; GFX6-NEXT:    s_endpgm
  26 ;
  27 ; GFX7-LABEL: local_agent_unordered_load:
  28 ; GFX7:       ; %bb.0: ; %entry
  29 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  30 ; GFX7-NEXT:    s_mov_b32 m0, -1
  31 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  32 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
  33 ; GFX7-NEXT:    ds_read_b32 v0, v0
  34 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
  35 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  36 ; GFX7-NEXT:    ds_write_b32 v1, v0
  37 ; GFX7-NEXT:    s_endpgm
  38 ;
  39 ; GFX10-WGP-LABEL: local_agent_unordered_load:
  40 ; GFX10-WGP:       ; %bb.0: ; %entry
  41 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  42 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  43 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
  44 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
  45 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
  46 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  47 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
  48 ; GFX10-WGP-NEXT:    s_endpgm
  49 ;
  50 ; GFX10-CU-LABEL: local_agent_unordered_load:
  51 ; GFX10-CU:       ; %bb.0: ; %entry
  52 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  53 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  54 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
  55 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
  56 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
  57 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  58 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
  59 ; GFX10-CU-NEXT:    s_endpgm
  60 ;
  61 ; SKIP-CACHE-INV-LABEL: local_agent_unordered_load:
  62 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
  63 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
  64 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
  65 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  66 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
  67 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
  68 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
  69 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  70 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
  71 ; SKIP-CACHE-INV-NEXT:    s_endpgm
  72 ;
  73 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_unordered_load:
  74 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
  75 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  76 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  77 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  78 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
  79 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  80 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  81 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
  82 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
  83 ;
  84 ; GFX90A-TGSPLIT-LABEL: local_agent_unordered_load:
  85 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
  86 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  87 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  88 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  89 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
  90 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  91 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  92 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
  93 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
  94 ;
  95 ; GFX940-NOTTGSPLIT-LABEL: local_agent_unordered_load:
  96 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
  97 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
  98 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  99 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 100 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 101 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 102 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 103 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 104 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 105 ;
 106 ; GFX940-TGSPLIT-LABEL: local_agent_unordered_load:
 107 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 108 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 109 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 110 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 111 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 112 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 113 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 114 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 115 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 116 ;
 117 ; GFX11-WGP-LABEL: local_agent_unordered_load:
 118 ; GFX11-WGP:       ; %bb.0: ; %entry
 119 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 120 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 121 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 122 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
 123 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 124 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
 125 ; GFX11-WGP-NEXT:    s_endpgm
 126 ;
 127 ; GFX11-CU-LABEL: local_agent_unordered_load:
 128 ; GFX11-CU:       ; %bb.0: ; %entry
 129 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 130 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 131 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 132 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
 133 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 134 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
 135 ; GFX11-CU-NEXT:    s_endpgm
 136     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 137 entry:
 138   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent") unordered, align 4
 139   store i32 %val, ptr addrspace(3) %out
 140   ret void
 141 }
 142
 143 define amdgpu_kernel void @local_agent_monotonic_load(
 144 ; GFX6-LABEL: local_agent_monotonic_load:
 145 ; GFX6:       ; %bb.0: ; %entry
 146 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 147 ; GFX6-NEXT:    s_mov_b32 m0, -1
 148 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 149 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 150 ; GFX6-NEXT:    ds_read_b32 v0, v0
 151 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 152 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 153 ; GFX6-NEXT:    ds_write_b32 v1, v0
 154 ; GFX6-NEXT:    s_endpgm
 155 ;
 156 ; GFX7-LABEL: local_agent_monotonic_load:
 157 ; GFX7:       ; %bb.0: ; %entry
 158 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 159 ; GFX7-NEXT:    s_mov_b32 m0, -1
 160 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 161 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 162 ; GFX7-NEXT:    ds_read_b32 v0, v0
 163 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 164 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 165 ; GFX7-NEXT:    ds_write_b32 v1, v0
 166 ; GFX7-NEXT:    s_endpgm
 167 ;
 168 ; GFX10-WGP-LABEL: local_agent_monotonic_load:
 169 ; GFX10-WGP:       ; %bb.0: ; %entry
 170 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 171 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 172 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 173 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 174 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 175 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 176 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 177 ; GFX10-WGP-NEXT:    s_endpgm
 178 ;
 179 ; GFX10-CU-LABEL: local_agent_monotonic_load:
 180 ; GFX10-CU:       ; %bb.0: ; %entry
 181 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 182 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 183 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 184 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 185 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 186 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 187 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 188 ; GFX10-CU-NEXT:    s_endpgm
 189 ;
 190 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_load:
 191 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 192 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 193 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 194 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 195 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 196 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 197 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 198 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 199 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 200 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 201 ;
 202 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_load:
 203 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 204 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 205 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 206 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 207 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 208 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 209 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 210 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 211 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 212 ;
 213 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_load:
 214 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 215 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 216 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 217 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 218 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 219 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 220 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 221 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 222 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 223 ;
 224 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_load:
 225 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 226 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 227 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 228 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 229 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 230 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 231 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 232 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 233 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 234 ;
 235 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_load:
 236 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 237 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 238 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 239 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 240 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 241 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 242 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 243 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 244 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 245 ;
 246 ; GFX11-WGP-LABEL: local_agent_monotonic_load:
 247 ; GFX11-WGP:       ; %bb.0: ; %entry
 248 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 249 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 250 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 251 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
 252 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 253 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
 254 ; GFX11-WGP-NEXT:    s_endpgm
 255 ;
 256 ; GFX11-CU-LABEL: local_agent_monotonic_load:
 257 ; GFX11-CU:       ; %bb.0: ; %entry
 258 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 259 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 260 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 261 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
 262 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 263 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
 264 ; GFX11-CU-NEXT:    s_endpgm
 265     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 266 entry:
 267   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent") monotonic, align 4
 268   store i32 %val, ptr addrspace(3) %out
 269   ret void
 270 }
 271
 272 define amdgpu_kernel void @local_agent_acquire_load(
 273 ; GFX6-LABEL: local_agent_acquire_load:
 274 ; GFX6:       ; %bb.0: ; %entry
 275 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 276 ; GFX6-NEXT:    s_mov_b32 m0, -1
 277 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 278 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 279 ; GFX6-NEXT:    ds_read_b32 v0, v0
 280 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 281 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 282 ; GFX6-NEXT:    ds_write_b32 v1, v0
 283 ; GFX6-NEXT:    s_endpgm
 284 ;
 285 ; GFX7-LABEL: local_agent_acquire_load:
 286 ; GFX7:       ; %bb.0: ; %entry
 287 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 288 ; GFX7-NEXT:    s_mov_b32 m0, -1
 289 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 290 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 291 ; GFX7-NEXT:    ds_read_b32 v0, v0
 292 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 293 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 294 ; GFX7-NEXT:    ds_write_b32 v1, v0
 295 ; GFX7-NEXT:    s_endpgm
 296 ;
 297 ; GFX10-WGP-LABEL: local_agent_acquire_load:
 298 ; GFX10-WGP:       ; %bb.0: ; %entry
 299 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 300 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 301 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 302 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 303 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 304 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 305 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 306 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 307 ; GFX10-WGP-NEXT:    s_endpgm
 308 ;
 309 ; GFX10-CU-LABEL: local_agent_acquire_load:
 310 ; GFX10-CU:       ; %bb.0: ; %entry
 311 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 312 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 313 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 314 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 315 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 316 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 317 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 318 ; GFX10-CU-NEXT:    s_endpgm
 319 ;
 320 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_load:
 321 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 322 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 323 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 324 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 325 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 326 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 327 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 328 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 329 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 330 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 331 ;
 332 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_load:
 333 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 334 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 335 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 336 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 337 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 338 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 339 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 340 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 341 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 342 ;
 343 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_load:
 344 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 345 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 346 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 347 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 348 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 349 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 350 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 351 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 352 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 353 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 354 ;
 355 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_load:
 356 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 357 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 358 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 359 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 360 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 361 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 362 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 363 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 364 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 365 ;
 366 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_load:
 367 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 368 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 369 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 370 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 371 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 372 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
 373 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 374 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 375 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 376 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 377 ;
 378 ; GFX11-WGP-LABEL: local_agent_acquire_load:
 379 ; GFX11-WGP:       ; %bb.0: ; %entry
 380 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 381 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 382 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 383 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
 384 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 385 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 386 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
 387 ; GFX11-WGP-NEXT:    s_endpgm
 388 ;
 389 ; GFX11-CU-LABEL: local_agent_acquire_load:
 390 ; GFX11-CU:       ; %bb.0: ; %entry
 391 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 392 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 393 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 394 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
 395 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 396 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
 397 ; GFX11-CU-NEXT:    s_endpgm
 398     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 399 entry:
 400   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent") acquire, align 4
 401   store i32 %val, ptr addrspace(3) %out
 402   ret void
 403 }
 404
 405 define amdgpu_kernel void @local_agent_seq_cst_load(
 406 ; GFX6-LABEL: local_agent_seq_cst_load:
 407 ; GFX6:       ; %bb.0: ; %entry
 408 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 409 ; GFX6-NEXT:    s_mov_b32 m0, -1
 410 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 411 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 412 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 413 ; GFX6-NEXT:    ds_read_b32 v0, v0
 414 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 415 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 416 ; GFX6-NEXT:    ds_write_b32 v1, v0
 417 ; GFX6-NEXT:    s_endpgm
 418 ;
 419 ; GFX7-LABEL: local_agent_seq_cst_load:
 420 ; GFX7:       ; %bb.0: ; %entry
 421 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 422 ; GFX7-NEXT:    s_mov_b32 m0, -1
 423 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 424 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 425 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 426 ; GFX7-NEXT:    ds_read_b32 v0, v0
 427 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 428 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 429 ; GFX7-NEXT:    ds_write_b32 v1, v0
 430 ; GFX7-NEXT:    s_endpgm
 431 ;
 432 ; GFX10-WGP-LABEL: local_agent_seq_cst_load:
 433 ; GFX10-WGP:       ; %bb.0: ; %entry
 434 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 435 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 436 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 437 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 438 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 439 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 440 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 441 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 442 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 443 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 444 ; GFX10-WGP-NEXT:    s_endpgm
 445 ;
 446 ; GFX10-CU-LABEL: local_agent_seq_cst_load:
 447 ; GFX10-CU:       ; %bb.0: ; %entry
 448 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 449 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 450 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 451 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 452 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 453 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 454 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 455 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 456 ; GFX10-CU-NEXT:    s_endpgm
 457 ;
 458 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_load:
 459 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 460 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 461 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 462 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 463 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 464 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 465 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 466 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 467 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 468 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 469 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 470 ;
 471 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_load:
 472 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 473 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 474 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 475 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 476 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 477 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 478 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 479 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 480 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 481 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 482 ;
 483 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_load:
 484 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 485 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 486 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 487 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 488 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 489 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 490 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 491 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 492 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 493 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 494 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 495 ;
 496 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_load:
 497 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 498 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 499 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 500 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 501 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 502 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 503 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 504 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 505 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 506 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 507 ;
 508 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_load:
 509 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 510 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 511 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 512 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 513 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 514 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 515 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
 516 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 517 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 518 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 519 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 520 ;
 521 ; GFX11-WGP-LABEL: local_agent_seq_cst_load:
 522 ; GFX11-WGP:       ; %bb.0: ; %entry
 523 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 524 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 525 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 526 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 527 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 528 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
 529 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 530 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 531 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
 532 ; GFX11-WGP-NEXT:    s_endpgm
 533 ;
 534 ; GFX11-CU-LABEL: local_agent_seq_cst_load:
 535 ; GFX11-CU:       ; %bb.0: ; %entry
 536 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 537 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 538 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 539 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 540 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
 541 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 542 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
 543 ; GFX11-CU-NEXT:    s_endpgm
 544     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 545 entry:
 546   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent") seq_cst, align 4
 547   store i32 %val, ptr addrspace(3) %out
 548   ret void
 549 }
 550
 551 define amdgpu_kernel void @local_agent_unordered_store(
 552 ; GFX6-LABEL: local_agent_unordered_store:
 553 ; GFX6:       ; %bb.0: ; %entry
 554 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 555 ; GFX6-NEXT:    s_mov_b32 m0, -1
 556 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 557 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 558 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 559 ; GFX6-NEXT:    ds_write_b32 v0, v1
 560 ; GFX6-NEXT:    s_endpgm
 561 ;
 562 ; GFX7-LABEL: local_agent_unordered_store:
 563 ; GFX7:       ; %bb.0: ; %entry
 564 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 565 ; GFX7-NEXT:    s_mov_b32 m0, -1
 566 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 567 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 568 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 569 ; GFX7-NEXT:    ds_write_b32 v0, v1
 570 ; GFX7-NEXT:    s_endpgm
 571 ;
 572 ; GFX10-WGP-LABEL: local_agent_unordered_store:
 573 ; GFX10-WGP:       ; %bb.0: ; %entry
 574 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 575 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 576 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 577 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 578 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 579 ; GFX10-WGP-NEXT:    s_endpgm
 580 ;
 581 ; GFX10-CU-LABEL: local_agent_unordered_store:
 582 ; GFX10-CU:       ; %bb.0: ; %entry
 583 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 584 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 585 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 586 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 587 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 588 ; GFX10-CU-NEXT:    s_endpgm
 589 ;
 590 ; SKIP-CACHE-INV-LABEL: local_agent_unordered_store:
 591 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 592 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 593 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 594 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 595 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 596 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 597 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 598 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 599 ;
 600 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_unordered_store:
 601 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 602 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 603 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 604 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 605 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 606 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 607 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 608 ;
 609 ; GFX90A-TGSPLIT-LABEL: local_agent_unordered_store:
 610 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 611 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 612 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 613 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 614 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 615 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 616 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 617 ;
 618 ; GFX940-NOTTGSPLIT-LABEL: local_agent_unordered_store:
 619 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 620 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 621 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 622 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 623 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 624 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 625 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 626 ;
 627 ; GFX940-TGSPLIT-LABEL: local_agent_unordered_store:
 628 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 629 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 630 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 631 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 632 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 633 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 634 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 635 ;
 636 ; GFX11-WGP-LABEL: local_agent_unordered_store:
 637 ; GFX11-WGP:       ; %bb.0: ; %entry
 638 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 639 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 640 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 641 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 642 ; GFX11-WGP-NEXT:    s_endpgm
 643 ;
 644 ; GFX11-CU-LABEL: local_agent_unordered_store:
 645 ; GFX11-CU:       ; %bb.0: ; %entry
 646 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 647 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 648 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 649 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 650 ; GFX11-CU-NEXT:    s_endpgm
 651     i32 %in, ptr addrspace(3) %out) {
 652 entry:
 653   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent") unordered, align 4
 654   ret void
 655 }
 656
 657 define amdgpu_kernel void @local_agent_monotonic_store(
 658 ; GFX6-LABEL: local_agent_monotonic_store:
 659 ; GFX6:       ; %bb.0: ; %entry
 660 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 661 ; GFX6-NEXT:    s_mov_b32 m0, -1
 662 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 663 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 664 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 665 ; GFX6-NEXT:    ds_write_b32 v0, v1
 666 ; GFX6-NEXT:    s_endpgm
 667 ;
 668 ; GFX7-LABEL: local_agent_monotonic_store:
 669 ; GFX7:       ; %bb.0: ; %entry
 670 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 671 ; GFX7-NEXT:    s_mov_b32 m0, -1
 672 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 673 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 674 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 675 ; GFX7-NEXT:    ds_write_b32 v0, v1
 676 ; GFX7-NEXT:    s_endpgm
 677 ;
 678 ; GFX10-WGP-LABEL: local_agent_monotonic_store:
 679 ; GFX10-WGP:       ; %bb.0: ; %entry
 680 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 681 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 682 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 683 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 684 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 685 ; GFX10-WGP-NEXT:    s_endpgm
 686 ;
 687 ; GFX10-CU-LABEL: local_agent_monotonic_store:
 688 ; GFX10-CU:       ; %bb.0: ; %entry
 689 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 690 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 691 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 692 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 693 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 694 ; GFX10-CU-NEXT:    s_endpgm
 695 ;
 696 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_store:
 697 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 698 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 699 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 700 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 701 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 702 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 703 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 704 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 705 ;
 706 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_store:
 707 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 708 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 709 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 710 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 711 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 712 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 713 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 714 ;
 715 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_store:
 716 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 717 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 718 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 719 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 720 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 721 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 722 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 723 ;
 724 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_store:
 725 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 726 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 727 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 728 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 729 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 730 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 731 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 732 ;
 733 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_store:
 734 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 735 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 736 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 737 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 738 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 739 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 740 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 741 ;
 742 ; GFX11-WGP-LABEL: local_agent_monotonic_store:
 743 ; GFX11-WGP:       ; %bb.0: ; %entry
 744 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 745 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 746 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 747 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 748 ; GFX11-WGP-NEXT:    s_endpgm
 749 ;
 750 ; GFX11-CU-LABEL: local_agent_monotonic_store:
 751 ; GFX11-CU:       ; %bb.0: ; %entry
 752 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 753 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 754 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 755 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 756 ; GFX11-CU-NEXT:    s_endpgm
 757     i32 %in, ptr addrspace(3) %out) {
 758 entry:
 759   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent") monotonic, align 4
 760   ret void
 761 }
 762
 763 define amdgpu_kernel void @local_agent_release_store(
 764 ; GFX6-LABEL: local_agent_release_store:
 765 ; GFX6:       ; %bb.0: ; %entry
 766 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 767 ; GFX6-NEXT:    s_mov_b32 m0, -1
 768 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 769 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 770 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 771 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 772 ; GFX6-NEXT:    ds_write_b32 v0, v1
 773 ; GFX6-NEXT:    s_endpgm
 774 ;
 775 ; GFX7-LABEL: local_agent_release_store:
 776 ; GFX7:       ; %bb.0: ; %entry
 777 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 778 ; GFX7-NEXT:    s_mov_b32 m0, -1
 779 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 780 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 781 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 782 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 783 ; GFX7-NEXT:    ds_write_b32 v0, v1
 784 ; GFX7-NEXT:    s_endpgm
 785 ;
 786 ; GFX10-WGP-LABEL: local_agent_release_store:
 787 ; GFX10-WGP:       ; %bb.0: ; %entry
 788 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 789 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 790 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 791 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 792 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 793 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 794 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 795 ; GFX10-WGP-NEXT:    s_endpgm
 796 ;
 797 ; GFX10-CU-LABEL: local_agent_release_store:
 798 ; GFX10-CU:       ; %bb.0: ; %entry
 799 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 800 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 801 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 802 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 803 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 804 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 805 ; GFX10-CU-NEXT:    s_endpgm
 806 ;
 807 ; SKIP-CACHE-INV-LABEL: local_agent_release_store:
 808 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 809 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 810 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 811 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 812 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 813 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 814 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 815 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 816 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 817 ;
 818 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_store:
 819 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 820 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 821 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 822 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 823 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 824 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 825 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 826 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 827 ;
 828 ; GFX90A-TGSPLIT-LABEL: local_agent_release_store:
 829 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 830 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 831 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 832 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 833 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 834 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 835 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 836 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 837 ;
 838 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_store:
 839 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 840 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 841 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 842 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 843 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 844 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 845 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 846 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 847 ;
 848 ; GFX940-TGSPLIT-LABEL: local_agent_release_store:
 849 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 850 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 851 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 852 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 853 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 854 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 855 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 856 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 857 ;
 858 ; GFX11-WGP-LABEL: local_agent_release_store:
 859 ; GFX11-WGP:       ; %bb.0: ; %entry
 860 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 861 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 862 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 863 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 864 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 865 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 866 ; GFX11-WGP-NEXT:    s_endpgm
 867 ;
 868 ; GFX11-CU-LABEL: local_agent_release_store:
 869 ; GFX11-CU:       ; %bb.0: ; %entry
 870 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 871 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 872 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 873 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 874 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 875 ; GFX11-CU-NEXT:    s_endpgm
 876     i32 %in, ptr addrspace(3) %out) {
 877 entry:
 878   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent") release, align 4
 879   ret void
 880 }
 881
 882 define amdgpu_kernel void @local_agent_seq_cst_store(
 883 ; GFX6-LABEL: local_agent_seq_cst_store:
 884 ; GFX6:       ; %bb.0: ; %entry
 885 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 886 ; GFX6-NEXT:    s_mov_b32 m0, -1
 887 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 888 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 889 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 890 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 891 ; GFX6-NEXT:    ds_write_b32 v0, v1
 892 ; GFX6-NEXT:    s_endpgm
 893 ;
 894 ; GFX7-LABEL: local_agent_seq_cst_store:
 895 ; GFX7:       ; %bb.0: ; %entry
 896 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 897 ; GFX7-NEXT:    s_mov_b32 m0, -1
 898 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 899 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 900 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 901 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 902 ; GFX7-NEXT:    ds_write_b32 v0, v1
 903 ; GFX7-NEXT:    s_endpgm
 904 ;
 905 ; GFX10-WGP-LABEL: local_agent_seq_cst_store:
 906 ; GFX10-WGP:       ; %bb.0: ; %entry
 907 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 908 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 909 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 910 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 911 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 912 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 913 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 914 ; GFX10-WGP-NEXT:    s_endpgm
 915 ;
 916 ; GFX10-CU-LABEL: local_agent_seq_cst_store:
 917 ; GFX10-CU:       ; %bb.0: ; %entry
 918 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 919 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 920 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 921 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 922 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 923 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 924 ; GFX10-CU-NEXT:    s_endpgm
 925 ;
 926 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_store:
 927 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 928 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 929 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 930 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 931 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 932 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 933 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 934 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 935 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 936 ;
 937 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_store:
 938 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 939 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 940 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 941 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 942 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 943 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 944 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 945 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 946 ;
 947 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_store:
 948 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 949 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 950 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 951 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 952 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 953 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 954 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 955 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 956 ;
 957 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_store:
 958 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 959 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 960 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 961 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 962 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 963 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 964 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 965 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 966 ;
 967 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_store:
 968 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 969 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
 970 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 971 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 972 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 973 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 974 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 975 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 976 ;
 977 ; GFX11-WGP-LABEL: local_agent_seq_cst_store:
 978 ; GFX11-WGP:       ; %bb.0: ; %entry
 979 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 980 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 981 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 982 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 983 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 984 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 985 ; GFX11-WGP-NEXT:    s_endpgm
 986 ;
 987 ; GFX11-CU-LABEL: local_agent_seq_cst_store:
 988 ; GFX11-CU:       ; %bb.0: ; %entry
 989 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
 990 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 991 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
 992 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 993 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 994 ; GFX11-CU-NEXT:    s_endpgm
 995     i32 %in, ptr addrspace(3) %out) {
 996 entry:
 997   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent") seq_cst, align 4
 998   ret void
 999 }
1000
1001 define amdgpu_kernel void @local_agent_monotonic_atomicrmw(
1002 ; GFX6-LABEL: local_agent_monotonic_atomicrmw:
1003 ; GFX6:       ; %bb.0: ; %entry
1004 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1005 ; GFX6-NEXT:    s_mov_b32 m0, -1
1006 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1007 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1008 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1009 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1010 ; GFX6-NEXT:    s_endpgm
1011 ;
1012 ; GFX7-LABEL: local_agent_monotonic_atomicrmw:
1013 ; GFX7:       ; %bb.0: ; %entry
1014 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1015 ; GFX7-NEXT:    s_mov_b32 m0, -1
1016 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1017 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1018 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1019 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1020 ; GFX7-NEXT:    s_endpgm
1021 ;
1022 ; GFX10-WGP-LABEL: local_agent_monotonic_atomicrmw:
1023 ; GFX10-WGP:       ; %bb.0: ; %entry
1024 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1025 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1026 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1027 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1028 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1029 ; GFX10-WGP-NEXT:    s_endpgm
1030 ;
1031 ; GFX10-CU-LABEL: local_agent_monotonic_atomicrmw:
1032 ; GFX10-CU:       ; %bb.0: ; %entry
1033 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1034 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1035 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1036 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1037 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1038 ; GFX10-CU-NEXT:    s_endpgm
1039 ;
1040 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_atomicrmw:
1041 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1042 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1043 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1044 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1045 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1046 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1047 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1048 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1049 ;
1050 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_atomicrmw:
1051 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1052 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1053 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1054 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1055 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1056 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1057 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1058 ;
1059 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_atomicrmw:
1060 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1061 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1062 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1063 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1064 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1065 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1066 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1067 ;
1068 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_atomicrmw:
1069 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1070 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1071 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1072 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1073 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1074 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1075 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1076 ;
1077 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_atomicrmw:
1078 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1079 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1080 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1081 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1082 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1083 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1084 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1085 ;
1086 ; GFX11-WGP-LABEL: local_agent_monotonic_atomicrmw:
1087 ; GFX11-WGP:       ; %bb.0: ; %entry
1088 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1089 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1090 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1091 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1092 ; GFX11-WGP-NEXT:    s_endpgm
1093 ;
1094 ; GFX11-CU-LABEL: local_agent_monotonic_atomicrmw:
1095 ; GFX11-CU:       ; %bb.0: ; %entry
1096 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1097 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1098 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1099 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1100 ; GFX11-CU-NEXT:    s_endpgm
1101     ptr addrspace(3) %out, i32 %in) {
1102 entry:
1103   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") monotonic
1104   ret void
1105 }
1106
1107 define amdgpu_kernel void @local_agent_acquire_atomicrmw(
1108 ; GFX6-LABEL: local_agent_acquire_atomicrmw:
1109 ; GFX6:       ; %bb.0: ; %entry
1110 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1111 ; GFX6-NEXT:    s_mov_b32 m0, -1
1112 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1113 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1114 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1115 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1116 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1117 ; GFX6-NEXT:    s_endpgm
1118 ;
1119 ; GFX7-LABEL: local_agent_acquire_atomicrmw:
1120 ; GFX7:       ; %bb.0: ; %entry
1121 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1122 ; GFX7-NEXT:    s_mov_b32 m0, -1
1123 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1124 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1125 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1126 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1127 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1128 ; GFX7-NEXT:    s_endpgm
1129 ;
1130 ; GFX10-WGP-LABEL: local_agent_acquire_atomicrmw:
1131 ; GFX10-WGP:       ; %bb.0: ; %entry
1132 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1133 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1134 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1135 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1136 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1137 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1138 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1139 ; GFX10-WGP-NEXT:    s_endpgm
1140 ;
1141 ; GFX10-CU-LABEL: local_agent_acquire_atomicrmw:
1142 ; GFX10-CU:       ; %bb.0: ; %entry
1143 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1144 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1145 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1146 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1147 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1148 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1149 ; GFX10-CU-NEXT:    s_endpgm
1150 ;
1151 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_atomicrmw:
1152 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1153 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1154 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1155 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1156 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1157 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1158 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1159 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1160 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1161 ;
1162 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_atomicrmw:
1163 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1164 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1165 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1166 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1167 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1168 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1169 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1170 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1171 ;
1172 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_atomicrmw:
1173 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1174 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1175 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1176 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1177 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1178 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1179 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1180 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1181 ;
1182 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_atomicrmw:
1183 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1184 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1185 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1186 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1187 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1188 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1189 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1190 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1191 ;
1192 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_atomicrmw:
1193 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1194 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1195 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1196 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1197 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1198 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1199 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
1200 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1201 ;
1202 ; GFX11-WGP-LABEL: local_agent_acquire_atomicrmw:
1203 ; GFX11-WGP:       ; %bb.0: ; %entry
1204 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1205 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1206 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1207 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1208 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1209 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1210 ; GFX11-WGP-NEXT:    s_endpgm
1211 ;
1212 ; GFX11-CU-LABEL: local_agent_acquire_atomicrmw:
1213 ; GFX11-CU:       ; %bb.0: ; %entry
1214 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1215 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1216 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1217 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1218 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1219 ; GFX11-CU-NEXT:    s_endpgm
1220     ptr addrspace(3) %out, i32 %in) {
1221 entry:
1222   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") acquire
1223   ret void
1224 }
1225
1226 define amdgpu_kernel void @local_agent_release_atomicrmw(
1227 ; GFX6-LABEL: local_agent_release_atomicrmw:
1228 ; GFX6:       ; %bb.0: ; %entry
1229 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1230 ; GFX6-NEXT:    s_mov_b32 m0, -1
1231 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1232 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1233 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1234 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1235 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1236 ; GFX6-NEXT:    s_endpgm
1237 ;
1238 ; GFX7-LABEL: local_agent_release_atomicrmw:
1239 ; GFX7:       ; %bb.0: ; %entry
1240 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1241 ; GFX7-NEXT:    s_mov_b32 m0, -1
1242 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1243 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1244 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1245 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1246 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1247 ; GFX7-NEXT:    s_endpgm
1248 ;
1249 ; GFX10-WGP-LABEL: local_agent_release_atomicrmw:
1250 ; GFX10-WGP:       ; %bb.0: ; %entry
1251 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1252 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1253 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1254 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1255 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1256 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1257 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1258 ; GFX10-WGP-NEXT:    s_endpgm
1259 ;
1260 ; GFX10-CU-LABEL: local_agent_release_atomicrmw:
1261 ; GFX10-CU:       ; %bb.0: ; %entry
1262 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1263 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1264 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1265 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1266 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1267 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1268 ; GFX10-CU-NEXT:    s_endpgm
1269 ;
1270 ; SKIP-CACHE-INV-LABEL: local_agent_release_atomicrmw:
1271 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1272 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1273 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1274 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1275 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1276 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1277 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1278 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1279 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1280 ;
1281 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_atomicrmw:
1282 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1283 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1284 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1285 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1286 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1287 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1288 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1289 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1290 ;
1291 ; GFX90A-TGSPLIT-LABEL: local_agent_release_atomicrmw:
1292 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1293 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1294 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1295 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1296 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1297 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1298 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1299 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1300 ;
1301 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_atomicrmw:
1302 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1303 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1304 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1305 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1306 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1307 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1308 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1309 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1310 ;
1311 ; GFX940-TGSPLIT-LABEL: local_agent_release_atomicrmw:
1312 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1313 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1314 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1315 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1316 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1317 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1318 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1319 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1320 ;
1321 ; GFX11-WGP-LABEL: local_agent_release_atomicrmw:
1322 ; GFX11-WGP:       ; %bb.0: ; %entry
1323 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1324 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1325 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1326 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1327 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1328 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1329 ; GFX11-WGP-NEXT:    s_endpgm
1330 ;
1331 ; GFX11-CU-LABEL: local_agent_release_atomicrmw:
1332 ; GFX11-CU:       ; %bb.0: ; %entry
1333 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1334 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1335 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1336 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1337 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1338 ; GFX11-CU-NEXT:    s_endpgm
1339     ptr addrspace(3) %out, i32 %in) {
1340 entry:
1341   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") release
1342   ret void
1343 }
1344
1345 define amdgpu_kernel void @local_agent_acq_rel_atomicrmw(
1346 ; GFX6-LABEL: local_agent_acq_rel_atomicrmw:
1347 ; GFX6:       ; %bb.0: ; %entry
1348 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1349 ; GFX6-NEXT:    s_mov_b32 m0, -1
1350 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1351 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1352 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1353 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1354 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1355 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1356 ; GFX6-NEXT:    s_endpgm
1357 ;
1358 ; GFX7-LABEL: local_agent_acq_rel_atomicrmw:
1359 ; GFX7:       ; %bb.0: ; %entry
1360 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1361 ; GFX7-NEXT:    s_mov_b32 m0, -1
1362 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1363 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1364 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1365 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1366 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1367 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1368 ; GFX7-NEXT:    s_endpgm
1369 ;
1370 ; GFX10-WGP-LABEL: local_agent_acq_rel_atomicrmw:
1371 ; GFX10-WGP:       ; %bb.0: ; %entry
1372 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1373 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1374 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1375 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1376 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1377 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1378 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1379 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1380 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1381 ; GFX10-WGP-NEXT:    s_endpgm
1382 ;
1383 ; GFX10-CU-LABEL: local_agent_acq_rel_atomicrmw:
1384 ; GFX10-CU:       ; %bb.0: ; %entry
1385 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1386 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1387 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1388 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1389 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1390 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1391 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1392 ; GFX10-CU-NEXT:    s_endpgm
1393 ;
1394 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_atomicrmw:
1395 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1396 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1397 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1398 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1399 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1400 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1401 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1402 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1403 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1404 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1405 ;
1406 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_atomicrmw:
1407 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1408 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1409 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1410 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1411 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1412 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1413 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1414 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1415 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1416 ;
1417 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_atomicrmw:
1418 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1419 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1420 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1421 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1422 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1423 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1424 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1425 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1426 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1427 ;
1428 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_atomicrmw:
1429 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1430 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1431 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1432 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1433 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1434 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1435 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1436 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1437 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1438 ;
1439 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_atomicrmw:
1440 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1441 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1442 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1443 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1444 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1445 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1446 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1447 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
1448 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1449 ;
1450 ; GFX11-WGP-LABEL: local_agent_acq_rel_atomicrmw:
1451 ; GFX11-WGP:       ; %bb.0: ; %entry
1452 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1453 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1454 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1455 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1456 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1457 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1458 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1459 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1460 ; GFX11-WGP-NEXT:    s_endpgm
1461 ;
1462 ; GFX11-CU-LABEL: local_agent_acq_rel_atomicrmw:
1463 ; GFX11-CU:       ; %bb.0: ; %entry
1464 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1465 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1466 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1467 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1468 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1469 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1470 ; GFX11-CU-NEXT:    s_endpgm
1471     ptr addrspace(3) %out, i32 %in) {
1472 entry:
1473   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") acq_rel
1474   ret void
1475 }
1476
1477 define amdgpu_kernel void @local_agent_seq_cst_atomicrmw(
1478 ; GFX6-LABEL: local_agent_seq_cst_atomicrmw:
1479 ; GFX6:       ; %bb.0: ; %entry
1480 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1481 ; GFX6-NEXT:    s_mov_b32 m0, -1
1482 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1483 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1484 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1485 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1486 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1487 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1488 ; GFX6-NEXT:    s_endpgm
1489 ;
1490 ; GFX7-LABEL: local_agent_seq_cst_atomicrmw:
1491 ; GFX7:       ; %bb.0: ; %entry
1492 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1493 ; GFX7-NEXT:    s_mov_b32 m0, -1
1494 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1495 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1496 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1497 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1498 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1499 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1500 ; GFX7-NEXT:    s_endpgm
1501 ;
1502 ; GFX10-WGP-LABEL: local_agent_seq_cst_atomicrmw:
1503 ; GFX10-WGP:       ; %bb.0: ; %entry
1504 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1505 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1506 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1507 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1508 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1509 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1510 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1511 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1512 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1513 ; GFX10-WGP-NEXT:    s_endpgm
1514 ;
1515 ; GFX10-CU-LABEL: local_agent_seq_cst_atomicrmw:
1516 ; GFX10-CU:       ; %bb.0: ; %entry
1517 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1518 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1519 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1520 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1521 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1522 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1523 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1524 ; GFX10-CU-NEXT:    s_endpgm
1525 ;
1526 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_atomicrmw:
1527 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1528 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1529 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1530 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1531 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1532 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1533 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1534 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1535 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1536 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1537 ;
1538 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_atomicrmw:
1539 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1540 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1541 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1542 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1543 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1544 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1545 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1546 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1547 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1548 ;
1549 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_atomicrmw:
1550 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1551 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1552 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1553 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1554 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1555 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1556 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1557 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1558 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1559 ;
1560 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_atomicrmw:
1561 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1562 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1563 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1564 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1565 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1566 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1567 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1568 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1569 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1570 ;
1571 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_atomicrmw:
1572 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1573 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1574 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1575 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1576 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1577 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1578 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1579 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
1580 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1581 ;
1582 ; GFX11-WGP-LABEL: local_agent_seq_cst_atomicrmw:
1583 ; GFX11-WGP:       ; %bb.0: ; %entry
1584 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1585 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1586 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1587 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1588 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1589 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1590 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1591 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1592 ; GFX11-WGP-NEXT:    s_endpgm
1593 ;
1594 ; GFX11-CU-LABEL: local_agent_seq_cst_atomicrmw:
1595 ; GFX11-CU:       ; %bb.0: ; %entry
1596 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1597 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1598 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1599 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1600 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1601 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1602 ; GFX11-CU-NEXT:    s_endpgm
1603     ptr addrspace(3) %out, i32 %in) {
1604 entry:
1605   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") seq_cst
1606   ret void
1607 }
1608
1609 define amdgpu_kernel void @local_agent_acquire_ret_atomicrmw(
1610 ; GFX6-LABEL: local_agent_acquire_ret_atomicrmw:
1611 ; GFX6:       ; %bb.0: ; %entry
1612 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1613 ; GFX6-NEXT:    s_mov_b32 m0, -1
1614 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1615 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1616 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1617 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1618 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1619 ; GFX6-NEXT:    ds_write_b32 v0, v1
1620 ; GFX6-NEXT:    s_endpgm
1621 ;
1622 ; GFX7-LABEL: local_agent_acquire_ret_atomicrmw:
1623 ; GFX7:       ; %bb.0: ; %entry
1624 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1625 ; GFX7-NEXT:    s_mov_b32 m0, -1
1626 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1627 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1628 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1629 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1630 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1631 ; GFX7-NEXT:    ds_write_b32 v0, v1
1632 ; GFX7-NEXT:    s_endpgm
1633 ;
1634 ; GFX10-WGP-LABEL: local_agent_acquire_ret_atomicrmw:
1635 ; GFX10-WGP:       ; %bb.0: ; %entry
1636 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1637 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1638 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1639 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1640 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1641 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1642 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1643 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1644 ; GFX10-WGP-NEXT:    s_endpgm
1645 ;
1646 ; GFX10-CU-LABEL: local_agent_acquire_ret_atomicrmw:
1647 ; GFX10-CU:       ; %bb.0: ; %entry
1648 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1649 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1650 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1651 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1652 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1653 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1654 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1655 ; GFX10-CU-NEXT:    s_endpgm
1656 ;
1657 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_ret_atomicrmw:
1658 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1659 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1660 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1661 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1662 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1663 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1664 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1665 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1666 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1667 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1668 ;
1669 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_ret_atomicrmw:
1670 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1671 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1672 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1673 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1674 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1675 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1676 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1677 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1678 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1679 ;
1680 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_ret_atomicrmw:
1681 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1682 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1683 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1684 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1685 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1686 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1687 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1688 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1689 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1690 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1691 ;
1692 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_ret_atomicrmw:
1693 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1694 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1695 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1696 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1697 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1698 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1699 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1700 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1701 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1702 ;
1703 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_ret_atomicrmw:
1704 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1705 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1706 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1707 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1708 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1709 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1710 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
1711 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1712 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1713 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1714 ;
1715 ; GFX11-WGP-LABEL: local_agent_acquire_ret_atomicrmw:
1716 ; GFX11-WGP:       ; %bb.0: ; %entry
1717 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1718 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1719 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1720 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
1721 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1722 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1723 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
1724 ; GFX11-WGP-NEXT:    s_endpgm
1725 ;
1726 ; GFX11-CU-LABEL: local_agent_acquire_ret_atomicrmw:
1727 ; GFX11-CU:       ; %bb.0: ; %entry
1728 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1729 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1730 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1731 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
1732 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1733 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
1734 ; GFX11-CU-NEXT:    s_endpgm
1735     ptr addrspace(3) %out, i32 %in) {
1736 entry:
1737   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") acquire
1738   store i32 %val, ptr addrspace(3) %out, align 4
1739   ret void
1740 }
1741
1742 define amdgpu_kernel void @local_agent_acq_rel_ret_atomicrmw(
1743 ; GFX6-LABEL: local_agent_acq_rel_ret_atomicrmw:
1744 ; GFX6:       ; %bb.0: ; %entry
1745 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1746 ; GFX6-NEXT:    s_mov_b32 m0, -1
1747 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1748 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1749 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1750 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1751 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1752 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1753 ; GFX6-NEXT:    ds_write_b32 v0, v1
1754 ; GFX6-NEXT:    s_endpgm
1755 ;
1756 ; GFX7-LABEL: local_agent_acq_rel_ret_atomicrmw:
1757 ; GFX7:       ; %bb.0: ; %entry
1758 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1759 ; GFX7-NEXT:    s_mov_b32 m0, -1
1760 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1761 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1762 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1763 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1764 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1765 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1766 ; GFX7-NEXT:    ds_write_b32 v0, v1
1767 ; GFX7-NEXT:    s_endpgm
1768 ;
1769 ; GFX10-WGP-LABEL: local_agent_acq_rel_ret_atomicrmw:
1770 ; GFX10-WGP:       ; %bb.0: ; %entry
1771 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1772 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1773 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1774 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1775 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1776 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1777 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1778 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1779 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1780 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1781 ; GFX10-WGP-NEXT:    s_endpgm
1782 ;
1783 ; GFX10-CU-LABEL: local_agent_acq_rel_ret_atomicrmw:
1784 ; GFX10-CU:       ; %bb.0: ; %entry
1785 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1786 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1787 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1788 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1789 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1790 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1791 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1792 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1793 ; GFX10-CU-NEXT:    s_endpgm
1794 ;
1795 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_ret_atomicrmw:
1796 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1797 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1798 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1799 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1800 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1801 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1802 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1803 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1805 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1806 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1807 ;
1808 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_ret_atomicrmw:
1809 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1810 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1811 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1812 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1813 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1814 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1815 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1816 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1817 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1818 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1819 ;
1820 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_ret_atomicrmw:
1821 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1822 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1823 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1824 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1825 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1826 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1827 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1828 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1829 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1830 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1831 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1832 ;
1833 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_ret_atomicrmw:
1834 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1835 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1836 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1837 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1838 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1839 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1840 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1841 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1842 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1843 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1844 ;
1845 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_ret_atomicrmw:
1846 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1847 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1848 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1849 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1850 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1851 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1852 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1853 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
1854 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1855 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1856 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1857 ;
1858 ; GFX11-WGP-LABEL: local_agent_acq_rel_ret_atomicrmw:
1859 ; GFX11-WGP:       ; %bb.0: ; %entry
1860 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1861 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1862 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1863 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1864 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1865 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
1866 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1867 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1868 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
1869 ; GFX11-WGP-NEXT:    s_endpgm
1870 ;
1871 ; GFX11-CU-LABEL: local_agent_acq_rel_ret_atomicrmw:
1872 ; GFX11-CU:       ; %bb.0: ; %entry
1873 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
1874 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1875 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1876 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1877 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
1878 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1879 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
1880 ; GFX11-CU-NEXT:    s_endpgm
1881     ptr addrspace(3) %out, i32 %in) {
1882 entry:
1883   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") acq_rel
1884   store i32 %val, ptr addrspace(3) %out, align 4
1885   ret void
1886 }
1887
1888 define amdgpu_kernel void @local_agent_seq_cst_ret_atomicrmw(
1889 ; GFX6-LABEL: local_agent_seq_cst_ret_atomicrmw:
1890 ; GFX6:       ; %bb.0: ; %entry
1891 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1892 ; GFX6-NEXT:    s_mov_b32 m0, -1
1893 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1894 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1895 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1896 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1897 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1898 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1899 ; GFX6-NEXT:    ds_write_b32 v0, v1
1900 ; GFX6-NEXT:    s_endpgm
1901 ;
1902 ; GFX7-LABEL: local_agent_seq_cst_ret_atomicrmw:
1903 ; GFX7:       ; %bb.0: ; %entry
1904 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1905 ; GFX7-NEXT:    s_mov_b32 m0, -1
1906 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1907 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1908 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1909 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1910 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1911 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1912 ; GFX7-NEXT:    ds_write_b32 v0, v1
1913 ; GFX7-NEXT:    s_endpgm
1914 ;
1915 ; GFX10-WGP-LABEL: local_agent_seq_cst_ret_atomicrmw:
1916 ; GFX10-WGP:       ; %bb.0: ; %entry
1917 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1918 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1919 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1920 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1921 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1922 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1923 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1924 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1925 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1926 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1927 ; GFX10-WGP-NEXT:    s_endpgm
1928 ;
1929 ; GFX10-CU-LABEL: local_agent_seq_cst_ret_atomicrmw:
1930 ; GFX10-CU:       ; %bb.0: ; %entry
1931 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1932 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1933 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1934 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1935 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1936 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1937 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1938 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1939 ; GFX10-CU-NEXT:    s_endpgm
1940 ;
1941 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_ret_atomicrmw:
1942 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1943 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1944 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1945 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1946 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1947 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1948 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1949 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1950 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1951 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1952 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1953 ;
1954 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_ret_atomicrmw:
1955 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1956 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1957 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1958 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1959 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1960 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1961 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1962 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1963 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1964 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1965 ;
1966 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_ret_atomicrmw:
1967 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1968 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1969 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1970 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1971 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1972 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1973 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1974 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1975 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1976 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1977 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1978 ;
1979 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_ret_atomicrmw:
1980 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1981 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1982 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1983 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1984 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1985 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1986 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1987 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1988 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1989 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1990 ;
1991 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_ret_atomicrmw:
1992 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1993 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
1994 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1995 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1996 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1997 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1998 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1999 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2000 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2001 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2002 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2003 ;
2004 ; GFX11-WGP-LABEL: local_agent_seq_cst_ret_atomicrmw:
2005 ; GFX11-WGP:       ; %bb.0: ; %entry
2006 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2007 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2008 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2009 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2010 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2011 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2012 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2013 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2014 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
2015 ; GFX11-WGP-NEXT:    s_endpgm
2016 ;
2017 ; GFX11-CU-LABEL: local_agent_seq_cst_ret_atomicrmw:
2018 ; GFX11-CU:       ; %bb.0: ; %entry
2019 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
2020 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2021 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2022 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2023 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2024 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2025 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
2026 ; GFX11-CU-NEXT:    s_endpgm
2027     ptr addrspace(3) %out, i32 %in) {
2028 entry:
2029   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent") seq_cst
2030   store i32 %val, ptr addrspace(3) %out, align 4
2031   ret void
2032 }
2033
2034 define amdgpu_kernel void @local_agent_monotonic_monotonic_cmpxchg(
2035 ; GFX6-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2036 ; GFX6:       ; %bb.0: ; %entry
2037 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2038 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2039 ; GFX6-NEXT:    s_mov_b32 m0, -1
2040 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2041 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2042 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2043 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2044 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2045 ; GFX6-NEXT:    s_endpgm
2046 ;
2047 ; GFX7-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2048 ; GFX7:       ; %bb.0: ; %entry
2049 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2050 ; GFX7-NEXT:    s_mov_b32 m0, -1
2051 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2052 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2053 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2054 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2055 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2056 ; GFX7-NEXT:    s_endpgm
2057 ;
2058 ; GFX10-WGP-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2059 ; GFX10-WGP:       ; %bb.0: ; %entry
2060 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2061 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2062 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2063 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2064 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2065 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2066 ; GFX10-WGP-NEXT:    s_endpgm
2067 ;
2068 ; GFX10-CU-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2069 ; GFX10-CU:       ; %bb.0: ; %entry
2070 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2071 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2072 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2073 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2074 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2075 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2076 ; GFX10-CU-NEXT:    s_endpgm
2077 ;
2078 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2079 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2080 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2081 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2082 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2083 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2084 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2085 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2086 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2087 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2088 ;
2089 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2090 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2091 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2092 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2093 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2094 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2095 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2096 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2097 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2098 ;
2099 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2100 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2101 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2102 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2103 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2104 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2105 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2106 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2107 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2108 ;
2109 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2110 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2111 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2112 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2113 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2114 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2115 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2116 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2117 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2118 ;
2119 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2120 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2121 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2122 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2123 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2124 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2125 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2126 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2127 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2128 ;
2129 ; GFX11-WGP-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2130 ; GFX11-WGP:       ; %bb.0: ; %entry
2131 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2132 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2133 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2134 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2135 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2136 ; GFX11-WGP-NEXT:    s_endpgm
2137 ;
2138 ; GFX11-CU-LABEL: local_agent_monotonic_monotonic_cmpxchg:
2139 ; GFX11-CU:       ; %bb.0: ; %entry
2140 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2141 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2142 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2143 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2144 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2145 ; GFX11-CU-NEXT:    s_endpgm
2146     ptr addrspace(3) %out, i32 %in, i32 %old) {
2147 entry:
2148   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2149   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic monotonic
2150   ret void
2151 }
2152
2153 define amdgpu_kernel void @local_agent_acquire_monotonic_cmpxchg(
2154 ; GFX6-LABEL: local_agent_acquire_monotonic_cmpxchg:
2155 ; GFX6:       ; %bb.0: ; %entry
2156 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2157 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2158 ; GFX6-NEXT:    s_mov_b32 m0, -1
2159 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2160 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2161 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2162 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2163 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2164 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2165 ; GFX6-NEXT:    s_endpgm
2166 ;
2167 ; GFX7-LABEL: local_agent_acquire_monotonic_cmpxchg:
2168 ; GFX7:       ; %bb.0: ; %entry
2169 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2170 ; GFX7-NEXT:    s_mov_b32 m0, -1
2171 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2172 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2173 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2174 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2175 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2176 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2177 ; GFX7-NEXT:    s_endpgm
2178 ;
2179 ; GFX10-WGP-LABEL: local_agent_acquire_monotonic_cmpxchg:
2180 ; GFX10-WGP:       ; %bb.0: ; %entry
2181 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2182 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2183 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2184 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2185 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2186 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2187 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2188 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2189 ; GFX10-WGP-NEXT:    s_endpgm
2190 ;
2191 ; GFX10-CU-LABEL: local_agent_acquire_monotonic_cmpxchg:
2192 ; GFX10-CU:       ; %bb.0: ; %entry
2193 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2194 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2195 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2196 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2197 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2198 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2199 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2200 ; GFX10-CU-NEXT:    s_endpgm
2201 ;
2202 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_monotonic_cmpxchg:
2203 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2204 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2205 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2206 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2207 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2208 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2209 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2210 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2211 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2212 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2213 ;
2214 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_monotonic_cmpxchg:
2215 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2216 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2217 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2218 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2219 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2220 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2221 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2222 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2223 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2224 ;
2225 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_monotonic_cmpxchg:
2226 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2227 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2228 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2229 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2230 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2231 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2232 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2233 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2234 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2235 ;
2236 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_monotonic_cmpxchg:
2237 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2238 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2239 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2240 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2241 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2242 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2243 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2244 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2245 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2246 ;
2247 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_monotonic_cmpxchg:
2248 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2249 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2250 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2251 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2252 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2253 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2254 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2255 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2256 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2257 ;
2258 ; GFX11-WGP-LABEL: local_agent_acquire_monotonic_cmpxchg:
2259 ; GFX11-WGP:       ; %bb.0: ; %entry
2260 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2261 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2262 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2263 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2264 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2265 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2266 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2267 ; GFX11-WGP-NEXT:    s_endpgm
2268 ;
2269 ; GFX11-CU-LABEL: local_agent_acquire_monotonic_cmpxchg:
2270 ; GFX11-CU:       ; %bb.0: ; %entry
2271 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2272 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2273 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2274 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2275 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2276 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2277 ; GFX11-CU-NEXT:    s_endpgm
2278     ptr addrspace(3) %out, i32 %in, i32 %old) {
2279 entry:
2280   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2281   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire monotonic
2282   ret void
2283 }
2284
2285 define amdgpu_kernel void @local_agent_release_monotonic_cmpxchg(
2286 ; GFX6-LABEL: local_agent_release_monotonic_cmpxchg:
2287 ; GFX6:       ; %bb.0: ; %entry
2288 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2289 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2290 ; GFX6-NEXT:    s_mov_b32 m0, -1
2291 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2292 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2293 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2294 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2295 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2296 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2297 ; GFX6-NEXT:    s_endpgm
2298 ;
2299 ; GFX7-LABEL: local_agent_release_monotonic_cmpxchg:
2300 ; GFX7:       ; %bb.0: ; %entry
2301 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2302 ; GFX7-NEXT:    s_mov_b32 m0, -1
2303 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2304 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2305 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2306 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2307 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2308 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2309 ; GFX7-NEXT:    s_endpgm
2310 ;
2311 ; GFX10-WGP-LABEL: local_agent_release_monotonic_cmpxchg:
2312 ; GFX10-WGP:       ; %bb.0: ; %entry
2313 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2314 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2315 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2316 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2317 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2318 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2319 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2320 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2321 ; GFX10-WGP-NEXT:    s_endpgm
2322 ;
2323 ; GFX10-CU-LABEL: local_agent_release_monotonic_cmpxchg:
2324 ; GFX10-CU:       ; %bb.0: ; %entry
2325 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2326 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2327 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2328 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2329 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2330 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2331 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2332 ; GFX10-CU-NEXT:    s_endpgm
2333 ;
2334 ; SKIP-CACHE-INV-LABEL: local_agent_release_monotonic_cmpxchg:
2335 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2336 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2337 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2338 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2339 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2340 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2341 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2342 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2343 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2344 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2345 ;
2346 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_monotonic_cmpxchg:
2347 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2348 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2349 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2350 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2351 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2352 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2353 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2354 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2355 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2356 ;
2357 ; GFX90A-TGSPLIT-LABEL: local_agent_release_monotonic_cmpxchg:
2358 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2359 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2360 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2361 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2362 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2363 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2364 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2365 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2366 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2367 ;
2368 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_monotonic_cmpxchg:
2369 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2370 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2371 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2372 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2373 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2374 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2375 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2376 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2377 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2378 ;
2379 ; GFX940-TGSPLIT-LABEL: local_agent_release_monotonic_cmpxchg:
2380 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2381 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2382 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2383 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2384 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2385 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2386 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2387 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2388 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2389 ;
2390 ; GFX11-WGP-LABEL: local_agent_release_monotonic_cmpxchg:
2391 ; GFX11-WGP:       ; %bb.0: ; %entry
2392 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2393 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2394 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2395 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2396 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2397 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2398 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2399 ; GFX11-WGP-NEXT:    s_endpgm
2400 ;
2401 ; GFX11-CU-LABEL: local_agent_release_monotonic_cmpxchg:
2402 ; GFX11-CU:       ; %bb.0: ; %entry
2403 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2404 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2405 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2406 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2407 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2408 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2409 ; GFX11-CU-NEXT:    s_endpgm
2410     ptr addrspace(3) %out, i32 %in, i32 %old) {
2411 entry:
2412   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2413   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release monotonic
2414   ret void
2415 }
2416
2417 define amdgpu_kernel void @local_agent_acq_rel_monotonic_cmpxchg(
2418 ; GFX6-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2419 ; GFX6:       ; %bb.0: ; %entry
2420 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2421 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2422 ; GFX6-NEXT:    s_mov_b32 m0, -1
2423 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2424 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2425 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2426 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2427 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2428 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2429 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2430 ; GFX6-NEXT:    s_endpgm
2431 ;
2432 ; GFX7-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2433 ; GFX7:       ; %bb.0: ; %entry
2434 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2435 ; GFX7-NEXT:    s_mov_b32 m0, -1
2436 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2437 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2438 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2439 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2440 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2441 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2442 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2443 ; GFX7-NEXT:    s_endpgm
2444 ;
2445 ; GFX10-WGP-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2446 ; GFX10-WGP:       ; %bb.0: ; %entry
2447 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2448 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2449 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2450 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2451 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2452 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2453 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2454 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2455 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2456 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2457 ; GFX10-WGP-NEXT:    s_endpgm
2458 ;
2459 ; GFX10-CU-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2460 ; GFX10-CU:       ; %bb.0: ; %entry
2461 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2462 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2463 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2464 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2465 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2466 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2467 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2468 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2469 ; GFX10-CU-NEXT:    s_endpgm
2470 ;
2471 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2472 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2473 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2474 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2475 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2476 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2477 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2478 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2479 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2480 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2481 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2482 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2483 ;
2484 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2485 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2486 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2487 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2488 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2489 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2490 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2491 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2492 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2493 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2494 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2495 ;
2496 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2497 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2498 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2499 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2500 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2501 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2502 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2503 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2504 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2505 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2506 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2507 ;
2508 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2509 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2510 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2511 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2512 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2513 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2514 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2515 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2516 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2517 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2518 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2519 ;
2520 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2521 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2522 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2523 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2524 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2525 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2526 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2527 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2528 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2529 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2530 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2531 ;
2532 ; GFX11-WGP-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2533 ; GFX11-WGP:       ; %bb.0: ; %entry
2534 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2535 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2536 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2537 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2538 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2539 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2540 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2541 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2542 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2543 ; GFX11-WGP-NEXT:    s_endpgm
2544 ;
2545 ; GFX11-CU-LABEL: local_agent_acq_rel_monotonic_cmpxchg:
2546 ; GFX11-CU:       ; %bb.0: ; %entry
2547 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2548 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2549 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2550 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2551 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2552 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2553 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2554 ; GFX11-CU-NEXT:    s_endpgm
2555     ptr addrspace(3) %out, i32 %in, i32 %old) {
2556 entry:
2557   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2558   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel monotonic
2559   ret void
2560 }
2561
2562 define amdgpu_kernel void @local_agent_seq_cst_monotonic_cmpxchg(
2563 ; GFX6-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2564 ; GFX6:       ; %bb.0: ; %entry
2565 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2566 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2567 ; GFX6-NEXT:    s_mov_b32 m0, -1
2568 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2569 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2570 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2571 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2572 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2573 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2574 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2575 ; GFX6-NEXT:    s_endpgm
2576 ;
2577 ; GFX7-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2578 ; GFX7:       ; %bb.0: ; %entry
2579 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2580 ; GFX7-NEXT:    s_mov_b32 m0, -1
2581 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2582 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2583 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2584 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2585 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2586 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2587 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2588 ; GFX7-NEXT:    s_endpgm
2589 ;
2590 ; GFX10-WGP-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2591 ; GFX10-WGP:       ; %bb.0: ; %entry
2592 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2593 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2594 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2595 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2596 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2597 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2598 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2599 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2600 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2601 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2602 ; GFX10-WGP-NEXT:    s_endpgm
2603 ;
2604 ; GFX10-CU-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2605 ; GFX10-CU:       ; %bb.0: ; %entry
2606 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2607 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2608 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2609 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2610 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2611 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2612 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2613 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2614 ; GFX10-CU-NEXT:    s_endpgm
2615 ;
2616 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2617 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2618 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2619 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2620 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2621 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2622 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2623 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2624 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2625 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2626 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2627 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2628 ;
2629 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2630 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2631 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2632 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2633 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2634 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2635 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2636 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2637 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2638 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2639 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2640 ;
2641 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2642 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2643 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2644 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2645 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2646 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2647 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2648 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2649 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2650 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2651 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2652 ;
2653 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2654 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2655 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2656 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2657 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2658 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2659 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2660 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2661 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2662 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2663 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2664 ;
2665 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2666 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2667 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2668 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2669 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2670 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2671 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2672 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2673 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2674 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2675 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2676 ;
2677 ; GFX11-WGP-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2678 ; GFX11-WGP:       ; %bb.0: ; %entry
2679 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2680 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2681 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2682 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2683 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2684 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2685 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2686 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2687 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2688 ; GFX11-WGP-NEXT:    s_endpgm
2689 ;
2690 ; GFX11-CU-LABEL: local_agent_seq_cst_monotonic_cmpxchg:
2691 ; GFX11-CU:       ; %bb.0: ; %entry
2692 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2693 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2694 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2695 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2696 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2697 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2698 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2699 ; GFX11-CU-NEXT:    s_endpgm
2700     ptr addrspace(3) %out, i32 %in, i32 %old) {
2701 entry:
2702   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2703   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst monotonic
2704   ret void
2705 }
2706
2707 define amdgpu_kernel void @local_agent_monotonic_acquire_cmpxchg(
2708 ; GFX6-LABEL: local_agent_monotonic_acquire_cmpxchg:
2709 ; GFX6:       ; %bb.0: ; %entry
2710 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2711 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2712 ; GFX6-NEXT:    s_mov_b32 m0, -1
2713 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2714 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2715 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2716 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2717 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2718 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2719 ; GFX6-NEXT:    s_endpgm
2720 ;
2721 ; GFX7-LABEL: local_agent_monotonic_acquire_cmpxchg:
2722 ; GFX7:       ; %bb.0: ; %entry
2723 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2724 ; GFX7-NEXT:    s_mov_b32 m0, -1
2725 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2726 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2727 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2728 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2729 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2730 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2731 ; GFX7-NEXT:    s_endpgm
2732 ;
2733 ; GFX10-WGP-LABEL: local_agent_monotonic_acquire_cmpxchg:
2734 ; GFX10-WGP:       ; %bb.0: ; %entry
2735 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2736 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2737 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2738 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2739 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2740 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2741 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2742 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2743 ; GFX10-WGP-NEXT:    s_endpgm
2744 ;
2745 ; GFX10-CU-LABEL: local_agent_monotonic_acquire_cmpxchg:
2746 ; GFX10-CU:       ; %bb.0: ; %entry
2747 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2748 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2749 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2750 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2751 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2752 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2753 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2754 ; GFX10-CU-NEXT:    s_endpgm
2755 ;
2756 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_acquire_cmpxchg:
2757 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2758 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2759 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2760 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2761 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2762 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2763 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2764 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2765 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2766 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2767 ;
2768 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_acquire_cmpxchg:
2769 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2770 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2771 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2772 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2773 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2774 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2775 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2776 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2777 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2778 ;
2779 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_acquire_cmpxchg:
2780 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2781 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2782 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2783 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2784 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2785 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2786 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2787 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2788 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2789 ;
2790 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_acquire_cmpxchg:
2791 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2792 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2793 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2794 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2795 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2796 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2797 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2798 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2799 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2800 ;
2801 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_acquire_cmpxchg:
2802 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2803 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2804 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2805 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2806 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2807 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2808 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2809 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2810 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2811 ;
2812 ; GFX11-WGP-LABEL: local_agent_monotonic_acquire_cmpxchg:
2813 ; GFX11-WGP:       ; %bb.0: ; %entry
2814 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2815 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2816 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2817 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2818 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2819 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2820 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2821 ; GFX11-WGP-NEXT:    s_endpgm
2822 ;
2823 ; GFX11-CU-LABEL: local_agent_monotonic_acquire_cmpxchg:
2824 ; GFX11-CU:       ; %bb.0: ; %entry
2825 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2826 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2827 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2828 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2829 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2830 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2831 ; GFX11-CU-NEXT:    s_endpgm
2832     ptr addrspace(3) %out, i32 %in, i32 %old) {
2833 entry:
2834   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2835   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic acquire
2836   ret void
2837 }
2838
2839 define amdgpu_kernel void @local_agent_acquire_acquire_cmpxchg(
2840 ; GFX6-LABEL: local_agent_acquire_acquire_cmpxchg:
2841 ; GFX6:       ; %bb.0: ; %entry
2842 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2843 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2844 ; GFX6-NEXT:    s_mov_b32 m0, -1
2845 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2846 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2847 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2848 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2849 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2850 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2851 ; GFX6-NEXT:    s_endpgm
2852 ;
2853 ; GFX7-LABEL: local_agent_acquire_acquire_cmpxchg:
2854 ; GFX7:       ; %bb.0: ; %entry
2855 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2856 ; GFX7-NEXT:    s_mov_b32 m0, -1
2857 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2858 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2859 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2860 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2861 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2862 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2863 ; GFX7-NEXT:    s_endpgm
2864 ;
2865 ; GFX10-WGP-LABEL: local_agent_acquire_acquire_cmpxchg:
2866 ; GFX10-WGP:       ; %bb.0: ; %entry
2867 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2868 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2869 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2870 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2871 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2872 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2873 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2874 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2875 ; GFX10-WGP-NEXT:    s_endpgm
2876 ;
2877 ; GFX10-CU-LABEL: local_agent_acquire_acquire_cmpxchg:
2878 ; GFX10-CU:       ; %bb.0: ; %entry
2879 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2880 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2881 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2882 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2883 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2884 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2885 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2886 ; GFX10-CU-NEXT:    s_endpgm
2887 ;
2888 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_acquire_cmpxchg:
2889 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2890 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2891 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2892 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2893 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2894 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
2895 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
2896 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2897 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2898 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2899 ;
2900 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_acquire_cmpxchg:
2901 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2902 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2903 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2904 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2905 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2906 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2907 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2908 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2909 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2910 ;
2911 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_acquire_cmpxchg:
2912 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2913 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2914 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2915 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2916 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2917 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2918 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2919 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2920 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2921 ;
2922 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_acquire_cmpxchg:
2923 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2924 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2925 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2926 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2927 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2928 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2929 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2930 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2931 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2932 ;
2933 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_acquire_cmpxchg:
2934 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2935 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2936 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2937 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2938 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2939 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2940 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2941 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
2942 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2943 ;
2944 ; GFX11-WGP-LABEL: local_agent_acquire_acquire_cmpxchg:
2945 ; GFX11-WGP:       ; %bb.0: ; %entry
2946 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2947 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2948 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2949 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
2950 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2951 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2952 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2953 ; GFX11-WGP-NEXT:    s_endpgm
2954 ;
2955 ; GFX11-CU-LABEL: local_agent_acquire_acquire_cmpxchg:
2956 ; GFX11-CU:       ; %bb.0: ; %entry
2957 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2958 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2959 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2960 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
2961 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2962 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2963 ; GFX11-CU-NEXT:    s_endpgm
2964     ptr addrspace(3) %out, i32 %in, i32 %old) {
2965 entry:
2966   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2967   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire acquire
2968   ret void
2969 }
2970
2971 define amdgpu_kernel void @local_agent_release_acquire_cmpxchg(
2972 ; GFX6-LABEL: local_agent_release_acquire_cmpxchg:
2973 ; GFX6:       ; %bb.0: ; %entry
2974 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2975 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2976 ; GFX6-NEXT:    s_mov_b32 m0, -1
2977 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2978 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2979 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2980 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2981 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2982 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2983 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2984 ; GFX6-NEXT:    s_endpgm
2985 ;
2986 ; GFX7-LABEL: local_agent_release_acquire_cmpxchg:
2987 ; GFX7:       ; %bb.0: ; %entry
2988 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2989 ; GFX7-NEXT:    s_mov_b32 m0, -1
2990 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2991 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2992 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2993 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2994 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2995 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2996 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2997 ; GFX7-NEXT:    s_endpgm
2998 ;
2999 ; GFX10-WGP-LABEL: local_agent_release_acquire_cmpxchg:
3000 ; GFX10-WGP:       ; %bb.0: ; %entry
3001 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3002 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3003 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3004 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3005 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3006 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3007 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3008 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3009 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3010 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3011 ; GFX10-WGP-NEXT:    s_endpgm
3012 ;
3013 ; GFX10-CU-LABEL: local_agent_release_acquire_cmpxchg:
3014 ; GFX10-CU:       ; %bb.0: ; %entry
3015 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3016 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3017 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3018 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3019 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3020 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3021 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3022 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3023 ; GFX10-CU-NEXT:    s_endpgm
3024 ;
3025 ; SKIP-CACHE-INV-LABEL: local_agent_release_acquire_cmpxchg:
3026 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3027 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3028 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3029 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3030 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3031 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3032 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3033 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3034 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3035 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3036 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3037 ;
3038 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_acquire_cmpxchg:
3039 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3040 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3041 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3042 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3043 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3044 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3045 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3046 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3047 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3048 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3049 ;
3050 ; GFX90A-TGSPLIT-LABEL: local_agent_release_acquire_cmpxchg:
3051 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3052 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3053 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3054 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3055 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3056 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3057 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3058 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3059 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3060 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3061 ;
3062 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_acquire_cmpxchg:
3063 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3064 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3065 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3066 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3067 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3068 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3069 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3070 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3071 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3072 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3073 ;
3074 ; GFX940-TGSPLIT-LABEL: local_agent_release_acquire_cmpxchg:
3075 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3076 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3077 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3078 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3079 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3080 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3081 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3082 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3083 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3084 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3085 ;
3086 ; GFX11-WGP-LABEL: local_agent_release_acquire_cmpxchg:
3087 ; GFX11-WGP:       ; %bb.0: ; %entry
3088 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3089 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3090 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3091 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3092 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3093 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3094 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3095 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3096 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3097 ; GFX11-WGP-NEXT:    s_endpgm
3098 ;
3099 ; GFX11-CU-LABEL: local_agent_release_acquire_cmpxchg:
3100 ; GFX11-CU:       ; %bb.0: ; %entry
3101 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3102 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3103 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3104 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3105 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3106 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3107 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3108 ; GFX11-CU-NEXT:    s_endpgm
3109     ptr addrspace(3) %out, i32 %in, i32 %old) {
3110 entry:
3111   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3112   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release acquire
3113   ret void
3114 }
3115
3116 define amdgpu_kernel void @local_agent_acq_rel_acquire_cmpxchg(
3117 ; GFX6-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3118 ; GFX6:       ; %bb.0: ; %entry
3119 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3120 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3121 ; GFX6-NEXT:    s_mov_b32 m0, -1
3122 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3123 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3124 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3125 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3126 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3127 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3128 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3129 ; GFX6-NEXT:    s_endpgm
3130 ;
3131 ; GFX7-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3132 ; GFX7:       ; %bb.0: ; %entry
3133 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3134 ; GFX7-NEXT:    s_mov_b32 m0, -1
3135 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3136 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3137 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3138 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3139 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3140 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3141 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3142 ; GFX7-NEXT:    s_endpgm
3143 ;
3144 ; GFX10-WGP-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3145 ; GFX10-WGP:       ; %bb.0: ; %entry
3146 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3147 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3148 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3149 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3150 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3151 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3152 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3153 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3154 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3155 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3156 ; GFX10-WGP-NEXT:    s_endpgm
3157 ;
3158 ; GFX10-CU-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3159 ; GFX10-CU:       ; %bb.0: ; %entry
3160 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3161 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3162 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3163 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3164 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3165 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3166 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3167 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3168 ; GFX10-CU-NEXT:    s_endpgm
3169 ;
3170 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3171 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3172 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3173 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3175 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3176 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3177 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3178 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3179 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3180 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3181 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3182 ;
3183 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3184 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3185 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3186 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3187 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3188 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3189 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3190 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3191 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3192 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3193 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3194 ;
3195 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3196 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3197 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3198 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3199 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3200 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3201 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3202 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3203 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3204 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3205 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3206 ;
3207 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3208 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3209 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3210 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3211 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3212 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3213 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3214 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3215 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3216 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3217 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3218 ;
3219 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3220 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3221 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3222 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3223 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3224 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3225 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3226 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3227 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3228 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3229 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3230 ;
3231 ; GFX11-WGP-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3232 ; GFX11-WGP:       ; %bb.0: ; %entry
3233 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3234 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3235 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3236 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3237 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3238 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3239 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3240 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3241 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3242 ; GFX11-WGP-NEXT:    s_endpgm
3243 ;
3244 ; GFX11-CU-LABEL: local_agent_acq_rel_acquire_cmpxchg:
3245 ; GFX11-CU:       ; %bb.0: ; %entry
3246 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3247 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3248 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3249 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3250 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3251 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3252 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3253 ; GFX11-CU-NEXT:    s_endpgm
3254     ptr addrspace(3) %out, i32 %in, i32 %old) {
3255 entry:
3256   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3257   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel acquire
3258   ret void
3259 }
3260
3261 define amdgpu_kernel void @local_agent_seq_cst_acquire_cmpxchg(
3262 ; GFX6-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3263 ; GFX6:       ; %bb.0: ; %entry
3264 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3265 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3266 ; GFX6-NEXT:    s_mov_b32 m0, -1
3267 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3268 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3269 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3270 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3271 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3272 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3273 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3274 ; GFX6-NEXT:    s_endpgm
3275 ;
3276 ; GFX7-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3277 ; GFX7:       ; %bb.0: ; %entry
3278 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3279 ; GFX7-NEXT:    s_mov_b32 m0, -1
3280 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3281 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3282 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3283 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3284 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3285 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3286 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3287 ; GFX7-NEXT:    s_endpgm
3288 ;
3289 ; GFX10-WGP-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3290 ; GFX10-WGP:       ; %bb.0: ; %entry
3291 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3292 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3293 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3294 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3295 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3296 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3297 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3298 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3299 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3300 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3301 ; GFX10-WGP-NEXT:    s_endpgm
3302 ;
3303 ; GFX10-CU-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3304 ; GFX10-CU:       ; %bb.0: ; %entry
3305 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3306 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3307 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3308 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3309 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3310 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3311 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3312 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3313 ; GFX10-CU-NEXT:    s_endpgm
3314 ;
3315 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3316 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3317 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3318 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3319 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3320 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3321 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3322 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3323 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3324 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3325 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3326 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3327 ;
3328 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3329 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3330 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3331 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3332 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3333 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3334 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3335 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3336 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3337 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3338 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3339 ;
3340 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3341 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3342 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3343 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3344 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3345 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3346 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3347 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3348 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3349 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3350 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3351 ;
3352 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3353 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3354 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3355 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3356 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3357 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3358 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3359 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3360 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3361 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3362 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3363 ;
3364 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3365 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3366 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3367 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3368 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3369 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3370 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3371 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3372 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3373 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3374 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3375 ;
3376 ; GFX11-WGP-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3377 ; GFX11-WGP:       ; %bb.0: ; %entry
3378 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3379 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3380 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3381 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3382 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3383 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3384 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3385 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3386 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3387 ; GFX11-WGP-NEXT:    s_endpgm
3388 ;
3389 ; GFX11-CU-LABEL: local_agent_seq_cst_acquire_cmpxchg:
3390 ; GFX11-CU:       ; %bb.0: ; %entry
3391 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3392 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3393 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3394 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3395 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3396 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3397 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3398 ; GFX11-CU-NEXT:    s_endpgm
3399     ptr addrspace(3) %out, i32 %in, i32 %old) {
3400 entry:
3401   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3402   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst acquire
3403   ret void
3404 }
3405
3406 define amdgpu_kernel void @local_agent_monotonic_seq_cst_cmpxchg(
3407 ; GFX6-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3408 ; GFX6:       ; %bb.0: ; %entry
3409 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3410 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3411 ; GFX6-NEXT:    s_mov_b32 m0, -1
3412 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3413 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3414 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3415 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3416 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3417 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3418 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3419 ; GFX6-NEXT:    s_endpgm
3420 ;
3421 ; GFX7-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3422 ; GFX7:       ; %bb.0: ; %entry
3423 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3424 ; GFX7-NEXT:    s_mov_b32 m0, -1
3425 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3426 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3427 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3428 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3429 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3430 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3431 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3432 ; GFX7-NEXT:    s_endpgm
3433 ;
3434 ; GFX10-WGP-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3435 ; GFX10-WGP:       ; %bb.0: ; %entry
3436 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3437 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3438 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3439 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3440 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3441 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3442 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3443 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3444 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3445 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3446 ; GFX10-WGP-NEXT:    s_endpgm
3447 ;
3448 ; GFX10-CU-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3449 ; GFX10-CU:       ; %bb.0: ; %entry
3450 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3451 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3452 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3453 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3454 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3455 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3456 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3457 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3458 ; GFX10-CU-NEXT:    s_endpgm
3459 ;
3460 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3461 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3462 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3463 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3464 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3465 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3466 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3467 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3468 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3469 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3470 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3471 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3472 ;
3473 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3474 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3475 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3476 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3477 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3478 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3479 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3480 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3481 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3482 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3483 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3484 ;
3485 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3486 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3487 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3488 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3489 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3490 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3491 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3492 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3493 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3494 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3495 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3496 ;
3497 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3498 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3499 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3500 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3501 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3502 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3503 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3504 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3505 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3506 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3507 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3508 ;
3509 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3510 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3511 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3512 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3513 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3514 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3515 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3516 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3517 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3518 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3519 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3520 ;
3521 ; GFX11-WGP-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3522 ; GFX11-WGP:       ; %bb.0: ; %entry
3523 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3524 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3525 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3526 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3527 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3528 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3529 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3530 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3531 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3532 ; GFX11-WGP-NEXT:    s_endpgm
3533 ;
3534 ; GFX11-CU-LABEL: local_agent_monotonic_seq_cst_cmpxchg:
3535 ; GFX11-CU:       ; %bb.0: ; %entry
3536 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3537 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3538 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3539 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3540 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3541 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3542 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3543 ; GFX11-CU-NEXT:    s_endpgm
3544     ptr addrspace(3) %out, i32 %in, i32 %old) {
3545 entry:
3546   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3547   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic seq_cst
3548   ret void
3549 }
3550
3551 define amdgpu_kernel void @local_agent_acquire_seq_cst_cmpxchg(
3552 ; GFX6-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3553 ; GFX6:       ; %bb.0: ; %entry
3554 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3555 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3556 ; GFX6-NEXT:    s_mov_b32 m0, -1
3557 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3558 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3559 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3560 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3561 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3562 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3563 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3564 ; GFX6-NEXT:    s_endpgm
3565 ;
3566 ; GFX7-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3567 ; GFX7:       ; %bb.0: ; %entry
3568 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3569 ; GFX7-NEXT:    s_mov_b32 m0, -1
3570 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3571 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3572 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3573 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3574 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3575 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3576 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3577 ; GFX7-NEXT:    s_endpgm
3578 ;
3579 ; GFX10-WGP-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3580 ; GFX10-WGP:       ; %bb.0: ; %entry
3581 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3582 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3583 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3584 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3585 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3586 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3587 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3588 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3589 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3590 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3591 ; GFX10-WGP-NEXT:    s_endpgm
3592 ;
3593 ; GFX10-CU-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3594 ; GFX10-CU:       ; %bb.0: ; %entry
3595 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3596 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3597 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3598 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3599 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3600 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3601 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3602 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3603 ; GFX10-CU-NEXT:    s_endpgm
3604 ;
3605 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3606 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3607 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3608 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3609 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3610 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3611 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3612 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3613 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3614 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3615 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3616 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3617 ;
3618 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3619 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3620 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3621 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3622 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3623 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3624 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3625 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3626 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3627 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3628 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3629 ;
3630 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3631 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3632 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3633 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3634 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3635 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3636 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3637 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3638 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3639 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3640 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3641 ;
3642 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3643 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3644 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3645 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3646 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3647 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3648 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3649 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3650 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3651 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3652 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3653 ;
3654 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3655 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3656 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3657 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3658 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3659 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3660 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3661 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3662 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3663 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3664 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3665 ;
3666 ; GFX11-WGP-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3667 ; GFX11-WGP:       ; %bb.0: ; %entry
3668 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3669 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3670 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3671 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3672 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3673 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3674 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3675 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3676 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3677 ; GFX11-WGP-NEXT:    s_endpgm
3678 ;
3679 ; GFX11-CU-LABEL: local_agent_acquire_seq_cst_cmpxchg:
3680 ; GFX11-CU:       ; %bb.0: ; %entry
3681 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3682 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3683 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3684 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3685 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3686 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3687 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3688 ; GFX11-CU-NEXT:    s_endpgm
3689     ptr addrspace(3) %out, i32 %in, i32 %old) {
3690 entry:
3691   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3692   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire seq_cst
3693   ret void
3694 }
3695
3696 define amdgpu_kernel void @local_agent_release_seq_cst_cmpxchg(
3697 ; GFX6-LABEL: local_agent_release_seq_cst_cmpxchg:
3698 ; GFX6:       ; %bb.0: ; %entry
3699 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3700 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3701 ; GFX6-NEXT:    s_mov_b32 m0, -1
3702 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3703 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3704 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3705 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3706 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3707 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3708 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3709 ; GFX6-NEXT:    s_endpgm
3710 ;
3711 ; GFX7-LABEL: local_agent_release_seq_cst_cmpxchg:
3712 ; GFX7:       ; %bb.0: ; %entry
3713 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3714 ; GFX7-NEXT:    s_mov_b32 m0, -1
3715 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3716 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3717 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3718 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3719 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3720 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3721 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3722 ; GFX7-NEXT:    s_endpgm
3723 ;
3724 ; GFX10-WGP-LABEL: local_agent_release_seq_cst_cmpxchg:
3725 ; GFX10-WGP:       ; %bb.0: ; %entry
3726 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3727 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3728 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3729 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3730 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3731 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3732 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3733 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3734 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3735 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3736 ; GFX10-WGP-NEXT:    s_endpgm
3737 ;
3738 ; GFX10-CU-LABEL: local_agent_release_seq_cst_cmpxchg:
3739 ; GFX10-CU:       ; %bb.0: ; %entry
3740 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3741 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3742 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3743 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3744 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3745 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3746 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3747 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3748 ; GFX10-CU-NEXT:    s_endpgm
3749 ;
3750 ; SKIP-CACHE-INV-LABEL: local_agent_release_seq_cst_cmpxchg:
3751 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3752 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3753 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3754 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3755 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3756 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3757 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3758 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3759 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3760 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3761 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3762 ;
3763 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_seq_cst_cmpxchg:
3764 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3765 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3766 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3767 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3768 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3769 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3770 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3771 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3772 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3773 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3774 ;
3775 ; GFX90A-TGSPLIT-LABEL: local_agent_release_seq_cst_cmpxchg:
3776 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3777 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3778 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3779 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3780 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3781 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3782 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3783 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3784 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3785 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3786 ;
3787 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_seq_cst_cmpxchg:
3788 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3789 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3790 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3791 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3792 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3793 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3794 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3795 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3796 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3797 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3798 ;
3799 ; GFX940-TGSPLIT-LABEL: local_agent_release_seq_cst_cmpxchg:
3800 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3801 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3802 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3803 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3804 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3805 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3806 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3807 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3808 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3809 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3810 ;
3811 ; GFX11-WGP-LABEL: local_agent_release_seq_cst_cmpxchg:
3812 ; GFX11-WGP:       ; %bb.0: ; %entry
3813 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3814 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3815 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3816 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3817 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3818 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3819 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3820 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3821 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3822 ; GFX11-WGP-NEXT:    s_endpgm
3823 ;
3824 ; GFX11-CU-LABEL: local_agent_release_seq_cst_cmpxchg:
3825 ; GFX11-CU:       ; %bb.0: ; %entry
3826 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3827 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3828 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3829 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3830 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3831 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3832 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3833 ; GFX11-CU-NEXT:    s_endpgm
3834     ptr addrspace(3) %out, i32 %in, i32 %old) {
3835 entry:
3836   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3837   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release seq_cst
3838   ret void
3839 }
3840
3841 define amdgpu_kernel void @local_agent_acq_rel_seq_cst_cmpxchg(
3842 ; GFX6-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3843 ; GFX6:       ; %bb.0: ; %entry
3844 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3845 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3846 ; GFX6-NEXT:    s_mov_b32 m0, -1
3847 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3848 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3849 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3850 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3851 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3852 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3853 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3854 ; GFX6-NEXT:    s_endpgm
3855 ;
3856 ; GFX7-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3857 ; GFX7:       ; %bb.0: ; %entry
3858 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3859 ; GFX7-NEXT:    s_mov_b32 m0, -1
3860 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3861 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3862 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3863 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3864 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3865 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3866 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3867 ; GFX7-NEXT:    s_endpgm
3868 ;
3869 ; GFX10-WGP-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3870 ; GFX10-WGP:       ; %bb.0: ; %entry
3871 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3872 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3873 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3874 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3875 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3876 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3877 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3878 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3879 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3880 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3881 ; GFX10-WGP-NEXT:    s_endpgm
3882 ;
3883 ; GFX10-CU-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3884 ; GFX10-CU:       ; %bb.0: ; %entry
3885 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3886 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3887 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3888 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3889 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3890 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3891 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3892 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3893 ; GFX10-CU-NEXT:    s_endpgm
3894 ;
3895 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3896 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3897 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3898 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3899 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3900 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3901 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
3902 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
3903 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3904 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3905 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3906 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3907 ;
3908 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3909 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3910 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3911 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3912 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3913 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3914 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3915 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3916 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3917 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3918 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3919 ;
3920 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3921 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3922 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3923 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3924 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3925 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3926 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3927 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3928 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3929 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3930 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3931 ;
3932 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3933 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3934 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3935 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3936 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3937 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3938 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3939 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3940 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3941 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3942 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3943 ;
3944 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3945 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3946 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3947 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3948 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3949 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3950 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3951 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3952 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3953 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
3954 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3955 ;
3956 ; GFX11-WGP-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3957 ; GFX11-WGP:       ; %bb.0: ; %entry
3958 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3959 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3960 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3961 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
3962 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3963 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3964 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3965 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3966 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3967 ; GFX11-WGP-NEXT:    s_endpgm
3968 ;
3969 ; GFX11-CU-LABEL: local_agent_acq_rel_seq_cst_cmpxchg:
3970 ; GFX11-CU:       ; %bb.0: ; %entry
3971 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3972 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3973 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
3975 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3976 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3977 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3978 ; GFX11-CU-NEXT:    s_endpgm
3979     ptr addrspace(3) %out, i32 %in, i32 %old) {
3980 entry:
3981   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3982   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel seq_cst
3983   ret void
3984 }
3985
3986 define amdgpu_kernel void @local_agent_seq_cst_seq_cst_cmpxchg(
3987 ; GFX6-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
3988 ; GFX6:       ; %bb.0: ; %entry
3989 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3990 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3991 ; GFX6-NEXT:    s_mov_b32 m0, -1
3992 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3993 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3994 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3995 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3996 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3997 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3998 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3999 ; GFX6-NEXT:    s_endpgm
4000 ;
4001 ; GFX7-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4002 ; GFX7:       ; %bb.0: ; %entry
4003 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4004 ; GFX7-NEXT:    s_mov_b32 m0, -1
4005 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4006 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4007 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4008 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4009 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4010 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4011 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4012 ; GFX7-NEXT:    s_endpgm
4013 ;
4014 ; GFX10-WGP-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4015 ; GFX10-WGP:       ; %bb.0: ; %entry
4016 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4017 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4018 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4019 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4020 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4021 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4022 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4023 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4024 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4025 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4026 ; GFX10-WGP-NEXT:    s_endpgm
4027 ;
4028 ; GFX10-CU-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4029 ; GFX10-CU:       ; %bb.0: ; %entry
4030 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4031 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4032 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4033 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4034 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4035 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4036 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4037 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4038 ; GFX10-CU-NEXT:    s_endpgm
4039 ;
4040 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4041 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4042 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4043 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4044 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4045 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4046 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4047 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4048 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4049 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4050 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4051 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4052 ;
4053 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4054 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4055 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4056 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4057 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4058 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4059 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4060 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4061 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4062 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4063 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4064 ;
4065 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4066 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4067 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4068 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4069 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4070 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4071 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4072 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4073 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4074 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4075 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4076 ;
4077 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4078 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4079 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4080 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4081 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4082 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4083 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4084 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4085 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4086 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4087 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4088 ;
4089 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4090 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4091 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4092 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4093 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4094 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4095 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4096 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4097 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4098 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
4099 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4100 ;
4101 ; GFX11-WGP-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4102 ; GFX11-WGP:       ; %bb.0: ; %entry
4103 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4104 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4105 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4106 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4107 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4108 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4109 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4110 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4111 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4112 ; GFX11-WGP-NEXT:    s_endpgm
4113 ;
4114 ; GFX11-CU-LABEL: local_agent_seq_cst_seq_cst_cmpxchg:
4115 ; GFX11-CU:       ; %bb.0: ; %entry
4116 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4117 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4118 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4119 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4120 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4121 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4122 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4123 ; GFX11-CU-NEXT:    s_endpgm
4124     ptr addrspace(3) %out, i32 %in, i32 %old) {
4125 entry:
4126   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4127   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst seq_cst
4128   ret void
4129 }
4130
4131 define amdgpu_kernel void @local_agent_monotonic_monotonic_ret_cmpxchg(
4132 ; GFX6-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4133 ; GFX6:       ; %bb.0: ; %entry
4134 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4135 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4136 ; GFX6-NEXT:    s_mov_b32 m0, -1
4137 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4138 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4139 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4140 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4141 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4142 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4143 ; GFX6-NEXT:    ds_write_b32 v0, v1
4144 ; GFX6-NEXT:    s_endpgm
4145 ;
4146 ; GFX7-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4147 ; GFX7:       ; %bb.0: ; %entry
4148 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4149 ; GFX7-NEXT:    s_mov_b32 m0, -1
4150 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4151 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4152 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4153 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4154 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4155 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4156 ; GFX7-NEXT:    ds_write_b32 v0, v1
4157 ; GFX7-NEXT:    s_endpgm
4158 ;
4159 ; GFX10-WGP-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4160 ; GFX10-WGP:       ; %bb.0: ; %entry
4161 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4162 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4163 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4164 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4165 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4166 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4167 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4168 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4169 ; GFX10-WGP-NEXT:    s_endpgm
4170 ;
4171 ; GFX10-CU-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4172 ; GFX10-CU:       ; %bb.0: ; %entry
4173 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4174 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4175 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4176 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4177 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4178 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4179 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4180 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4181 ; GFX10-CU-NEXT:    s_endpgm
4182 ;
4183 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4184 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4185 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4186 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4187 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4188 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4189 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4190 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4191 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4192 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4193 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4194 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4195 ;
4196 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4197 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4198 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4199 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4200 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4201 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4202 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4203 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4204 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4205 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4206 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4207 ;
4208 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4209 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4210 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4211 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4212 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4213 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4214 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4215 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4216 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4217 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4218 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4219 ;
4220 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4221 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4222 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4223 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4224 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4225 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4226 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4227 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4228 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4229 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4230 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4231 ;
4232 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4233 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4234 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4235 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4236 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4237 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4238 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4239 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4240 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4241 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4242 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4243 ;
4244 ; GFX11-WGP-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4245 ; GFX11-WGP:       ; %bb.0: ; %entry
4246 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4247 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4248 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4249 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4250 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4251 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4252 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
4253 ; GFX11-WGP-NEXT:    s_endpgm
4254 ;
4255 ; GFX11-CU-LABEL: local_agent_monotonic_monotonic_ret_cmpxchg:
4256 ; GFX11-CU:       ; %bb.0: ; %entry
4257 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4258 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4259 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4260 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4261 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4262 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4263 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
4264 ; GFX11-CU-NEXT:    s_endpgm
4265     ptr addrspace(3) %out, i32 %in, i32 %old) {
4266 entry:
4267   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4268   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic monotonic
4269   %val0 = extractvalue { i32, i1 } %val, 0
4270   store i32 %val0, ptr addrspace(3) %out, align 4
4271   ret void
4272 }
4273
4274 define amdgpu_kernel void @local_agent_acquire_monotonic_ret_cmpxchg(
4275 ; GFX6-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4276 ; GFX6:       ; %bb.0: ; %entry
4277 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4278 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4279 ; GFX6-NEXT:    s_mov_b32 m0, -1
4280 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4281 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4282 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4283 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4284 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4285 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4286 ; GFX6-NEXT:    ds_write_b32 v0, v1
4287 ; GFX6-NEXT:    s_endpgm
4288 ;
4289 ; GFX7-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4290 ; GFX7:       ; %bb.0: ; %entry
4291 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4292 ; GFX7-NEXT:    s_mov_b32 m0, -1
4293 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4294 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4295 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4296 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4297 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4298 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4299 ; GFX7-NEXT:    ds_write_b32 v0, v1
4300 ; GFX7-NEXT:    s_endpgm
4301 ;
4302 ; GFX10-WGP-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4303 ; GFX10-WGP:       ; %bb.0: ; %entry
4304 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4305 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4306 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4307 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4308 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4309 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4310 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4311 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4312 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4313 ; GFX10-WGP-NEXT:    s_endpgm
4314 ;
4315 ; GFX10-CU-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4316 ; GFX10-CU:       ; %bb.0: ; %entry
4317 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4318 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4320 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4321 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4322 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4323 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4324 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4325 ; GFX10-CU-NEXT:    s_endpgm
4326 ;
4327 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4328 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4329 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4330 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4331 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4332 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4333 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4334 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4335 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4336 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4337 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4338 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4339 ;
4340 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4341 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4342 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4343 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4344 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4345 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4346 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4347 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4348 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4349 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4350 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4351 ;
4352 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4353 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4354 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4355 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4356 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4357 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4358 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4359 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4360 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4361 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4362 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4363 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4364 ;
4365 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4366 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4367 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4368 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4369 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4370 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4371 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4372 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4373 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4374 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4375 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4376 ;
4377 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4378 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4379 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4380 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4381 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4382 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4383 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4384 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4385 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
4386 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4387 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4388 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4389 ;
4390 ; GFX11-WGP-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4391 ; GFX11-WGP:       ; %bb.0: ; %entry
4392 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4393 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4394 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4395 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4396 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4397 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4398 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4399 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
4400 ; GFX11-WGP-NEXT:    s_endpgm
4401 ;
4402 ; GFX11-CU-LABEL: local_agent_acquire_monotonic_ret_cmpxchg:
4403 ; GFX11-CU:       ; %bb.0: ; %entry
4404 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4405 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4406 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4407 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4408 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4409 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4410 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
4411 ; GFX11-CU-NEXT:    s_endpgm
4412     ptr addrspace(3) %out, i32 %in, i32 %old) {
4413 entry:
4414   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4415   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire monotonic
4416   %val0 = extractvalue { i32, i1 } %val, 0
4417   store i32 %val0, ptr addrspace(3) %out, align 4
4418   ret void
4419 }
4420
4421 define amdgpu_kernel void @local_agent_release_monotonic_ret_cmpxchg(
4422 ; GFX6-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4423 ; GFX6:       ; %bb.0: ; %entry
4424 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4425 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4426 ; GFX6-NEXT:    s_mov_b32 m0, -1
4427 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4428 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4429 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4430 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4431 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4432 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4433 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4434 ; GFX6-NEXT:    ds_write_b32 v0, v1
4435 ; GFX6-NEXT:    s_endpgm
4436 ;
4437 ; GFX7-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4438 ; GFX7:       ; %bb.0: ; %entry
4439 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4440 ; GFX7-NEXT:    s_mov_b32 m0, -1
4441 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4442 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4443 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4444 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4445 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4446 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4447 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4448 ; GFX7-NEXT:    ds_write_b32 v0, v1
4449 ; GFX7-NEXT:    s_endpgm
4450 ;
4451 ; GFX10-WGP-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4452 ; GFX10-WGP:       ; %bb.0: ; %entry
4453 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4454 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4455 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4456 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4457 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4458 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4459 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4460 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4461 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4462 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4463 ; GFX10-WGP-NEXT:    s_endpgm
4464 ;
4465 ; GFX10-CU-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4466 ; GFX10-CU:       ; %bb.0: ; %entry
4467 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4468 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4469 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4470 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4471 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4472 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4473 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4474 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4475 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4476 ; GFX10-CU-NEXT:    s_endpgm
4477 ;
4478 ; SKIP-CACHE-INV-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4479 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4480 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4481 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4482 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4483 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4484 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4485 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4486 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4487 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4488 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4489 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4490 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4491 ;
4492 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4493 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4494 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4495 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4496 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4497 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4498 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4499 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4500 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4501 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4502 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4503 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4504 ;
4505 ; GFX90A-TGSPLIT-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4506 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4507 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4508 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4509 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4510 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4511 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4512 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4513 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4514 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4515 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4516 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4517 ;
4518 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4519 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4520 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4521 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4522 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4523 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4524 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4525 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4526 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4527 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4528 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4529 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4530 ;
4531 ; GFX940-TGSPLIT-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4532 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4533 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4534 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4535 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4536 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4537 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4538 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4539 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4540 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4541 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4542 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4543 ;
4544 ; GFX11-WGP-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4545 ; GFX11-WGP:       ; %bb.0: ; %entry
4546 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4547 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4548 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4549 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4550 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4551 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4552 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4553 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4554 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
4555 ; GFX11-WGP-NEXT:    s_endpgm
4556 ;
4557 ; GFX11-CU-LABEL: local_agent_release_monotonic_ret_cmpxchg:
4558 ; GFX11-CU:       ; %bb.0: ; %entry
4559 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4560 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4561 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4562 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4563 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4564 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4565 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4566 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
4567 ; GFX11-CU-NEXT:    s_endpgm
4568     ptr addrspace(3) %out, i32 %in, i32 %old) {
4569 entry:
4570   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4571   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release monotonic
4572   %val0 = extractvalue { i32, i1 } %val, 0
4573   store i32 %val0, ptr addrspace(3) %out, align 4
4574   ret void
4575 }
4576
4577 define amdgpu_kernel void @local_agent_acq_rel_monotonic_ret_cmpxchg(
4578 ; GFX6-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4579 ; GFX6:       ; %bb.0: ; %entry
4580 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4581 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4582 ; GFX6-NEXT:    s_mov_b32 m0, -1
4583 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4584 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4585 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4586 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4587 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4588 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4589 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4590 ; GFX6-NEXT:    ds_write_b32 v0, v1
4591 ; GFX6-NEXT:    s_endpgm
4592 ;
4593 ; GFX7-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4594 ; GFX7:       ; %bb.0: ; %entry
4595 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4596 ; GFX7-NEXT:    s_mov_b32 m0, -1
4597 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4598 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4599 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4600 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4601 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4602 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4603 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4604 ; GFX7-NEXT:    ds_write_b32 v0, v1
4605 ; GFX7-NEXT:    s_endpgm
4606 ;
4607 ; GFX10-WGP-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4608 ; GFX10-WGP:       ; %bb.0: ; %entry
4609 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4610 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4611 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4612 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4613 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4614 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4615 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4616 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4617 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4618 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4619 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4620 ; GFX10-WGP-NEXT:    s_endpgm
4621 ;
4622 ; GFX10-CU-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4623 ; GFX10-CU:       ; %bb.0: ; %entry
4624 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4625 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4626 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4627 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4628 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4629 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4630 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4631 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4632 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4633 ; GFX10-CU-NEXT:    s_endpgm
4634 ;
4635 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4636 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4637 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4638 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4639 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4640 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4641 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4642 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4643 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4644 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4645 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4646 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4647 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4648 ;
4649 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4650 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4651 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4652 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4653 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4654 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4655 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4656 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4657 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4658 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4659 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4660 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4661 ;
4662 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4663 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4664 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4665 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4666 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4667 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4668 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4669 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4670 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4671 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4672 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4673 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4674 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4675 ;
4676 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4677 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4678 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4679 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4680 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4681 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4682 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4683 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4684 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4685 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4686 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4687 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4688 ;
4689 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4690 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4691 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4692 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4693 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4694 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4695 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4696 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4697 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4698 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
4699 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4700 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4701 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4702 ;
4703 ; GFX11-WGP-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4704 ; GFX11-WGP:       ; %bb.0: ; %entry
4705 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4706 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4707 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4708 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4709 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4710 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4711 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4712 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4713 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4714 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
4715 ; GFX11-WGP-NEXT:    s_endpgm
4716 ;
4717 ; GFX11-CU-LABEL: local_agent_acq_rel_monotonic_ret_cmpxchg:
4718 ; GFX11-CU:       ; %bb.0: ; %entry
4719 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4720 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4721 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4722 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4723 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4724 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4725 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4726 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
4727 ; GFX11-CU-NEXT:    s_endpgm
4728     ptr addrspace(3) %out, i32 %in, i32 %old) {
4729 entry:
4730   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4731   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel monotonic
4732   %val0 = extractvalue { i32, i1 } %val, 0
4733   store i32 %val0, ptr addrspace(3) %out, align 4
4734   ret void
4735 }
4736
4737 define amdgpu_kernel void @local_agent_seq_cst_monotonic_ret_cmpxchg(
4738 ; GFX6-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4739 ; GFX6:       ; %bb.0: ; %entry
4740 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4741 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4742 ; GFX6-NEXT:    s_mov_b32 m0, -1
4743 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4744 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4745 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4746 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4747 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4748 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4749 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4750 ; GFX6-NEXT:    ds_write_b32 v0, v1
4751 ; GFX6-NEXT:    s_endpgm
4752 ;
4753 ; GFX7-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4754 ; GFX7:       ; %bb.0: ; %entry
4755 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4756 ; GFX7-NEXT:    s_mov_b32 m0, -1
4757 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4758 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4759 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4760 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4761 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4762 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4763 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4764 ; GFX7-NEXT:    ds_write_b32 v0, v1
4765 ; GFX7-NEXT:    s_endpgm
4766 ;
4767 ; GFX10-WGP-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4768 ; GFX10-WGP:       ; %bb.0: ; %entry
4769 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4770 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4771 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4772 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4773 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4774 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4775 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4776 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4777 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4778 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4779 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4780 ; GFX10-WGP-NEXT:    s_endpgm
4781 ;
4782 ; GFX10-CU-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4783 ; GFX10-CU:       ; %bb.0: ; %entry
4784 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4785 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4786 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4787 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4788 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4789 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4790 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4791 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4792 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4793 ; GFX10-CU-NEXT:    s_endpgm
4794 ;
4795 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4796 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4797 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4798 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4799 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4800 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4801 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4802 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4803 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4804 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4805 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4806 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4807 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4808 ;
4809 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4810 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4811 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4812 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4813 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4814 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4815 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4816 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4817 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4818 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4819 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4820 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4821 ;
4822 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4823 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4824 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4825 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4826 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4827 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4828 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4829 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4830 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4831 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4832 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4833 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4834 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4835 ;
4836 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4837 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4838 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4839 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4840 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4841 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4842 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4843 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4844 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4845 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4846 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4847 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4848 ;
4849 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4850 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4851 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4852 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4853 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4854 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4855 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4856 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4857 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4858 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
4859 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4860 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4861 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4862 ;
4863 ; GFX11-WGP-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4864 ; GFX11-WGP:       ; %bb.0: ; %entry
4865 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4866 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4867 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4868 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
4869 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4870 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4871 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4872 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4873 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4874 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
4875 ; GFX11-WGP-NEXT:    s_endpgm
4876 ;
4877 ; GFX11-CU-LABEL: local_agent_seq_cst_monotonic_ret_cmpxchg:
4878 ; GFX11-CU:       ; %bb.0: ; %entry
4879 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4880 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4881 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4882 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
4883 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4884 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
4885 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4886 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
4887 ; GFX11-CU-NEXT:    s_endpgm
4888     ptr addrspace(3) %out, i32 %in, i32 %old) {
4889 entry:
4890   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4891   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst monotonic
4892   %val0 = extractvalue { i32, i1 } %val, 0
4893   store i32 %val0, ptr addrspace(3) %out, align 4
4894   ret void
4895 }
4896
4897 define amdgpu_kernel void @local_agent_monotonic_acquire_ret_cmpxchg(
4898 ; GFX6-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4899 ; GFX6:       ; %bb.0: ; %entry
4900 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4901 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4902 ; GFX6-NEXT:    s_mov_b32 m0, -1
4903 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4904 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4905 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4906 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4907 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4908 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4909 ; GFX6-NEXT:    ds_write_b32 v0, v1
4910 ; GFX6-NEXT:    s_endpgm
4911 ;
4912 ; GFX7-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4913 ; GFX7:       ; %bb.0: ; %entry
4914 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4915 ; GFX7-NEXT:    s_mov_b32 m0, -1
4916 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4917 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4918 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4919 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4920 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4921 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4922 ; GFX7-NEXT:    ds_write_b32 v0, v1
4923 ; GFX7-NEXT:    s_endpgm
4924 ;
4925 ; GFX10-WGP-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4926 ; GFX10-WGP:       ; %bb.0: ; %entry
4927 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4928 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4929 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4930 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4931 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4932 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4933 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4934 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4935 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4936 ; GFX10-WGP-NEXT:    s_endpgm
4937 ;
4938 ; GFX10-CU-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4939 ; GFX10-CU:       ; %bb.0: ; %entry
4940 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4941 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4942 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4943 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4944 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4945 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4946 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4947 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4948 ; GFX10-CU-NEXT:    s_endpgm
4949 ;
4950 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4951 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4952 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4953 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4954 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4955 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4956 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
4957 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
4958 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4959 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4960 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4961 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4962 ;
4963 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4964 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4965 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4966 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4967 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4968 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4969 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4970 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4971 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4972 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4973 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4974 ;
4975 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4976 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4977 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4978 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4979 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4980 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4981 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4982 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4983 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4984 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4985 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4986 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4987 ;
4988 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
4989 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4990 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4991 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4992 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4993 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4994 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4995 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4996 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4997 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4998 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4999 ;
5000 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
5001 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5002 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5003 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5004 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5005 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5006 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5007 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5008 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5009 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5010 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5011 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5012 ;
5013 ; GFX11-WGP-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
5014 ; GFX11-WGP:       ; %bb.0: ; %entry
5015 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5016 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5017 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5018 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5019 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5020 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5021 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5022 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5023 ; GFX11-WGP-NEXT:    s_endpgm
5024 ;
5025 ; GFX11-CU-LABEL: local_agent_monotonic_acquire_ret_cmpxchg:
5026 ; GFX11-CU:       ; %bb.0: ; %entry
5027 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5028 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5029 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5030 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5031 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5032 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5033 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5034 ; GFX11-CU-NEXT:    s_endpgm
5035     ptr addrspace(3) %out, i32 %in, i32 %old) {
5036 entry:
5037   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5038   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic acquire
5039   %val0 = extractvalue { i32, i1 } %val, 0
5040   store i32 %val0, ptr addrspace(3) %out, align 4
5041   ret void
5042 }
5043
5044 define amdgpu_kernel void @local_agent_acquire_acquire_ret_cmpxchg(
5045 ; GFX6-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5046 ; GFX6:       ; %bb.0: ; %entry
5047 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5048 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5049 ; GFX6-NEXT:    s_mov_b32 m0, -1
5050 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5051 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5052 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5053 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5054 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5055 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5056 ; GFX6-NEXT:    ds_write_b32 v0, v1
5057 ; GFX6-NEXT:    s_endpgm
5058 ;
5059 ; GFX7-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5060 ; GFX7:       ; %bb.0: ; %entry
5061 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5062 ; GFX7-NEXT:    s_mov_b32 m0, -1
5063 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5064 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5065 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5066 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5067 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5068 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5069 ; GFX7-NEXT:    ds_write_b32 v0, v1
5070 ; GFX7-NEXT:    s_endpgm
5071 ;
5072 ; GFX10-WGP-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5073 ; GFX10-WGP:       ; %bb.0: ; %entry
5074 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5075 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5076 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5077 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5078 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5079 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5080 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5081 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5082 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5083 ; GFX10-WGP-NEXT:    s_endpgm
5084 ;
5085 ; GFX10-CU-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5086 ; GFX10-CU:       ; %bb.0: ; %entry
5087 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5088 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5089 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5090 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5091 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5092 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5093 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5094 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5095 ; GFX10-CU-NEXT:    s_endpgm
5096 ;
5097 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5098 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5099 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5100 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5101 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5102 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5103 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5104 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5105 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5106 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5107 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5108 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5109 ;
5110 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5111 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5112 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5113 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5114 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5115 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5116 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5117 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5118 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5119 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5120 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5121 ;
5122 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5123 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5124 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5125 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5126 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5127 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5128 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5129 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5130 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5131 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5132 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5133 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5134 ;
5135 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5136 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5137 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5138 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5139 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5140 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5141 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5142 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5143 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5144 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5145 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5146 ;
5147 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5148 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5149 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5150 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5151 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5152 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5153 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5154 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5155 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5156 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5157 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5158 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5159 ;
5160 ; GFX11-WGP-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5161 ; GFX11-WGP:       ; %bb.0: ; %entry
5162 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5163 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5164 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5165 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5166 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5167 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5168 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5169 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5170 ; GFX11-WGP-NEXT:    s_endpgm
5171 ;
5172 ; GFX11-CU-LABEL: local_agent_acquire_acquire_ret_cmpxchg:
5173 ; GFX11-CU:       ; %bb.0: ; %entry
5174 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5175 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5176 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5177 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5178 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5179 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5180 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5181 ; GFX11-CU-NEXT:    s_endpgm
5182     ptr addrspace(3) %out, i32 %in, i32 %old) {
5183 entry:
5184   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5185   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire acquire
5186   %val0 = extractvalue { i32, i1 } %val, 0
5187   store i32 %val0, ptr addrspace(3) %out, align 4
5188   ret void
5189 }
5190
5191 define amdgpu_kernel void @local_agent_release_acquire_ret_cmpxchg(
5192 ; GFX6-LABEL: local_agent_release_acquire_ret_cmpxchg:
5193 ; GFX6:       ; %bb.0: ; %entry
5194 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5195 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5196 ; GFX6-NEXT:    s_mov_b32 m0, -1
5197 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5198 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5199 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5200 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5201 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5202 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5203 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5204 ; GFX6-NEXT:    ds_write_b32 v0, v1
5205 ; GFX6-NEXT:    s_endpgm
5206 ;
5207 ; GFX7-LABEL: local_agent_release_acquire_ret_cmpxchg:
5208 ; GFX7:       ; %bb.0: ; %entry
5209 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5210 ; GFX7-NEXT:    s_mov_b32 m0, -1
5211 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5212 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5213 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5214 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5215 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5216 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5217 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5218 ; GFX7-NEXT:    ds_write_b32 v0, v1
5219 ; GFX7-NEXT:    s_endpgm
5220 ;
5221 ; GFX10-WGP-LABEL: local_agent_release_acquire_ret_cmpxchg:
5222 ; GFX10-WGP:       ; %bb.0: ; %entry
5223 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5224 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5225 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5226 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5227 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5228 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5229 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5230 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5231 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5232 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5233 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5234 ; GFX10-WGP-NEXT:    s_endpgm
5235 ;
5236 ; GFX10-CU-LABEL: local_agent_release_acquire_ret_cmpxchg:
5237 ; GFX10-CU:       ; %bb.0: ; %entry
5238 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5239 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5240 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5241 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5242 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5243 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5244 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5245 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5246 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5247 ; GFX10-CU-NEXT:    s_endpgm
5248 ;
5249 ; SKIP-CACHE-INV-LABEL: local_agent_release_acquire_ret_cmpxchg:
5250 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5251 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5252 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5253 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5254 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5255 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5256 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5257 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5258 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5259 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5260 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5261 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5262 ;
5263 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_acquire_ret_cmpxchg:
5264 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5265 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5266 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5267 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5268 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5269 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5270 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5271 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5272 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5273 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5274 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5275 ;
5276 ; GFX90A-TGSPLIT-LABEL: local_agent_release_acquire_ret_cmpxchg:
5277 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5278 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5279 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5280 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5281 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5282 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5283 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5284 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5285 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5286 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5287 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5288 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5289 ;
5290 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_acquire_ret_cmpxchg:
5291 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5292 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5293 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5294 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5295 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5296 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5297 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5298 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5299 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5300 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5301 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5302 ;
5303 ; GFX940-TGSPLIT-LABEL: local_agent_release_acquire_ret_cmpxchg:
5304 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5305 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5306 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5307 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5308 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5309 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5310 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5311 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5312 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5313 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5314 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5315 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5316 ;
5317 ; GFX11-WGP-LABEL: local_agent_release_acquire_ret_cmpxchg:
5318 ; GFX11-WGP:       ; %bb.0: ; %entry
5319 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5320 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5321 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5322 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5323 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5324 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5325 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5326 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5327 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5328 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5329 ; GFX11-WGP-NEXT:    s_endpgm
5330 ;
5331 ; GFX11-CU-LABEL: local_agent_release_acquire_ret_cmpxchg:
5332 ; GFX11-CU:       ; %bb.0: ; %entry
5333 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5334 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5335 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5336 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5337 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5338 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5339 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5340 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5341 ; GFX11-CU-NEXT:    s_endpgm
5342     ptr addrspace(3) %out, i32 %in, i32 %old) {
5343 entry:
5344   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5345   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release acquire
5346   %val0 = extractvalue { i32, i1 } %val, 0
5347   store i32 %val0, ptr addrspace(3) %out, align 4
5348   ret void
5349 }
5350
5351 define amdgpu_kernel void @local_agent_acq_rel_acquire_ret_cmpxchg(
5352 ; GFX6-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5353 ; GFX6:       ; %bb.0: ; %entry
5354 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5355 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5356 ; GFX6-NEXT:    s_mov_b32 m0, -1
5357 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5358 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5359 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5360 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5361 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5362 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5363 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5364 ; GFX6-NEXT:    ds_write_b32 v0, v1
5365 ; GFX6-NEXT:    s_endpgm
5366 ;
5367 ; GFX7-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5368 ; GFX7:       ; %bb.0: ; %entry
5369 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5370 ; GFX7-NEXT:    s_mov_b32 m0, -1
5371 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5372 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5373 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5374 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5375 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5376 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5377 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5378 ; GFX7-NEXT:    ds_write_b32 v0, v1
5379 ; GFX7-NEXT:    s_endpgm
5380 ;
5381 ; GFX10-WGP-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5382 ; GFX10-WGP:       ; %bb.0: ; %entry
5383 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5384 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5385 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5386 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5387 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5388 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5389 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5390 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5391 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5392 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5393 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5394 ; GFX10-WGP-NEXT:    s_endpgm
5395 ;
5396 ; GFX10-CU-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5397 ; GFX10-CU:       ; %bb.0: ; %entry
5398 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5399 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5400 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5401 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5402 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5403 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5404 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5405 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5406 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5407 ; GFX10-CU-NEXT:    s_endpgm
5408 ;
5409 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5410 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5411 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5412 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5413 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5414 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5415 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5416 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5417 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5418 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5419 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5420 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5421 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5422 ;
5423 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5424 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5425 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5426 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5427 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5428 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5429 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5430 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5431 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5432 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5433 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5434 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5435 ;
5436 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5437 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5438 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5439 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5440 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5441 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5442 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5443 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5444 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5445 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5446 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5447 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5448 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5449 ;
5450 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5451 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5452 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5453 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5454 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5455 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5456 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5457 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5458 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5459 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5460 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5461 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5462 ;
5463 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5464 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5465 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5466 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5467 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5468 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5469 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5470 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5471 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5472 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5473 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5474 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5475 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5476 ;
5477 ; GFX11-WGP-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5478 ; GFX11-WGP:       ; %bb.0: ; %entry
5479 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5480 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5481 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5482 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5483 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5484 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5485 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5486 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5487 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5488 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5489 ; GFX11-WGP-NEXT:    s_endpgm
5490 ;
5491 ; GFX11-CU-LABEL: local_agent_acq_rel_acquire_ret_cmpxchg:
5492 ; GFX11-CU:       ; %bb.0: ; %entry
5493 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5494 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5495 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5496 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5497 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5498 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5499 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5500 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5501 ; GFX11-CU-NEXT:    s_endpgm
5502     ptr addrspace(3) %out, i32 %in, i32 %old) {
5503 entry:
5504   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5505   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel acquire
5506   %val0 = extractvalue { i32, i1 } %val, 0
5507   store i32 %val0, ptr addrspace(3) %out, align 4
5508   ret void
5509 }
5510
5511 define amdgpu_kernel void @local_agent_seq_cst_acquire_ret_cmpxchg(
5512 ; GFX6-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5513 ; GFX6:       ; %bb.0: ; %entry
5514 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5515 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5516 ; GFX6-NEXT:    s_mov_b32 m0, -1
5517 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5518 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5519 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5520 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5521 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5522 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5523 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5524 ; GFX6-NEXT:    ds_write_b32 v0, v1
5525 ; GFX6-NEXT:    s_endpgm
5526 ;
5527 ; GFX7-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5528 ; GFX7:       ; %bb.0: ; %entry
5529 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5530 ; GFX7-NEXT:    s_mov_b32 m0, -1
5531 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5532 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5533 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5534 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5535 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5536 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5537 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5538 ; GFX7-NEXT:    ds_write_b32 v0, v1
5539 ; GFX7-NEXT:    s_endpgm
5540 ;
5541 ; GFX10-WGP-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5542 ; GFX10-WGP:       ; %bb.0: ; %entry
5543 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5544 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5545 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5546 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5547 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5548 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5549 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5550 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5551 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5552 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5553 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5554 ; GFX10-WGP-NEXT:    s_endpgm
5555 ;
5556 ; GFX10-CU-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5557 ; GFX10-CU:       ; %bb.0: ; %entry
5558 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5559 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5560 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5561 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5562 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5563 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5564 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5565 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5566 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5567 ; GFX10-CU-NEXT:    s_endpgm
5568 ;
5569 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5570 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5571 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5572 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5573 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5574 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5575 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5576 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5577 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5578 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5579 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5580 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5581 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5582 ;
5583 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5584 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5585 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5586 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5587 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5588 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5589 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5590 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5591 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5592 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5593 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5594 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5595 ;
5596 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5597 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5598 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5599 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5600 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5601 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5602 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5603 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5604 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5605 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5606 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5607 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5608 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5609 ;
5610 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5611 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5612 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5613 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5614 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5615 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5616 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5617 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5618 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5619 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5620 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5621 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5622 ;
5623 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5624 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5625 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5626 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5627 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5628 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5629 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5630 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5631 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5632 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5633 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5634 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5635 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5636 ;
5637 ; GFX11-WGP-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5638 ; GFX11-WGP:       ; %bb.0: ; %entry
5639 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5640 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5641 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5642 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5643 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5644 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5645 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5646 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5647 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5648 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5649 ; GFX11-WGP-NEXT:    s_endpgm
5650 ;
5651 ; GFX11-CU-LABEL: local_agent_seq_cst_acquire_ret_cmpxchg:
5652 ; GFX11-CU:       ; %bb.0: ; %entry
5653 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5654 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5655 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5656 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5657 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5658 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5659 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5660 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5661 ; GFX11-CU-NEXT:    s_endpgm
5662     ptr addrspace(3) %out, i32 %in, i32 %old) {
5663 entry:
5664   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5665   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst acquire
5666   %val0 = extractvalue { i32, i1 } %val, 0
5667   store i32 %val0, ptr addrspace(3) %out, align 4
5668   ret void
5669 }
5670
5671 define amdgpu_kernel void @local_agent_monotonic_seq_cst_ret_cmpxchg(
5672 ; GFX6-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5673 ; GFX6:       ; %bb.0: ; %entry
5674 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5675 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5676 ; GFX6-NEXT:    s_mov_b32 m0, -1
5677 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5678 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5679 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5680 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5681 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5682 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5683 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5684 ; GFX6-NEXT:    ds_write_b32 v0, v1
5685 ; GFX6-NEXT:    s_endpgm
5686 ;
5687 ; GFX7-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5688 ; GFX7:       ; %bb.0: ; %entry
5689 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5690 ; GFX7-NEXT:    s_mov_b32 m0, -1
5691 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5692 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5693 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5694 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5695 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5696 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5697 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5698 ; GFX7-NEXT:    ds_write_b32 v0, v1
5699 ; GFX7-NEXT:    s_endpgm
5700 ;
5701 ; GFX10-WGP-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5702 ; GFX10-WGP:       ; %bb.0: ; %entry
5703 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5704 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5705 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5706 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5707 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5708 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5709 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5710 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5711 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5712 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5713 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5714 ; GFX10-WGP-NEXT:    s_endpgm
5715 ;
5716 ; GFX10-CU-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5717 ; GFX10-CU:       ; %bb.0: ; %entry
5718 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5719 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5720 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5721 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5722 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5723 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5724 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5725 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5726 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5727 ; GFX10-CU-NEXT:    s_endpgm
5728 ;
5729 ; SKIP-CACHE-INV-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5730 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5731 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5732 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5733 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5734 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5735 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5736 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5737 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5738 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5739 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5740 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5741 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5742 ;
5743 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5744 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5745 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5746 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5747 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5748 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5749 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5750 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5751 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5752 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5753 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5754 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5755 ;
5756 ; GFX90A-TGSPLIT-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5757 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5758 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5759 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5760 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5761 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5762 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5763 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5764 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5765 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5766 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5767 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5768 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5769 ;
5770 ; GFX940-NOTTGSPLIT-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5771 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5772 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5773 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5774 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5775 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5776 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5777 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5778 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5779 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5780 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5781 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5782 ;
5783 ; GFX940-TGSPLIT-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5784 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5785 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5786 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5787 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5788 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5789 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5790 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5791 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5792 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5793 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5794 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5795 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5796 ;
5797 ; GFX11-WGP-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5798 ; GFX11-WGP:       ; %bb.0: ; %entry
5799 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5800 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5801 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5802 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5803 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5804 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5805 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5806 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5807 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5808 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5809 ; GFX11-WGP-NEXT:    s_endpgm
5810 ;
5811 ; GFX11-CU-LABEL: local_agent_monotonic_seq_cst_ret_cmpxchg:
5812 ; GFX11-CU:       ; %bb.0: ; %entry
5813 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5814 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5815 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5816 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5817 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5818 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5819 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5820 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5821 ; GFX11-CU-NEXT:    s_endpgm
5822     ptr addrspace(3) %out, i32 %in, i32 %old) {
5823 entry:
5824   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5825   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") monotonic seq_cst
5826   %val0 = extractvalue { i32, i1 } %val, 0
5827   store i32 %val0, ptr addrspace(3) %out, align 4
5828   ret void
5829 }
5830
5831 define amdgpu_kernel void @local_agent_acquire_seq_cst_ret_cmpxchg(
5832 ; GFX6-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5833 ; GFX6:       ; %bb.0: ; %entry
5834 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5835 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5836 ; GFX6-NEXT:    s_mov_b32 m0, -1
5837 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5838 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5839 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5840 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5841 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5842 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5843 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5844 ; GFX6-NEXT:    ds_write_b32 v0, v1
5845 ; GFX6-NEXT:    s_endpgm
5846 ;
5847 ; GFX7-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5848 ; GFX7:       ; %bb.0: ; %entry
5849 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5850 ; GFX7-NEXT:    s_mov_b32 m0, -1
5851 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5852 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5853 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5854 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5855 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5856 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5857 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5858 ; GFX7-NEXT:    ds_write_b32 v0, v1
5859 ; GFX7-NEXT:    s_endpgm
5860 ;
5861 ; GFX10-WGP-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5862 ; GFX10-WGP:       ; %bb.0: ; %entry
5863 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5864 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5865 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5866 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5867 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5868 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5869 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5870 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5871 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5872 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5873 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5874 ; GFX10-WGP-NEXT:    s_endpgm
5875 ;
5876 ; GFX10-CU-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5877 ; GFX10-CU:       ; %bb.0: ; %entry
5878 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5879 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5880 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5881 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5882 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5883 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5884 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5885 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5886 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5887 ; GFX10-CU-NEXT:    s_endpgm
5888 ;
5889 ; SKIP-CACHE-INV-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5890 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5891 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5892 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5893 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5894 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5895 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5896 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5897 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5898 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5899 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5900 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5901 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5902 ;
5903 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5904 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5905 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5906 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5907 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5908 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5909 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5910 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5911 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5912 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5913 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5914 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5915 ;
5916 ; GFX90A-TGSPLIT-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5917 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5918 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5919 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5920 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5921 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5922 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5923 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5924 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5925 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5926 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5927 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5928 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5929 ;
5930 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5931 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5932 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5933 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5934 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5935 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5936 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5937 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5938 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5939 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5940 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5941 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5942 ;
5943 ; GFX940-TGSPLIT-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5944 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5945 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5946 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5947 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5948 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5949 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5950 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5951 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5952 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
5953 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5954 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5955 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5956 ;
5957 ; GFX11-WGP-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5958 ; GFX11-WGP:       ; %bb.0: ; %entry
5959 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5960 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5961 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5962 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
5963 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5964 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5965 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5966 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5967 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5968 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5969 ; GFX11-WGP-NEXT:    s_endpgm
5970 ;
5971 ; GFX11-CU-LABEL: local_agent_acquire_seq_cst_ret_cmpxchg:
5972 ; GFX11-CU:       ; %bb.0: ; %entry
5973 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5974 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5975 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5976 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
5977 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5978 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5979 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5980 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5981 ; GFX11-CU-NEXT:    s_endpgm
5982     ptr addrspace(3) %out, i32 %in, i32 %old) {
5983 entry:
5984   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5985   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acquire seq_cst
5986   %val0 = extractvalue { i32, i1 } %val, 0
5987   store i32 %val0, ptr addrspace(3) %out, align 4
5988   ret void
5989 }
5990
5991 define amdgpu_kernel void @local_agent_release_seq_cst_ret_cmpxchg(
5992 ; GFX6-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
5993 ; GFX6:       ; %bb.0: ; %entry
5994 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5995 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5996 ; GFX6-NEXT:    s_mov_b32 m0, -1
5997 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5998 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5999 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6000 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6001 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6002 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6003 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6004 ; GFX6-NEXT:    ds_write_b32 v0, v1
6005 ; GFX6-NEXT:    s_endpgm
6006 ;
6007 ; GFX7-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6008 ; GFX7:       ; %bb.0: ; %entry
6009 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6010 ; GFX7-NEXT:    s_mov_b32 m0, -1
6011 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6012 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6013 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6014 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6015 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6016 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6017 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6018 ; GFX7-NEXT:    ds_write_b32 v0, v1
6019 ; GFX7-NEXT:    s_endpgm
6020 ;
6021 ; GFX10-WGP-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6022 ; GFX10-WGP:       ; %bb.0: ; %entry
6023 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6024 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6025 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6026 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6027 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6028 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6029 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6030 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6031 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6032 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6033 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6034 ; GFX10-WGP-NEXT:    s_endpgm
6035 ;
6036 ; GFX10-CU-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6037 ; GFX10-CU:       ; %bb.0: ; %entry
6038 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6039 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6040 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6041 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6042 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6043 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6044 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6045 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6046 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6047 ; GFX10-CU-NEXT:    s_endpgm
6048 ;
6049 ; SKIP-CACHE-INV-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6050 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6051 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6052 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6053 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6054 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6055 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6056 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6057 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6058 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6059 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6060 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6061 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6062 ;
6063 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6064 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6065 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6066 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6067 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6068 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6069 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6070 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6071 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6072 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6073 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6074 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6075 ;
6076 ; GFX90A-TGSPLIT-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6077 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6078 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6079 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6080 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6081 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6082 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6083 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6084 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6085 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6086 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6087 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6088 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6089 ;
6090 ; GFX940-NOTTGSPLIT-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6091 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6092 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6093 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6094 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6095 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6096 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6097 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6098 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6099 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6100 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6101 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6102 ;
6103 ; GFX940-TGSPLIT-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6104 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6105 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6106 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6107 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6108 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6109 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6110 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6111 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6112 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
6113 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6114 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6115 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6116 ;
6117 ; GFX11-WGP-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6118 ; GFX11-WGP:       ; %bb.0: ; %entry
6119 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6120 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6121 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6122 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
6123 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6124 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6125 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6126 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6127 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6128 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6129 ; GFX11-WGP-NEXT:    s_endpgm
6130 ;
6131 ; GFX11-CU-LABEL: local_agent_release_seq_cst_ret_cmpxchg:
6132 ; GFX11-CU:       ; %bb.0: ; %entry
6133 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6134 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6135 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6136 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
6137 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6138 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6139 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6140 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6141 ; GFX11-CU-NEXT:    s_endpgm
6142     ptr addrspace(3) %out, i32 %in, i32 %old) {
6143 entry:
6144   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6145   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") release seq_cst
6146   %val0 = extractvalue { i32, i1 } %val, 0
6147   store i32 %val0, ptr addrspace(3) %out, align 4
6148   ret void
6149 }
6150
6151 define amdgpu_kernel void @local_agent_acq_rel_seq_cst_ret_cmpxchg(
6152 ; GFX6-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6153 ; GFX6:       ; %bb.0: ; %entry
6154 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6155 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6156 ; GFX6-NEXT:    s_mov_b32 m0, -1
6157 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6158 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6159 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6160 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6161 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6162 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6163 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6164 ; GFX6-NEXT:    ds_write_b32 v0, v1
6165 ; GFX6-NEXT:    s_endpgm
6166 ;
6167 ; GFX7-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6168 ; GFX7:       ; %bb.0: ; %entry
6169 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6170 ; GFX7-NEXT:    s_mov_b32 m0, -1
6171 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6172 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6173 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6174 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6175 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6176 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6177 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6178 ; GFX7-NEXT:    ds_write_b32 v0, v1
6179 ; GFX7-NEXT:    s_endpgm
6180 ;
6181 ; GFX10-WGP-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6182 ; GFX10-WGP:       ; %bb.0: ; %entry
6183 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6184 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6185 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6186 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6187 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6188 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6189 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6190 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6191 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6192 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6193 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6194 ; GFX10-WGP-NEXT:    s_endpgm
6195 ;
6196 ; GFX10-CU-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6197 ; GFX10-CU:       ; %bb.0: ; %entry
6198 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6199 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6200 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6201 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6202 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6203 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6204 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6205 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6206 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6207 ; GFX10-CU-NEXT:    s_endpgm
6208 ;
6209 ; SKIP-CACHE-INV-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6210 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6211 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6212 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6213 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6214 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6215 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6216 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6217 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6218 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6219 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6220 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6221 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6222 ;
6223 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6224 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6225 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6226 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6227 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6228 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6229 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6230 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6231 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6232 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6233 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6234 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6235 ;
6236 ; GFX90A-TGSPLIT-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6237 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6238 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6239 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6240 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6241 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6242 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6243 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6244 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6245 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6246 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6247 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6248 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6249 ;
6250 ; GFX940-NOTTGSPLIT-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6251 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6252 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6253 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6254 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6255 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6256 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6257 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6258 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6259 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6260 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6261 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6262 ;
6263 ; GFX940-TGSPLIT-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6264 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6265 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6266 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6267 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6268 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6269 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6270 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6271 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6272 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
6273 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6274 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6275 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6276 ;
6277 ; GFX11-WGP-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6278 ; GFX11-WGP:       ; %bb.0: ; %entry
6279 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6280 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6281 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6282 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
6283 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6284 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6285 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6286 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6287 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6288 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6289 ; GFX11-WGP-NEXT:    s_endpgm
6290 ;
6291 ; GFX11-CU-LABEL: local_agent_acq_rel_seq_cst_ret_cmpxchg:
6292 ; GFX11-CU:       ; %bb.0: ; %entry
6293 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6294 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6295 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6296 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
6297 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6298 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6299 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6300 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6301 ; GFX11-CU-NEXT:    s_endpgm
6302     ptr addrspace(3) %out, i32 %in, i32 %old) {
6303 entry:
6304   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6305   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") acq_rel seq_cst
6306   %val0 = extractvalue { i32, i1 } %val, 0
6307   store i32 %val0, ptr addrspace(3) %out, align 4
6308   ret void
6309 }
6310
6311 define amdgpu_kernel void @local_agent_seq_cst_seq_cst_ret_cmpxchg(
6312 ; GFX6-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6313 ; GFX6:       ; %bb.0: ; %entry
6314 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6315 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6316 ; GFX6-NEXT:    s_mov_b32 m0, -1
6317 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6318 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6319 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6320 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6321 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6322 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6323 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6324 ; GFX6-NEXT:    ds_write_b32 v0, v1
6325 ; GFX6-NEXT:    s_endpgm
6326 ;
6327 ; GFX7-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6328 ; GFX7:       ; %bb.0: ; %entry
6329 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6330 ; GFX7-NEXT:    s_mov_b32 m0, -1
6331 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6332 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6333 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6334 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6335 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6336 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6337 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6338 ; GFX7-NEXT:    ds_write_b32 v0, v1
6339 ; GFX7-NEXT:    s_endpgm
6340 ;
6341 ; GFX10-WGP-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6342 ; GFX10-WGP:       ; %bb.0: ; %entry
6343 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6344 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6345 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6346 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6347 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6348 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6349 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6350 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6351 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6352 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6353 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6354 ; GFX10-WGP-NEXT:    s_endpgm
6355 ;
6356 ; GFX10-CU-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6357 ; GFX10-CU:       ; %bb.0: ; %entry
6358 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6359 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6360 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6361 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6362 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6363 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6364 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6365 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6366 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6367 ; GFX10-CU-NEXT:    s_endpgm
6368 ;
6369 ; SKIP-CACHE-INV-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6370 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6371 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6372 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6373 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6374 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6375 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6376 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6377 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6378 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6379 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6380 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6381 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6382 ;
6383 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6384 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6385 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6386 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6388 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6389 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6390 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6391 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6392 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6393 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6394 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6395 ;
6396 ; GFX90A-TGSPLIT-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6397 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6398 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6399 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6400 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6401 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6402 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6403 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6404 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6405 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6406 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6407 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6408 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6409 ;
6410 ; GFX940-NOTTGSPLIT-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6411 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6412 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6413 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6414 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6415 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6416 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6417 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6418 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6419 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6420 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6421 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6422 ;
6423 ; GFX940-TGSPLIT-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6424 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6425 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6426 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6427 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6428 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6429 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6430 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6431 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6432 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc0
6433 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6434 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6435 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6436 ;
6437 ; GFX11-WGP-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6438 ; GFX11-WGP:       ; %bb.0: ; %entry
6439 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6440 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6441 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6442 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
6443 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6444 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6445 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6446 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6447 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6448 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6449 ; GFX11-WGP-NEXT:    s_endpgm
6450 ;
6451 ; GFX11-CU-LABEL: local_agent_seq_cst_seq_cst_ret_cmpxchg:
6452 ; GFX11-CU:       ; %bb.0: ; %entry
6453 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6454 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6455 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6456 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
6457 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6458 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6459 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6460 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6461 ; GFX11-CU-NEXT:    s_endpgm
6462     ptr addrspace(3) %out, i32 %in, i32 %old) {
6463 entry:
6464   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6465   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent") seq_cst seq_cst
6466   %val0 = extractvalue { i32, i1 } %val, 0
6467   store i32 %val0, ptr addrspace(3) %out, align 4
6468   ret void
6469 }
6470
6471 define amdgpu_kernel void @local_agent_one_as_unordered_load(
6472 ; GFX6-LABEL: local_agent_one_as_unordered_load:
6473 ; GFX6:       ; %bb.0: ; %entry
6474 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6475 ; GFX6-NEXT:    s_mov_b32 m0, -1
6476 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6477 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
6478 ; GFX6-NEXT:    ds_read_b32 v0, v0
6479 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6480 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6481 ; GFX6-NEXT:    ds_write_b32 v1, v0
6482 ; GFX6-NEXT:    s_endpgm
6483 ;
6484 ; GFX7-LABEL: local_agent_one_as_unordered_load:
6485 ; GFX7:       ; %bb.0: ; %entry
6486 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6487 ; GFX7-NEXT:    s_mov_b32 m0, -1
6488 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6489 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6490 ; GFX7-NEXT:    ds_read_b32 v0, v0
6491 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6492 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6493 ; GFX7-NEXT:    ds_write_b32 v1, v0
6494 ; GFX7-NEXT:    s_endpgm
6495 ;
6496 ; GFX10-WGP-LABEL: local_agent_one_as_unordered_load:
6497 ; GFX10-WGP:       ; %bb.0: ; %entry
6498 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6499 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6500 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6501 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6502 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
6503 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6504 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
6505 ; GFX10-WGP-NEXT:    s_endpgm
6506 ;
6507 ; GFX10-CU-LABEL: local_agent_one_as_unordered_load:
6508 ; GFX10-CU:       ; %bb.0: ; %entry
6509 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6510 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6511 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6512 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6513 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
6514 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6515 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
6516 ; GFX10-CU-NEXT:    s_endpgm
6517 ;
6518 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_unordered_load:
6519 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6520 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6521 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6522 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6523 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6524 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
6525 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6526 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6527 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
6528 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6529 ;
6530 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_unordered_load:
6531 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6532 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6533 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6534 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6535 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6536 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6537 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6538 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6539 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6540 ;
6541 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_unordered_load:
6542 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6543 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6544 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6545 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6546 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6547 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6548 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6549 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6550 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6551 ;
6552 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_unordered_load:
6553 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6554 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6555 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6556 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6557 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6558 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6559 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6560 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6561 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6562 ;
6563 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_unordered_load:
6564 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6565 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6566 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6567 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6568 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6569 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6570 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6571 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6572 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6573 ;
6574 ; GFX11-WGP-LABEL: local_agent_one_as_unordered_load:
6575 ; GFX11-WGP:       ; %bb.0: ; %entry
6576 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6577 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6578 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6579 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
6580 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6581 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
6582 ; GFX11-WGP-NEXT:    s_endpgm
6583 ;
6584 ; GFX11-CU-LABEL: local_agent_one_as_unordered_load:
6585 ; GFX11-CU:       ; %bb.0: ; %entry
6586 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6587 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6588 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6589 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
6590 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6591 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
6592 ; GFX11-CU-NEXT:    s_endpgm
6593     ptr addrspace(3) %in, ptr addrspace(3) %out) {
6594 entry:
6595   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent-one-as") unordered, align 4
6596   store i32 %val, ptr addrspace(3) %out
6597   ret void
6598 }
6599
6600 define amdgpu_kernel void @local_agent_one_as_monotonic_load(
6601 ; GFX6-LABEL: local_agent_one_as_monotonic_load:
6602 ; GFX6:       ; %bb.0: ; %entry
6603 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6604 ; GFX6-NEXT:    s_mov_b32 m0, -1
6605 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6606 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
6607 ; GFX6-NEXT:    ds_read_b32 v0, v0
6608 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6609 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6610 ; GFX6-NEXT:    ds_write_b32 v1, v0
6611 ; GFX6-NEXT:    s_endpgm
6612 ;
6613 ; GFX7-LABEL: local_agent_one_as_monotonic_load:
6614 ; GFX7:       ; %bb.0: ; %entry
6615 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6616 ; GFX7-NEXT:    s_mov_b32 m0, -1
6617 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6618 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6619 ; GFX7-NEXT:    ds_read_b32 v0, v0
6620 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6621 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6622 ; GFX7-NEXT:    ds_write_b32 v1, v0
6623 ; GFX7-NEXT:    s_endpgm
6624 ;
6625 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_load:
6626 ; GFX10-WGP:       ; %bb.0: ; %entry
6627 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6628 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6629 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6630 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6631 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
6632 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6633 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
6634 ; GFX10-WGP-NEXT:    s_endpgm
6635 ;
6636 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_load:
6637 ; GFX10-CU:       ; %bb.0: ; %entry
6638 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6639 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6640 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6641 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6642 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
6643 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6644 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
6645 ; GFX10-CU-NEXT:    s_endpgm
6646 ;
6647 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_load:
6648 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6649 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6650 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6651 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6652 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6653 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
6654 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6655 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6656 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
6657 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6658 ;
6659 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_load:
6660 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6661 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6662 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6663 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6664 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6665 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6666 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6667 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6668 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6669 ;
6670 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_load:
6671 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6672 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6673 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6674 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6675 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6676 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6677 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6678 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6679 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6680 ;
6681 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_load:
6682 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6683 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6684 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6685 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6686 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6687 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6688 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6689 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6690 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6691 ;
6692 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_load:
6693 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6694 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6695 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6696 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6697 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6698 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6699 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6700 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6701 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6702 ;
6703 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_load:
6704 ; GFX11-WGP:       ; %bb.0: ; %entry
6705 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6706 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6707 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6708 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
6709 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6710 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
6711 ; GFX11-WGP-NEXT:    s_endpgm
6712 ;
6713 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_load:
6714 ; GFX11-CU:       ; %bb.0: ; %entry
6715 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6716 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6717 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6718 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
6719 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6720 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
6721 ; GFX11-CU-NEXT:    s_endpgm
6722     ptr addrspace(3) %in, ptr addrspace(3) %out) {
6723 entry:
6724   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent-one-as") monotonic, align 4
6725   store i32 %val, ptr addrspace(3) %out
6726   ret void
6727 }
6728
6729 define amdgpu_kernel void @local_agent_one_as_acquire_load(
6730 ; GFX6-LABEL: local_agent_one_as_acquire_load:
6731 ; GFX6:       ; %bb.0: ; %entry
6732 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6733 ; GFX6-NEXT:    s_mov_b32 m0, -1
6734 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6735 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
6736 ; GFX6-NEXT:    ds_read_b32 v0, v0
6737 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6738 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6739 ; GFX6-NEXT:    ds_write_b32 v1, v0
6740 ; GFX6-NEXT:    s_endpgm
6741 ;
6742 ; GFX7-LABEL: local_agent_one_as_acquire_load:
6743 ; GFX7:       ; %bb.0: ; %entry
6744 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6745 ; GFX7-NEXT:    s_mov_b32 m0, -1
6746 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6747 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6748 ; GFX7-NEXT:    ds_read_b32 v0, v0
6749 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6750 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6751 ; GFX7-NEXT:    ds_write_b32 v1, v0
6752 ; GFX7-NEXT:    s_endpgm
6753 ;
6754 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_load:
6755 ; GFX10-WGP:       ; %bb.0: ; %entry
6756 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6757 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6758 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6759 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6760 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
6761 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6762 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
6763 ; GFX10-WGP-NEXT:    s_endpgm
6764 ;
6765 ; GFX10-CU-LABEL: local_agent_one_as_acquire_load:
6766 ; GFX10-CU:       ; %bb.0: ; %entry
6767 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6768 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6769 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6770 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6771 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
6772 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6773 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
6774 ; GFX10-CU-NEXT:    s_endpgm
6775 ;
6776 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_load:
6777 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6778 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6779 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6780 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6781 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6782 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
6783 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6784 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6785 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
6786 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6787 ;
6788 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_load:
6789 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6790 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6791 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6792 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6793 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6794 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6795 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6796 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6797 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6798 ;
6799 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_load:
6800 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6801 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6802 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6803 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6804 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6805 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6806 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6807 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6808 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6809 ;
6810 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_load:
6811 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6812 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6813 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6814 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6815 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6816 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6817 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6818 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6819 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6820 ;
6821 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_load:
6822 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6823 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6824 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6825 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6826 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6827 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6828 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6829 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6830 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6831 ;
6832 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_load:
6833 ; GFX11-WGP:       ; %bb.0: ; %entry
6834 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6835 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6836 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6837 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
6838 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6839 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
6840 ; GFX11-WGP-NEXT:    s_endpgm
6841 ;
6842 ; GFX11-CU-LABEL: local_agent_one_as_acquire_load:
6843 ; GFX11-CU:       ; %bb.0: ; %entry
6844 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6845 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6846 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6847 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
6848 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6849 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
6850 ; GFX11-CU-NEXT:    s_endpgm
6851     ptr addrspace(3) %in, ptr addrspace(3) %out) {
6852 entry:
6853   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent-one-as") acquire, align 4
6854   store i32 %val, ptr addrspace(3) %out
6855   ret void
6856 }
6857
6858 define amdgpu_kernel void @local_agent_one_as_seq_cst_load(
6859 ; GFX6-LABEL: local_agent_one_as_seq_cst_load:
6860 ; GFX6:       ; %bb.0: ; %entry
6861 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6862 ; GFX6-NEXT:    s_mov_b32 m0, -1
6863 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6864 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
6865 ; GFX6-NEXT:    ds_read_b32 v0, v0
6866 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6867 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6868 ; GFX6-NEXT:    ds_write_b32 v1, v0
6869 ; GFX6-NEXT:    s_endpgm
6870 ;
6871 ; GFX7-LABEL: local_agent_one_as_seq_cst_load:
6872 ; GFX7:       ; %bb.0: ; %entry
6873 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6874 ; GFX7-NEXT:    s_mov_b32 m0, -1
6875 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6876 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6877 ; GFX7-NEXT:    ds_read_b32 v0, v0
6878 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6879 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6880 ; GFX7-NEXT:    ds_write_b32 v1, v0
6881 ; GFX7-NEXT:    s_endpgm
6882 ;
6883 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_load:
6884 ; GFX10-WGP:       ; %bb.0: ; %entry
6885 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6886 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6887 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6888 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6889 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
6890 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6891 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
6892 ; GFX10-WGP-NEXT:    s_endpgm
6893 ;
6894 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_load:
6895 ; GFX10-CU:       ; %bb.0: ; %entry
6896 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6897 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6898 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6899 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6900 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
6901 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6902 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
6903 ; GFX10-CU-NEXT:    s_endpgm
6904 ;
6905 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_load:
6906 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6907 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6908 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6909 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6910 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6911 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
6912 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6913 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6914 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
6915 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6916 ;
6917 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_load:
6918 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6919 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6920 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6921 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6922 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6923 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6924 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6925 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6926 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6927 ;
6928 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_load:
6929 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6930 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6931 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6932 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6933 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6934 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6935 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6936 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6937 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6938 ;
6939 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_load:
6940 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6941 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6942 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6943 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6944 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
6945 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6946 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6947 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
6948 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6949 ;
6950 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_load:
6951 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6952 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
6953 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6954 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6955 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v0, v0
6956 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
6957 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6958 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v1, v0
6959 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6960 ;
6961 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_load:
6962 ; GFX11-WGP:       ; %bb.0: ; %entry
6963 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6964 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6965 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6966 ; GFX11-WGP-NEXT:    ds_load_b32 v0, v0
6967 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6968 ; GFX11-WGP-NEXT:    ds_store_b32 v1, v0
6969 ; GFX11-WGP-NEXT:    s_endpgm
6970 ;
6971 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_load:
6972 ; GFX11-CU:       ; %bb.0: ; %entry
6973 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
6974 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6975 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6976 ; GFX11-CU-NEXT:    ds_load_b32 v0, v0
6977 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6978 ; GFX11-CU-NEXT:    ds_store_b32 v1, v0
6979 ; GFX11-CU-NEXT:    s_endpgm
6980     ptr addrspace(3) %in, ptr addrspace(3) %out) {
6981 entry:
6982   %val = load atomic i32, ptr addrspace(3) %in syncscope("agent-one-as") seq_cst, align 4
6983   store i32 %val, ptr addrspace(3) %out
6984   ret void
6985 }
6986
6987 define amdgpu_kernel void @local_agent_one_as_unordered_store(
6988 ; GFX6-LABEL: local_agent_one_as_unordered_store:
6989 ; GFX6:       ; %bb.0: ; %entry
6990 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
6991 ; GFX6-NEXT:    s_mov_b32 m0, -1
6992 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6993 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
6994 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
6995 ; GFX6-NEXT:    ds_write_b32 v0, v1
6996 ; GFX6-NEXT:    s_endpgm
6997 ;
6998 ; GFX7-LABEL: local_agent_one_as_unordered_store:
6999 ; GFX7:       ; %bb.0: ; %entry
7000 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7001 ; GFX7-NEXT:    s_mov_b32 m0, -1
7002 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7003 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
7004 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
7005 ; GFX7-NEXT:    ds_write_b32 v0, v1
7006 ; GFX7-NEXT:    s_endpgm
7007 ;
7008 ; GFX10-WGP-LABEL: local_agent_one_as_unordered_store:
7009 ; GFX10-WGP:       ; %bb.0: ; %entry
7010 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7011 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7012 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
7013 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
7014 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7015 ; GFX10-WGP-NEXT:    s_endpgm
7016 ;
7017 ; GFX10-CU-LABEL: local_agent_one_as_unordered_store:
7018 ; GFX10-CU:       ; %bb.0: ; %entry
7019 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7020 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7021 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
7022 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
7023 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7024 ; GFX10-CU-NEXT:    s_endpgm
7025 ;
7026 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_unordered_store:
7027 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7028 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7029 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7030 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7031 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
7032 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7033 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7034 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7035 ;
7036 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_unordered_store:
7037 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7038 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7039 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7040 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7041 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7042 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7043 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7044 ;
7045 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_unordered_store:
7046 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7047 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7048 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7049 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7050 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7051 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7052 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7053 ;
7054 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_unordered_store:
7055 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7056 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7057 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7058 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7059 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7060 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7061 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7062 ;
7063 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_unordered_store:
7064 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7065 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7066 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7067 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7068 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7069 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7070 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7071 ;
7072 ; GFX11-WGP-LABEL: local_agent_one_as_unordered_store:
7073 ; GFX11-WGP:       ; %bb.0: ; %entry
7074 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7075 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7076 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7077 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7078 ; GFX11-WGP-NEXT:    s_endpgm
7079 ;
7080 ; GFX11-CU-LABEL: local_agent_one_as_unordered_store:
7081 ; GFX11-CU:       ; %bb.0: ; %entry
7082 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7083 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7084 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7085 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7086 ; GFX11-CU-NEXT:    s_endpgm
7087     i32 %in, ptr addrspace(3) %out) {
7088 entry:
7089   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent-one-as") unordered, align 4
7090   ret void
7091 }
7092
7093 define amdgpu_kernel void @local_agent_one_as_monotonic_store(
7094 ; GFX6-LABEL: local_agent_one_as_monotonic_store:
7095 ; GFX6:       ; %bb.0: ; %entry
7096 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7097 ; GFX6-NEXT:    s_mov_b32 m0, -1
7098 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7099 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
7100 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
7101 ; GFX6-NEXT:    ds_write_b32 v0, v1
7102 ; GFX6-NEXT:    s_endpgm
7103 ;
7104 ; GFX7-LABEL: local_agent_one_as_monotonic_store:
7105 ; GFX7:       ; %bb.0: ; %entry
7106 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7107 ; GFX7-NEXT:    s_mov_b32 m0, -1
7108 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7109 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
7110 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
7111 ; GFX7-NEXT:    ds_write_b32 v0, v1
7112 ; GFX7-NEXT:    s_endpgm
7113 ;
7114 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_store:
7115 ; GFX10-WGP:       ; %bb.0: ; %entry
7116 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7117 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7118 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
7119 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
7120 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7121 ; GFX10-WGP-NEXT:    s_endpgm
7122 ;
7123 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_store:
7124 ; GFX10-CU:       ; %bb.0: ; %entry
7125 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7126 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7127 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
7128 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
7129 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7130 ; GFX10-CU-NEXT:    s_endpgm
7131 ;
7132 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_store:
7133 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7134 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7135 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7136 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7137 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
7138 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7139 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7140 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7141 ;
7142 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_store:
7143 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7144 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7145 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7146 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7147 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7148 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7149 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7150 ;
7151 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_store:
7152 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7153 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7154 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7155 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7156 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7157 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7158 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7159 ;
7160 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_store:
7161 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7162 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7163 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7164 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7165 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7166 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7167 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7168 ;
7169 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_store:
7170 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7171 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7172 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7173 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7174 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7175 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7176 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7177 ;
7178 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_store:
7179 ; GFX11-WGP:       ; %bb.0: ; %entry
7180 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7181 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7182 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7183 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7184 ; GFX11-WGP-NEXT:    s_endpgm
7185 ;
7186 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_store:
7187 ; GFX11-CU:       ; %bb.0: ; %entry
7188 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7189 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7190 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7191 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7192 ; GFX11-CU-NEXT:    s_endpgm
7193     i32 %in, ptr addrspace(3) %out) {
7194 entry:
7195   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent-one-as") monotonic, align 4
7196   ret void
7197 }
7198
7199 define amdgpu_kernel void @local_agent_one_as_release_store(
7200 ; GFX6-LABEL: local_agent_one_as_release_store:
7201 ; GFX6:       ; %bb.0: ; %entry
7202 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7203 ; GFX6-NEXT:    s_mov_b32 m0, -1
7204 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7205 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
7206 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
7207 ; GFX6-NEXT:    ds_write_b32 v0, v1
7208 ; GFX6-NEXT:    s_endpgm
7209 ;
7210 ; GFX7-LABEL: local_agent_one_as_release_store:
7211 ; GFX7:       ; %bb.0: ; %entry
7212 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7213 ; GFX7-NEXT:    s_mov_b32 m0, -1
7214 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7215 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
7216 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
7217 ; GFX7-NEXT:    ds_write_b32 v0, v1
7218 ; GFX7-NEXT:    s_endpgm
7219 ;
7220 ; GFX10-WGP-LABEL: local_agent_one_as_release_store:
7221 ; GFX10-WGP:       ; %bb.0: ; %entry
7222 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7223 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7224 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
7225 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
7226 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7227 ; GFX10-WGP-NEXT:    s_endpgm
7228 ;
7229 ; GFX10-CU-LABEL: local_agent_one_as_release_store:
7230 ; GFX10-CU:       ; %bb.0: ; %entry
7231 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7232 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7233 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
7234 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
7235 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7236 ; GFX10-CU-NEXT:    s_endpgm
7237 ;
7238 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_store:
7239 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7240 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7241 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7242 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7243 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
7244 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7245 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7246 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7247 ;
7248 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_store:
7249 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7250 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7251 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7252 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7253 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7254 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7255 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7256 ;
7257 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_store:
7258 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7259 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7260 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7261 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7262 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7263 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7264 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7265 ;
7266 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_store:
7267 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7268 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7269 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7270 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7271 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7272 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7273 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7274 ;
7275 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_store:
7276 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7277 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7278 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7279 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7280 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7281 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7282 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7283 ;
7284 ; GFX11-WGP-LABEL: local_agent_one_as_release_store:
7285 ; GFX11-WGP:       ; %bb.0: ; %entry
7286 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7287 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7288 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7289 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7290 ; GFX11-WGP-NEXT:    s_endpgm
7291 ;
7292 ; GFX11-CU-LABEL: local_agent_one_as_release_store:
7293 ; GFX11-CU:       ; %bb.0: ; %entry
7294 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7295 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7296 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7297 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7298 ; GFX11-CU-NEXT:    s_endpgm
7299     i32 %in, ptr addrspace(3) %out) {
7300 entry:
7301   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent-one-as") release, align 4
7302   ret void
7303 }
7304
7305 define amdgpu_kernel void @local_agent_one_as_seq_cst_store(
7306 ; GFX6-LABEL: local_agent_one_as_seq_cst_store:
7307 ; GFX6:       ; %bb.0: ; %entry
7308 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7309 ; GFX6-NEXT:    s_mov_b32 m0, -1
7310 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7311 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
7312 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
7313 ; GFX6-NEXT:    ds_write_b32 v0, v1
7314 ; GFX6-NEXT:    s_endpgm
7315 ;
7316 ; GFX7-LABEL: local_agent_one_as_seq_cst_store:
7317 ; GFX7:       ; %bb.0: ; %entry
7318 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7319 ; GFX7-NEXT:    s_mov_b32 m0, -1
7320 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7321 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
7322 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
7323 ; GFX7-NEXT:    ds_write_b32 v0, v1
7324 ; GFX7-NEXT:    s_endpgm
7325 ;
7326 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_store:
7327 ; GFX10-WGP:       ; %bb.0: ; %entry
7328 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7329 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7330 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
7331 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
7332 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7333 ; GFX10-WGP-NEXT:    s_endpgm
7334 ;
7335 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_store:
7336 ; GFX10-CU:       ; %bb.0: ; %entry
7337 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7338 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7339 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
7340 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
7341 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7342 ; GFX10-CU-NEXT:    s_endpgm
7343 ;
7344 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_store:
7345 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7346 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7347 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7348 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7349 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
7350 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7351 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7352 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7353 ;
7354 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_store:
7355 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7356 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7357 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7358 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7359 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7360 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7361 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7362 ;
7363 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_store:
7364 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7365 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7366 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7367 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7368 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7369 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7370 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7371 ;
7372 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_store:
7373 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7374 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7375 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7376 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7377 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7378 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7379 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7380 ;
7381 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_store:
7382 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7383 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7384 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7385 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
7386 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
7387 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7388 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7389 ;
7390 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_store:
7391 ; GFX11-WGP:       ; %bb.0: ; %entry
7392 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7393 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7394 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7395 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7396 ; GFX11-WGP-NEXT:    s_endpgm
7397 ;
7398 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_store:
7399 ; GFX11-CU:       ; %bb.0: ; %entry
7400 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7401 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7402 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s1 :: v_dual_mov_b32 v1, s0
7403 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7404 ; GFX11-CU-NEXT:    s_endpgm
7405     i32 %in, ptr addrspace(3) %out) {
7406 entry:
7407   store atomic i32 %in, ptr addrspace(3) %out syncscope("agent-one-as") seq_cst, align 4
7408   ret void
7409 }
7410
7411 define amdgpu_kernel void @local_agent_one_as_monotonic_atomicrmw(
7412 ; GFX6-LABEL: local_agent_one_as_monotonic_atomicrmw:
7413 ; GFX6:       ; %bb.0: ; %entry
7414 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7415 ; GFX6-NEXT:    s_mov_b32 m0, -1
7416 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7417 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7418 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7419 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7420 ; GFX6-NEXT:    s_endpgm
7421 ;
7422 ; GFX7-LABEL: local_agent_one_as_monotonic_atomicrmw:
7423 ; GFX7:       ; %bb.0: ; %entry
7424 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7425 ; GFX7-NEXT:    s_mov_b32 m0, -1
7426 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7427 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7428 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7429 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7430 ; GFX7-NEXT:    s_endpgm
7431 ;
7432 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_atomicrmw:
7433 ; GFX10-WGP:       ; %bb.0: ; %entry
7434 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7435 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7436 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7437 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7438 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7439 ; GFX10-WGP-NEXT:    s_endpgm
7440 ;
7441 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_atomicrmw:
7442 ; GFX10-CU:       ; %bb.0: ; %entry
7443 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7444 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7446 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7447 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7448 ; GFX10-CU-NEXT:    s_endpgm
7449 ;
7450 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_atomicrmw:
7451 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7452 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7453 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7454 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7455 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7456 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7457 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7458 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7459 ;
7460 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_atomicrmw:
7461 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7462 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7463 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7464 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7465 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7466 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7467 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7468 ;
7469 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_atomicrmw:
7470 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7471 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7472 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7473 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7474 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7475 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7476 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7477 ;
7478 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_atomicrmw:
7479 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7480 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7481 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7482 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7483 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7484 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7485 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7486 ;
7487 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_atomicrmw:
7488 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7489 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7490 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7491 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7492 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7493 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7494 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7495 ;
7496 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_atomicrmw:
7497 ; GFX11-WGP:       ; %bb.0: ; %entry
7498 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7499 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7500 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7501 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7502 ; GFX11-WGP-NEXT:    s_endpgm
7503 ;
7504 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_atomicrmw:
7505 ; GFX11-CU:       ; %bb.0: ; %entry
7506 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7507 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7508 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7509 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7510 ; GFX11-CU-NEXT:    s_endpgm
7511     ptr addrspace(3) %out, i32 %in) {
7512 entry:
7513   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") monotonic
7514   ret void
7515 }
7516
7517 define amdgpu_kernel void @local_agent_one_as_acquire_atomicrmw(
7518 ; GFX6-LABEL: local_agent_one_as_acquire_atomicrmw:
7519 ; GFX6:       ; %bb.0: ; %entry
7520 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7521 ; GFX6-NEXT:    s_mov_b32 m0, -1
7522 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7523 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7524 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7525 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7526 ; GFX6-NEXT:    s_endpgm
7527 ;
7528 ; GFX7-LABEL: local_agent_one_as_acquire_atomicrmw:
7529 ; GFX7:       ; %bb.0: ; %entry
7530 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7531 ; GFX7-NEXT:    s_mov_b32 m0, -1
7532 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7533 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7534 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7535 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7536 ; GFX7-NEXT:    s_endpgm
7537 ;
7538 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_atomicrmw:
7539 ; GFX10-WGP:       ; %bb.0: ; %entry
7540 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7541 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7542 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7544 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7545 ; GFX10-WGP-NEXT:    s_endpgm
7546 ;
7547 ; GFX10-CU-LABEL: local_agent_one_as_acquire_atomicrmw:
7548 ; GFX10-CU:       ; %bb.0: ; %entry
7549 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7550 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7551 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7552 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7553 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7554 ; GFX10-CU-NEXT:    s_endpgm
7555 ;
7556 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_atomicrmw:
7557 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7558 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7559 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7560 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7561 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7562 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7563 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7564 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7565 ;
7566 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_atomicrmw:
7567 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7568 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7569 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7570 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7571 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7572 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7573 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7574 ;
7575 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_atomicrmw:
7576 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7577 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7578 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7579 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7580 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7581 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7582 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7583 ;
7584 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_atomicrmw:
7585 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7586 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7587 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7588 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7589 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7590 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7591 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7592 ;
7593 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_atomicrmw:
7594 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7595 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7596 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7597 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7598 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7599 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7600 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7601 ;
7602 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_atomicrmw:
7603 ; GFX11-WGP:       ; %bb.0: ; %entry
7604 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7605 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7606 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7607 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7608 ; GFX11-WGP-NEXT:    s_endpgm
7609 ;
7610 ; GFX11-CU-LABEL: local_agent_one_as_acquire_atomicrmw:
7611 ; GFX11-CU:       ; %bb.0: ; %entry
7612 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7613 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7614 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7615 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7616 ; GFX11-CU-NEXT:    s_endpgm
7617     ptr addrspace(3) %out, i32 %in) {
7618 entry:
7619   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") acquire
7620   ret void
7621 }
7622
7623 define amdgpu_kernel void @local_agent_one_as_release_atomicrmw(
7624 ; GFX6-LABEL: local_agent_one_as_release_atomicrmw:
7625 ; GFX6:       ; %bb.0: ; %entry
7626 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7627 ; GFX6-NEXT:    s_mov_b32 m0, -1
7628 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7629 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7630 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7631 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7632 ; GFX6-NEXT:    s_endpgm
7633 ;
7634 ; GFX7-LABEL: local_agent_one_as_release_atomicrmw:
7635 ; GFX7:       ; %bb.0: ; %entry
7636 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7637 ; GFX7-NEXT:    s_mov_b32 m0, -1
7638 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7639 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7640 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7641 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7642 ; GFX7-NEXT:    s_endpgm
7643 ;
7644 ; GFX10-WGP-LABEL: local_agent_one_as_release_atomicrmw:
7645 ; GFX10-WGP:       ; %bb.0: ; %entry
7646 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7647 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7648 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7649 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7650 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7651 ; GFX10-WGP-NEXT:    s_endpgm
7652 ;
7653 ; GFX10-CU-LABEL: local_agent_one_as_release_atomicrmw:
7654 ; GFX10-CU:       ; %bb.0: ; %entry
7655 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7656 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7657 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7658 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7659 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7660 ; GFX10-CU-NEXT:    s_endpgm
7661 ;
7662 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_atomicrmw:
7663 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7664 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7665 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7666 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7667 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7668 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7669 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7670 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7671 ;
7672 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_atomicrmw:
7673 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7674 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7675 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7676 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7677 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7678 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7679 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7680 ;
7681 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_atomicrmw:
7682 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7683 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7684 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7685 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7686 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7687 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7688 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7689 ;
7690 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_atomicrmw:
7691 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7692 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7693 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7694 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7695 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7696 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7697 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7698 ;
7699 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_atomicrmw:
7700 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7701 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7702 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7703 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7704 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7705 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7706 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7707 ;
7708 ; GFX11-WGP-LABEL: local_agent_one_as_release_atomicrmw:
7709 ; GFX11-WGP:       ; %bb.0: ; %entry
7710 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7711 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7712 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7713 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7714 ; GFX11-WGP-NEXT:    s_endpgm
7715 ;
7716 ; GFX11-CU-LABEL: local_agent_one_as_release_atomicrmw:
7717 ; GFX11-CU:       ; %bb.0: ; %entry
7718 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7719 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7720 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7721 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7722 ; GFX11-CU-NEXT:    s_endpgm
7723     ptr addrspace(3) %out, i32 %in) {
7724 entry:
7725   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") release
7726   ret void
7727 }
7728
7729 define amdgpu_kernel void @local_agent_one_as_acq_rel_atomicrmw(
7730 ; GFX6-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7731 ; GFX6:       ; %bb.0: ; %entry
7732 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7733 ; GFX6-NEXT:    s_mov_b32 m0, -1
7734 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7735 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7736 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7737 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7738 ; GFX6-NEXT:    s_endpgm
7739 ;
7740 ; GFX7-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7741 ; GFX7:       ; %bb.0: ; %entry
7742 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7743 ; GFX7-NEXT:    s_mov_b32 m0, -1
7744 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7745 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7746 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7747 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7748 ; GFX7-NEXT:    s_endpgm
7749 ;
7750 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7751 ; GFX10-WGP:       ; %bb.0: ; %entry
7752 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7753 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7754 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7755 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7756 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7757 ; GFX10-WGP-NEXT:    s_endpgm
7758 ;
7759 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7760 ; GFX10-CU:       ; %bb.0: ; %entry
7761 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7762 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7763 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7764 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7765 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7766 ; GFX10-CU-NEXT:    s_endpgm
7767 ;
7768 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7769 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7770 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7771 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7772 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7773 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7774 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7775 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7776 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7777 ;
7778 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7779 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7780 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7781 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7782 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7783 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7784 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7785 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7786 ;
7787 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7788 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7789 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7790 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7791 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7792 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7793 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7794 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7795 ;
7796 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7797 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7798 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7799 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7800 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7801 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7802 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7803 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7804 ;
7805 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7806 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7807 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7808 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7809 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7810 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7811 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7812 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7813 ;
7814 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7815 ; GFX11-WGP:       ; %bb.0: ; %entry
7816 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7817 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7818 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7819 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7820 ; GFX11-WGP-NEXT:    s_endpgm
7821 ;
7822 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_atomicrmw:
7823 ; GFX11-CU:       ; %bb.0: ; %entry
7824 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7825 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7826 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7827 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7828 ; GFX11-CU-NEXT:    s_endpgm
7829     ptr addrspace(3) %out, i32 %in) {
7830 entry:
7831   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") acq_rel
7832   ret void
7833 }
7834
7835 define amdgpu_kernel void @local_agent_one_as_seq_cst_atomicrmw(
7836 ; GFX6-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7837 ; GFX6:       ; %bb.0: ; %entry
7838 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7839 ; GFX6-NEXT:    s_mov_b32 m0, -1
7840 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7841 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7842 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7843 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7844 ; GFX6-NEXT:    s_endpgm
7845 ;
7846 ; GFX7-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7847 ; GFX7:       ; %bb.0: ; %entry
7848 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7849 ; GFX7-NEXT:    s_mov_b32 m0, -1
7850 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7851 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7852 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7853 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7854 ; GFX7-NEXT:    s_endpgm
7855 ;
7856 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7857 ; GFX10-WGP:       ; %bb.0: ; %entry
7858 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7859 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7860 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7861 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7862 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7863 ; GFX10-WGP-NEXT:    s_endpgm
7864 ;
7865 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7866 ; GFX10-CU:       ; %bb.0: ; %entry
7867 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7868 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7869 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7870 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7871 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7872 ; GFX10-CU-NEXT:    s_endpgm
7873 ;
7874 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7875 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7876 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7877 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7878 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7879 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7880 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7881 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7882 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7883 ;
7884 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7885 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7886 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7887 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7888 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7889 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7890 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7891 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7892 ;
7893 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7894 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7895 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7896 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7897 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7898 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7899 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7900 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7901 ;
7902 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7903 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7904 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7905 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7906 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7907 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7908 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7909 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7910 ;
7911 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7912 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7913 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7914 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7915 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7916 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7917 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
7918 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7919 ;
7920 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7921 ; GFX11-WGP:       ; %bb.0: ; %entry
7922 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7923 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7924 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7925 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7926 ; GFX11-WGP-NEXT:    s_endpgm
7927 ;
7928 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_atomicrmw:
7929 ; GFX11-CU:       ; %bb.0: ; %entry
7930 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
7931 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7932 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7933 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
7934 ; GFX11-CU-NEXT:    s_endpgm
7935     ptr addrspace(3) %out, i32 %in) {
7936 entry:
7937   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") seq_cst
7938   ret void
7939 }
7940
7941 define amdgpu_kernel void @local_agent_one_as_acquire_ret_atomicrmw(
7942 ; GFX6-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
7943 ; GFX6:       ; %bb.0: ; %entry
7944 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7945 ; GFX6-NEXT:    s_mov_b32 m0, -1
7946 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7947 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
7948 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7949 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
7950 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7951 ; GFX6-NEXT:    ds_write_b32 v0, v1
7952 ; GFX6-NEXT:    s_endpgm
7953 ;
7954 ; GFX7-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
7955 ; GFX7:       ; %bb.0: ; %entry
7956 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7957 ; GFX7-NEXT:    s_mov_b32 m0, -1
7958 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7959 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7960 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7961 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
7962 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7963 ; GFX7-NEXT:    ds_write_b32 v0, v1
7964 ; GFX7-NEXT:    s_endpgm
7965 ;
7966 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
7967 ; GFX10-WGP:       ; %bb.0: ; %entry
7968 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7969 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7970 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7971 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7972 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
7973 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7974 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7975 ; GFX10-WGP-NEXT:    s_endpgm
7976 ;
7977 ; GFX10-CU-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
7978 ; GFX10-CU:       ; %bb.0: ; %entry
7979 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
7980 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7981 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7982 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7983 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
7984 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7985 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7986 ; GFX10-CU-NEXT:    s_endpgm
7987 ;
7988 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
7989 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7990 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
7991 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7992 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7993 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7994 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7995 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
7996 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7997 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7998 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7999 ;
8000 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8001 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8002 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8003 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8004 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8005 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8006 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8007 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8008 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8009 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8010 ;
8011 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8012 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8013 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8014 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8015 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8016 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8017 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8018 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8019 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8020 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8021 ;
8022 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8023 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8024 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8025 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8026 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8027 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8028 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8029 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8030 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8031 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8032 ;
8033 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8034 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8035 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8036 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8037 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8038 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8039 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8040 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8041 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8042 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8043 ;
8044 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8045 ; GFX11-WGP:       ; %bb.0: ; %entry
8046 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8047 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8048 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8049 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8050 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8051 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8052 ; GFX11-WGP-NEXT:    s_endpgm
8053 ;
8054 ; GFX11-CU-LABEL: local_agent_one_as_acquire_ret_atomicrmw:
8055 ; GFX11-CU:       ; %bb.0: ; %entry
8056 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8057 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8058 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8059 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8060 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8061 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8062 ; GFX11-CU-NEXT:    s_endpgm
8063     ptr addrspace(3) %out, i32 %in) {
8064 entry:
8065   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") acquire
8066   store i32 %val, ptr addrspace(3) %out, align 4
8067   ret void
8068 }
8069
8070 define amdgpu_kernel void @local_agent_one_as_acq_rel_ret_atomicrmw(
8071 ; GFX6-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8072 ; GFX6:       ; %bb.0: ; %entry
8073 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8074 ; GFX6-NEXT:    s_mov_b32 m0, -1
8075 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8076 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
8077 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8078 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8079 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8080 ; GFX6-NEXT:    ds_write_b32 v0, v1
8081 ; GFX6-NEXT:    s_endpgm
8082 ;
8083 ; GFX7-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8084 ; GFX7:       ; %bb.0: ; %entry
8085 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8086 ; GFX7-NEXT:    s_mov_b32 m0, -1
8087 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8088 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8089 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8090 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8091 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8092 ; GFX7-NEXT:    ds_write_b32 v0, v1
8093 ; GFX7-NEXT:    s_endpgm
8094 ;
8095 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8096 ; GFX10-WGP:       ; %bb.0: ; %entry
8097 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8098 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8099 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8100 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8101 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8102 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8103 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8104 ; GFX10-WGP-NEXT:    s_endpgm
8105 ;
8106 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8107 ; GFX10-CU:       ; %bb.0: ; %entry
8108 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8109 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8110 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8111 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8112 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8113 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8114 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8115 ; GFX10-CU-NEXT:    s_endpgm
8116 ;
8117 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8118 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8119 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8120 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8121 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8122 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8123 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
8124 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8125 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8126 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8127 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8128 ;
8129 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8130 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8131 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8132 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8133 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8134 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8135 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8136 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8137 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8138 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8139 ;
8140 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8141 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8142 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8143 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8144 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8145 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8146 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8147 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8148 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8149 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8150 ;
8151 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8152 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8153 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8154 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8155 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8156 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8157 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8158 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8159 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8160 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8161 ;
8162 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8163 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8164 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8165 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8166 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8167 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8168 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8169 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8170 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8171 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8172 ;
8173 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8174 ; GFX11-WGP:       ; %bb.0: ; %entry
8175 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8176 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8177 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8178 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8179 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8180 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8181 ; GFX11-WGP-NEXT:    s_endpgm
8182 ;
8183 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_ret_atomicrmw:
8184 ; GFX11-CU:       ; %bb.0: ; %entry
8185 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8186 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8187 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8188 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8189 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8190 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8191 ; GFX11-CU-NEXT:    s_endpgm
8192     ptr addrspace(3) %out, i32 %in) {
8193 entry:
8194   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") acq_rel
8195   store i32 %val, ptr addrspace(3) %out, align 4
8196   ret void
8197 }
8198
8199 define amdgpu_kernel void @local_agent_one_as_seq_cst_ret_atomicrmw(
8200 ; GFX6-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8201 ; GFX6:       ; %bb.0: ; %entry
8202 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8203 ; GFX6-NEXT:    s_mov_b32 m0, -1
8204 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8205 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
8206 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8207 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8208 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8209 ; GFX6-NEXT:    ds_write_b32 v0, v1
8210 ; GFX6-NEXT:    s_endpgm
8211 ;
8212 ; GFX7-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8213 ; GFX7:       ; %bb.0: ; %entry
8214 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8215 ; GFX7-NEXT:    s_mov_b32 m0, -1
8216 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8217 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8218 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8219 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8220 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8221 ; GFX7-NEXT:    ds_write_b32 v0, v1
8222 ; GFX7-NEXT:    s_endpgm
8223 ;
8224 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8225 ; GFX10-WGP:       ; %bb.0: ; %entry
8226 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8227 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8228 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8229 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8230 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8231 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8232 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8233 ; GFX10-WGP-NEXT:    s_endpgm
8234 ;
8235 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8236 ; GFX10-CU:       ; %bb.0: ; %entry
8237 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8238 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8239 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8240 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8241 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8242 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8243 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8244 ; GFX10-CU-NEXT:    s_endpgm
8245 ;
8246 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8247 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8248 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8249 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8250 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8251 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8252 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
8253 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8254 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8255 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8256 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8257 ;
8258 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8259 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8260 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8261 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8262 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8263 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8264 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8265 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8266 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8267 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8268 ;
8269 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8270 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8271 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8272 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8273 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8274 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8275 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8276 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8277 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8278 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8279 ;
8280 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8281 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8282 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8283 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8284 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8285 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8286 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8287 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8288 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8289 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8290 ;
8291 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8292 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8293 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0
8294 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8295 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8296 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
8297 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
8298 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8299 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8300 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8301 ;
8302 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8303 ; GFX11-WGP:       ; %bb.0: ; %entry
8304 ; GFX11-WGP-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8305 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8306 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8307 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8308 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8309 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8310 ; GFX11-WGP-NEXT:    s_endpgm
8311 ;
8312 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_ret_atomicrmw:
8313 ; GFX11-CU:       ; %bb.0: ; %entry
8314 ; GFX11-CU-NEXT:    s_load_b64 s[0:1], s[0:1], 0x0
8315 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8316 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8317 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
8318 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8319 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8320 ; GFX11-CU-NEXT:    s_endpgm
8321     ptr addrspace(3) %out, i32 %in) {
8322 entry:
8323   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("agent-one-as") seq_cst
8324   store i32 %val, ptr addrspace(3) %out, align 4
8325   ret void
8326 }
8327
8328 define amdgpu_kernel void @local_agent_one_as_monotonic_monotonic_cmpxchg(
8329 ; GFX6-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8330 ; GFX6:       ; %bb.0: ; %entry
8331 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8332 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8333 ; GFX6-NEXT:    s_mov_b32 m0, -1
8334 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8335 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8336 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8337 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8338 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8339 ; GFX6-NEXT:    s_endpgm
8340 ;
8341 ; GFX7-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8342 ; GFX7:       ; %bb.0: ; %entry
8343 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8344 ; GFX7-NEXT:    s_mov_b32 m0, -1
8345 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8346 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8347 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8348 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8349 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8350 ; GFX7-NEXT:    s_endpgm
8351 ;
8352 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8353 ; GFX10-WGP:       ; %bb.0: ; %entry
8354 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8355 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8356 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8357 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8358 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8359 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8360 ; GFX10-WGP-NEXT:    s_endpgm
8361 ;
8362 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8363 ; GFX10-CU:       ; %bb.0: ; %entry
8364 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8365 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8366 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8367 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8368 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8369 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8370 ; GFX10-CU-NEXT:    s_endpgm
8371 ;
8372 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8373 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8374 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8375 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8376 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8377 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8378 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8379 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8380 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8381 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8382 ;
8383 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8384 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8385 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8386 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8388 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8389 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8390 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8391 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8392 ;
8393 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8394 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8395 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8396 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8397 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8398 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8399 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8400 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8401 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8402 ;
8403 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8404 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8405 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8406 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8407 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8408 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8409 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8410 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8411 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8412 ;
8413 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8414 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8415 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8416 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8417 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8418 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8419 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8420 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8421 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8422 ;
8423 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8424 ; GFX11-WGP:       ; %bb.0: ; %entry
8425 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8426 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8427 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8428 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
8429 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8430 ; GFX11-WGP-NEXT:    s_endpgm
8431 ;
8432 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_monotonic_cmpxchg:
8433 ; GFX11-CU:       ; %bb.0: ; %entry
8434 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8435 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8436 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8437 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
8438 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8439 ; GFX11-CU-NEXT:    s_endpgm
8440     ptr addrspace(3) %out, i32 %in, i32 %old) {
8441 entry:
8442   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8443   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic monotonic
8444   ret void
8445 }
8446
8447 define amdgpu_kernel void @local_agent_one_as_acquire_monotonic_cmpxchg(
8448 ; GFX6-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8449 ; GFX6:       ; %bb.0: ; %entry
8450 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8451 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8452 ; GFX6-NEXT:    s_mov_b32 m0, -1
8453 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8454 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8455 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8456 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8457 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8458 ; GFX6-NEXT:    s_endpgm
8459 ;
8460 ; GFX7-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8461 ; GFX7:       ; %bb.0: ; %entry
8462 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8463 ; GFX7-NEXT:    s_mov_b32 m0, -1
8464 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8465 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8466 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8467 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8468 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8469 ; GFX7-NEXT:    s_endpgm
8470 ;
8471 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8472 ; GFX10-WGP:       ; %bb.0: ; %entry
8473 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8474 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8475 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8476 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8477 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8478 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8479 ; GFX10-WGP-NEXT:    s_endpgm
8480 ;
8481 ; GFX10-CU-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8482 ; GFX10-CU:       ; %bb.0: ; %entry
8483 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8484 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8485 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8486 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8487 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8488 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8489 ; GFX10-CU-NEXT:    s_endpgm
8490 ;
8491 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8492 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8493 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8494 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8495 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8496 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8497 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8498 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8499 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8500 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8501 ;
8502 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8503 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8504 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8505 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8506 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8507 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8508 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8509 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8510 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8511 ;
8512 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8513 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8514 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8515 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8516 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8517 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8518 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8519 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8520 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8521 ;
8522 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8523 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8524 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8525 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8526 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8527 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8528 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8529 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8530 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8531 ;
8532 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8533 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8534 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8535 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8536 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8537 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8538 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8539 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8540 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8541 ;
8542 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8543 ; GFX11-WGP:       ; %bb.0: ; %entry
8544 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8545 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8546 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8547 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
8548 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8549 ; GFX11-WGP-NEXT:    s_endpgm
8550 ;
8551 ; GFX11-CU-LABEL: local_agent_one_as_acquire_monotonic_cmpxchg:
8552 ; GFX11-CU:       ; %bb.0: ; %entry
8553 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8554 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8555 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8556 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
8557 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8558 ; GFX11-CU-NEXT:    s_endpgm
8559     ptr addrspace(3) %out, i32 %in, i32 %old) {
8560 entry:
8561   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8562   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire monotonic
8563   ret void
8564 }
8565
8566 define amdgpu_kernel void @local_agent_one_as_release_monotonic_cmpxchg(
8567 ; GFX6-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8568 ; GFX6:       ; %bb.0: ; %entry
8569 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8570 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8571 ; GFX6-NEXT:    s_mov_b32 m0, -1
8572 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8573 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8574 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8575 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8576 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8577 ; GFX6-NEXT:    s_endpgm
8578 ;
8579 ; GFX7-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8580 ; GFX7:       ; %bb.0: ; %entry
8581 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8582 ; GFX7-NEXT:    s_mov_b32 m0, -1
8583 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8584 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8585 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8586 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8587 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8588 ; GFX7-NEXT:    s_endpgm
8589 ;
8590 ; GFX10-WGP-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8591 ; GFX10-WGP:       ; %bb.0: ; %entry
8592 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8593 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8594 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8595 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8596 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8597 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8598 ; GFX10-WGP-NEXT:    s_endpgm
8599 ;
8600 ; GFX10-CU-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8601 ; GFX10-CU:       ; %bb.0: ; %entry
8602 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8603 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8604 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8605 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8606 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8607 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8608 ; GFX10-CU-NEXT:    s_endpgm
8609 ;
8610 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8611 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8612 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8613 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8614 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8615 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8616 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8617 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8618 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8619 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8620 ;
8621 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8622 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8623 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8624 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8625 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8626 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8627 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8628 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8629 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8630 ;
8631 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8632 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8633 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8634 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8635 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8636 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8637 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8638 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8639 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8640 ;
8641 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8642 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8643 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8644 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8645 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8646 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8647 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8648 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8649 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8650 ;
8651 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8652 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8653 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8654 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8655 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8656 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8657 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8658 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8659 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8660 ;
8661 ; GFX11-WGP-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8662 ; GFX11-WGP:       ; %bb.0: ; %entry
8663 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8664 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8665 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8666 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
8667 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8668 ; GFX11-WGP-NEXT:    s_endpgm
8669 ;
8670 ; GFX11-CU-LABEL: local_agent_one_as_release_monotonic_cmpxchg:
8671 ; GFX11-CU:       ; %bb.0: ; %entry
8672 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8673 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8674 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8675 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
8676 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8677 ; GFX11-CU-NEXT:    s_endpgm
8678     ptr addrspace(3) %out, i32 %in, i32 %old) {
8679 entry:
8680   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8681   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release monotonic
8682   ret void
8683 }
8684
8685 define amdgpu_kernel void @local_agent_one_as_acq_rel_monotonic_cmpxchg(
8686 ; GFX6-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8687 ; GFX6:       ; %bb.0: ; %entry
8688 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8689 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8690 ; GFX6-NEXT:    s_mov_b32 m0, -1
8691 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8692 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8693 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8694 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8695 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8696 ; GFX6-NEXT:    s_endpgm
8697 ;
8698 ; GFX7-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8699 ; GFX7:       ; %bb.0: ; %entry
8700 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8701 ; GFX7-NEXT:    s_mov_b32 m0, -1
8702 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8703 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8704 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8705 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8706 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8707 ; GFX7-NEXT:    s_endpgm
8708 ;
8709 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8710 ; GFX10-WGP:       ; %bb.0: ; %entry
8711 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8712 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8713 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8714 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8715 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8716 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8717 ; GFX10-WGP-NEXT:    s_endpgm
8718 ;
8719 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8720 ; GFX10-CU:       ; %bb.0: ; %entry
8721 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8722 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8723 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8724 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8725 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8726 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8727 ; GFX10-CU-NEXT:    s_endpgm
8728 ;
8729 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8730 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8731 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8732 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8733 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8734 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8735 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8736 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8737 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8738 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8739 ;
8740 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8741 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8742 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8743 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8744 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8745 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8746 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8747 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8748 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8749 ;
8750 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8751 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8752 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8753 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8754 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8755 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8756 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8757 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8758 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8759 ;
8760 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8761 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8762 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8763 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8764 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8765 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8766 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8767 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8768 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8769 ;
8770 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8771 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8772 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8773 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8774 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8775 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8776 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8777 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8778 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8779 ;
8780 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8781 ; GFX11-WGP:       ; %bb.0: ; %entry
8782 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8783 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8784 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8785 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
8786 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8787 ; GFX11-WGP-NEXT:    s_endpgm
8788 ;
8789 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_monotonic_cmpxchg:
8790 ; GFX11-CU:       ; %bb.0: ; %entry
8791 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8792 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8793 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8794 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
8795 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8796 ; GFX11-CU-NEXT:    s_endpgm
8797     ptr addrspace(3) %out, i32 %in, i32 %old) {
8798 entry:
8799   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8800   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel monotonic
8801   ret void
8802 }
8803
8804 define amdgpu_kernel void @local_agent_one_as_seq_cst_monotonic_cmpxchg(
8805 ; GFX6-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8806 ; GFX6:       ; %bb.0: ; %entry
8807 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8808 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8809 ; GFX6-NEXT:    s_mov_b32 m0, -1
8810 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8811 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8812 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8813 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8814 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8815 ; GFX6-NEXT:    s_endpgm
8816 ;
8817 ; GFX7-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8818 ; GFX7:       ; %bb.0: ; %entry
8819 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8820 ; GFX7-NEXT:    s_mov_b32 m0, -1
8821 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8822 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8823 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8824 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8825 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8826 ; GFX7-NEXT:    s_endpgm
8827 ;
8828 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8829 ; GFX10-WGP:       ; %bb.0: ; %entry
8830 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8831 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8832 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8833 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8834 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8835 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8836 ; GFX10-WGP-NEXT:    s_endpgm
8837 ;
8838 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8839 ; GFX10-CU:       ; %bb.0: ; %entry
8840 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8841 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8842 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8843 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8844 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8845 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8846 ; GFX10-CU-NEXT:    s_endpgm
8847 ;
8848 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8849 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8850 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8851 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8852 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8853 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8854 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8855 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8856 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8857 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8858 ;
8859 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8860 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8861 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8862 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8863 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8864 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8865 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8866 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8867 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8868 ;
8869 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8870 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8871 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8872 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8873 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8874 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8875 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8876 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8877 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8878 ;
8879 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8880 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8881 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8882 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8883 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8884 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8885 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8886 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8887 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8888 ;
8889 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8890 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8891 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8892 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8893 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8894 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8895 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8896 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8897 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8898 ;
8899 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8900 ; GFX11-WGP:       ; %bb.0: ; %entry
8901 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8902 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8903 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8904 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
8905 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8906 ; GFX11-WGP-NEXT:    s_endpgm
8907 ;
8908 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_monotonic_cmpxchg:
8909 ; GFX11-CU:       ; %bb.0: ; %entry
8910 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
8911 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8912 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
8913 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
8914 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
8915 ; GFX11-CU-NEXT:    s_endpgm
8916     ptr addrspace(3) %out, i32 %in, i32 %old) {
8917 entry:
8918   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8919   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst monotonic
8920   ret void
8921 }
8922
8923 define amdgpu_kernel void @local_agent_one_as_monotonic_acquire_cmpxchg(
8924 ; GFX6-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8925 ; GFX6:       ; %bb.0: ; %entry
8926 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8927 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8928 ; GFX6-NEXT:    s_mov_b32 m0, -1
8929 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8930 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8931 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8932 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8933 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8934 ; GFX6-NEXT:    s_endpgm
8935 ;
8936 ; GFX7-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8937 ; GFX7:       ; %bb.0: ; %entry
8938 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8939 ; GFX7-NEXT:    s_mov_b32 m0, -1
8940 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8941 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8942 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8943 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8944 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8945 ; GFX7-NEXT:    s_endpgm
8946 ;
8947 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8948 ; GFX10-WGP:       ; %bb.0: ; %entry
8949 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8950 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8951 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8952 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8953 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8954 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8955 ; GFX10-WGP-NEXT:    s_endpgm
8956 ;
8957 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8958 ; GFX10-CU:       ; %bb.0: ; %entry
8959 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8960 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8961 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8962 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8963 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8964 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8965 ; GFX10-CU-NEXT:    s_endpgm
8966 ;
8967 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8968 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8969 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
8970 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8971 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8972 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8973 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8974 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8975 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8976 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8977 ;
8978 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8979 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8980 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8981 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8982 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8983 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8984 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8985 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8986 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8987 ;
8988 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8989 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8990 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8991 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8992 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8993 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8994 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8995 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
8996 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8997 ;
8998 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
8999 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9000 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9001 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9002 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9003 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9004 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9005 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9006 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9007 ;
9008 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
9009 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9010 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9011 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9012 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9013 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9014 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9015 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9016 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9017 ;
9018 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
9019 ; GFX11-WGP:       ; %bb.0: ; %entry
9020 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9021 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9022 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9023 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9024 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9025 ; GFX11-WGP-NEXT:    s_endpgm
9026 ;
9027 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_acquire_cmpxchg:
9028 ; GFX11-CU:       ; %bb.0: ; %entry
9029 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9030 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9031 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9032 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9033 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9034 ; GFX11-CU-NEXT:    s_endpgm
9035     ptr addrspace(3) %out, i32 %in, i32 %old) {
9036 entry:
9037   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9038   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic acquire
9039   ret void
9040 }
9041
9042 define amdgpu_kernel void @local_agent_one_as_acquire_acquire_cmpxchg(
9043 ; GFX6-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9044 ; GFX6:       ; %bb.0: ; %entry
9045 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9046 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9047 ; GFX6-NEXT:    s_mov_b32 m0, -1
9048 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9049 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9050 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9051 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9052 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9053 ; GFX6-NEXT:    s_endpgm
9054 ;
9055 ; GFX7-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9056 ; GFX7:       ; %bb.0: ; %entry
9057 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9058 ; GFX7-NEXT:    s_mov_b32 m0, -1
9059 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9060 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9061 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9062 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9063 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9064 ; GFX7-NEXT:    s_endpgm
9065 ;
9066 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9067 ; GFX10-WGP:       ; %bb.0: ; %entry
9068 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9069 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9070 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9071 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9072 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9073 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9074 ; GFX10-WGP-NEXT:    s_endpgm
9075 ;
9076 ; GFX10-CU-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9077 ; GFX10-CU:       ; %bb.0: ; %entry
9078 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9079 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9080 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9081 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9082 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9083 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9084 ; GFX10-CU-NEXT:    s_endpgm
9085 ;
9086 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9087 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9088 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9089 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9090 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9091 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9092 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9093 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9094 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9095 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9096 ;
9097 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9098 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9099 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9100 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9101 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9102 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9103 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9104 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9105 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9106 ;
9107 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9108 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9109 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9110 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9111 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9112 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9113 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9114 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9115 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9116 ;
9117 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9118 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9119 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9120 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9121 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9122 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9123 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9124 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9125 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9126 ;
9127 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9128 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9129 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9130 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9131 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9132 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9133 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9134 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9135 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9136 ;
9137 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9138 ; GFX11-WGP:       ; %bb.0: ; %entry
9139 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9140 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9141 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9142 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9143 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9144 ; GFX11-WGP-NEXT:    s_endpgm
9145 ;
9146 ; GFX11-CU-LABEL: local_agent_one_as_acquire_acquire_cmpxchg:
9147 ; GFX11-CU:       ; %bb.0: ; %entry
9148 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9149 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9150 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9151 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9152 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9153 ; GFX11-CU-NEXT:    s_endpgm
9154     ptr addrspace(3) %out, i32 %in, i32 %old) {
9155 entry:
9156   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9157   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire acquire
9158   ret void
9159 }
9160
9161 define amdgpu_kernel void @local_agent_one_as_release_acquire_cmpxchg(
9162 ; GFX6-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9163 ; GFX6:       ; %bb.0: ; %entry
9164 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9165 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9166 ; GFX6-NEXT:    s_mov_b32 m0, -1
9167 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9168 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9169 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9170 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9171 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9172 ; GFX6-NEXT:    s_endpgm
9173 ;
9174 ; GFX7-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9175 ; GFX7:       ; %bb.0: ; %entry
9176 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9177 ; GFX7-NEXT:    s_mov_b32 m0, -1
9178 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9179 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9180 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9181 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9182 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9183 ; GFX7-NEXT:    s_endpgm
9184 ;
9185 ; GFX10-WGP-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9186 ; GFX10-WGP:       ; %bb.0: ; %entry
9187 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9188 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9189 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9190 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9191 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9192 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9193 ; GFX10-WGP-NEXT:    s_endpgm
9194 ;
9195 ; GFX10-CU-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9196 ; GFX10-CU:       ; %bb.0: ; %entry
9197 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9198 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9199 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9200 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9201 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9202 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9203 ; GFX10-CU-NEXT:    s_endpgm
9204 ;
9205 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9206 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9207 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9208 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9209 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9210 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9211 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9212 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9213 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9214 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9215 ;
9216 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9217 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9218 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9219 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9220 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9221 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9222 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9223 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9224 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9225 ;
9226 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9227 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9228 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9229 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9230 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9231 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9232 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9233 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9234 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9235 ;
9236 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9237 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9238 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9239 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9240 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9241 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9242 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9243 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9244 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9245 ;
9246 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9247 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9248 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9249 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9250 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9251 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9252 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9253 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9254 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9255 ;
9256 ; GFX11-WGP-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9257 ; GFX11-WGP:       ; %bb.0: ; %entry
9258 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9259 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9260 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9261 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9262 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9263 ; GFX11-WGP-NEXT:    s_endpgm
9264 ;
9265 ; GFX11-CU-LABEL: local_agent_one_as_release_acquire_cmpxchg:
9266 ; GFX11-CU:       ; %bb.0: ; %entry
9267 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9268 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9269 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9270 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9271 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9272 ; GFX11-CU-NEXT:    s_endpgm
9273     ptr addrspace(3) %out, i32 %in, i32 %old) {
9274 entry:
9275   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9276   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release acquire
9277   ret void
9278 }
9279
9280 define amdgpu_kernel void @local_agent_one_as_acq_rel_acquire_cmpxchg(
9281 ; GFX6-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9282 ; GFX6:       ; %bb.0: ; %entry
9283 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9284 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9285 ; GFX6-NEXT:    s_mov_b32 m0, -1
9286 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9287 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9288 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9289 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9290 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9291 ; GFX6-NEXT:    s_endpgm
9292 ;
9293 ; GFX7-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9294 ; GFX7:       ; %bb.0: ; %entry
9295 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9296 ; GFX7-NEXT:    s_mov_b32 m0, -1
9297 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9298 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9299 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9300 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9301 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9302 ; GFX7-NEXT:    s_endpgm
9303 ;
9304 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9305 ; GFX10-WGP:       ; %bb.0: ; %entry
9306 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9307 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9308 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9309 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9310 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9311 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9312 ; GFX10-WGP-NEXT:    s_endpgm
9313 ;
9314 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9315 ; GFX10-CU:       ; %bb.0: ; %entry
9316 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9317 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9318 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9320 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9321 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9322 ; GFX10-CU-NEXT:    s_endpgm
9323 ;
9324 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9325 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9326 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9327 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9328 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9329 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9330 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9331 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9332 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9333 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9334 ;
9335 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9336 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9337 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9338 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9339 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9340 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9341 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9342 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9343 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9344 ;
9345 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9346 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9347 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9348 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9349 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9350 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9351 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9352 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9353 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9354 ;
9355 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9356 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9357 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9358 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9359 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9360 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9361 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9362 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9363 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9364 ;
9365 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9366 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9367 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9368 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9369 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9370 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9371 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9372 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9373 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9374 ;
9375 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9376 ; GFX11-WGP:       ; %bb.0: ; %entry
9377 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9378 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9379 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9380 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9381 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9382 ; GFX11-WGP-NEXT:    s_endpgm
9383 ;
9384 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_acquire_cmpxchg:
9385 ; GFX11-CU:       ; %bb.0: ; %entry
9386 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9387 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9388 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9389 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9390 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9391 ; GFX11-CU-NEXT:    s_endpgm
9392     ptr addrspace(3) %out, i32 %in, i32 %old) {
9393 entry:
9394   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9395   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel acquire
9396   ret void
9397 }
9398
9399 define amdgpu_kernel void @local_agent_one_as_seq_cst_acquire_cmpxchg(
9400 ; GFX6-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9401 ; GFX6:       ; %bb.0: ; %entry
9402 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9403 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9404 ; GFX6-NEXT:    s_mov_b32 m0, -1
9405 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9406 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9407 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9408 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9409 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9410 ; GFX6-NEXT:    s_endpgm
9411 ;
9412 ; GFX7-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9413 ; GFX7:       ; %bb.0: ; %entry
9414 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9415 ; GFX7-NEXT:    s_mov_b32 m0, -1
9416 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9417 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9418 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9419 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9420 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9421 ; GFX7-NEXT:    s_endpgm
9422 ;
9423 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9424 ; GFX10-WGP:       ; %bb.0: ; %entry
9425 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9426 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9427 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9428 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9429 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9430 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9431 ; GFX10-WGP-NEXT:    s_endpgm
9432 ;
9433 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9434 ; GFX10-CU:       ; %bb.0: ; %entry
9435 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9436 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9437 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9438 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9439 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9440 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9441 ; GFX10-CU-NEXT:    s_endpgm
9442 ;
9443 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9444 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9445 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9446 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9447 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9448 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9449 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9450 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9451 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9452 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9453 ;
9454 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9455 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9456 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9457 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9458 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9459 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9460 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9461 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9462 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9463 ;
9464 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9465 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9466 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9467 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9468 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9469 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9470 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9471 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9472 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9473 ;
9474 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9475 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9476 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9477 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9478 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9479 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9480 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9481 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9482 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9483 ;
9484 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9485 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9486 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9487 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9488 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9489 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9490 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9491 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9492 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9493 ;
9494 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9495 ; GFX11-WGP:       ; %bb.0: ; %entry
9496 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9497 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9498 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9499 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9500 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9501 ; GFX11-WGP-NEXT:    s_endpgm
9502 ;
9503 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_acquire_cmpxchg:
9504 ; GFX11-CU:       ; %bb.0: ; %entry
9505 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9506 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9507 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9508 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9509 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9510 ; GFX11-CU-NEXT:    s_endpgm
9511     ptr addrspace(3) %out, i32 %in, i32 %old) {
9512 entry:
9513   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9514   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst acquire
9515   ret void
9516 }
9517
9518 define amdgpu_kernel void @local_agent_one_as_monotonic_seq_cst_cmpxchg(
9519 ; GFX6-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9520 ; GFX6:       ; %bb.0: ; %entry
9521 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9522 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9523 ; GFX6-NEXT:    s_mov_b32 m0, -1
9524 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9525 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9526 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9527 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9528 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9529 ; GFX6-NEXT:    s_endpgm
9530 ;
9531 ; GFX7-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9532 ; GFX7:       ; %bb.0: ; %entry
9533 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9534 ; GFX7-NEXT:    s_mov_b32 m0, -1
9535 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9536 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9537 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9538 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9539 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9540 ; GFX7-NEXT:    s_endpgm
9541 ;
9542 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9543 ; GFX10-WGP:       ; %bb.0: ; %entry
9544 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9545 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9546 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9547 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9548 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9549 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9550 ; GFX10-WGP-NEXT:    s_endpgm
9551 ;
9552 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9553 ; GFX10-CU:       ; %bb.0: ; %entry
9554 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9555 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9558 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9559 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9560 ; GFX10-CU-NEXT:    s_endpgm
9561 ;
9562 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9563 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9564 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9565 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9566 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9567 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9568 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9569 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9570 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9571 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9572 ;
9573 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9574 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9575 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9576 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9577 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9578 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9579 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9580 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9581 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9582 ;
9583 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9584 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9585 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9586 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9587 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9588 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9589 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9590 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9591 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9592 ;
9593 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9594 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9595 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9596 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9597 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9598 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9599 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9600 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9601 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9602 ;
9603 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9604 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9605 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9606 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9607 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9608 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9609 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9610 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9611 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9612 ;
9613 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9614 ; GFX11-WGP:       ; %bb.0: ; %entry
9615 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9616 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9617 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9618 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9619 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9620 ; GFX11-WGP-NEXT:    s_endpgm
9621 ;
9622 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_seq_cst_cmpxchg:
9623 ; GFX11-CU:       ; %bb.0: ; %entry
9624 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9625 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9626 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9627 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9628 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9629 ; GFX11-CU-NEXT:    s_endpgm
9630     ptr addrspace(3) %out, i32 %in, i32 %old) {
9631 entry:
9632   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9633   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic seq_cst
9634   ret void
9635 }
9636
9637 define amdgpu_kernel void @local_agent_one_as_acquire_seq_cst_cmpxchg(
9638 ; GFX6-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9639 ; GFX6:       ; %bb.0: ; %entry
9640 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9641 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9642 ; GFX6-NEXT:    s_mov_b32 m0, -1
9643 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9644 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9645 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9646 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9647 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9648 ; GFX6-NEXT:    s_endpgm
9649 ;
9650 ; GFX7-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9651 ; GFX7:       ; %bb.0: ; %entry
9652 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9653 ; GFX7-NEXT:    s_mov_b32 m0, -1
9654 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9655 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9656 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9657 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9658 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9659 ; GFX7-NEXT:    s_endpgm
9660 ;
9661 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9662 ; GFX10-WGP:       ; %bb.0: ; %entry
9663 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9664 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9665 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9666 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9667 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9668 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9669 ; GFX10-WGP-NEXT:    s_endpgm
9670 ;
9671 ; GFX10-CU-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9672 ; GFX10-CU:       ; %bb.0: ; %entry
9673 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9674 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9675 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9676 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9677 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9678 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9679 ; GFX10-CU-NEXT:    s_endpgm
9680 ;
9681 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9682 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9683 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9684 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9685 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9686 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9687 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9688 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9689 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9690 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9691 ;
9692 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9693 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9694 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9695 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9696 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9697 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9698 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9699 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9700 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9701 ;
9702 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9703 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9704 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9705 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9706 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9707 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9708 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9709 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9710 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9711 ;
9712 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9713 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9714 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9715 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9716 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9717 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9718 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9719 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9720 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9721 ;
9722 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9723 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9724 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9725 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9726 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9727 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9728 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9729 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9730 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9731 ;
9732 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9733 ; GFX11-WGP:       ; %bb.0: ; %entry
9734 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9735 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9736 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9737 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9738 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9739 ; GFX11-WGP-NEXT:    s_endpgm
9740 ;
9741 ; GFX11-CU-LABEL: local_agent_one_as_acquire_seq_cst_cmpxchg:
9742 ; GFX11-CU:       ; %bb.0: ; %entry
9743 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9744 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9745 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9746 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9747 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9748 ; GFX11-CU-NEXT:    s_endpgm
9749     ptr addrspace(3) %out, i32 %in, i32 %old) {
9750 entry:
9751   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9752   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire seq_cst
9753   ret void
9754 }
9755
9756 define amdgpu_kernel void @local_agent_one_as_release_seq_cst_cmpxchg(
9757 ; GFX6-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9758 ; GFX6:       ; %bb.0: ; %entry
9759 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9760 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9761 ; GFX6-NEXT:    s_mov_b32 m0, -1
9762 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9763 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9764 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9765 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9766 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9767 ; GFX6-NEXT:    s_endpgm
9768 ;
9769 ; GFX7-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9770 ; GFX7:       ; %bb.0: ; %entry
9771 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9772 ; GFX7-NEXT:    s_mov_b32 m0, -1
9773 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9774 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9775 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9776 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9777 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9778 ; GFX7-NEXT:    s_endpgm
9779 ;
9780 ; GFX10-WGP-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9781 ; GFX10-WGP:       ; %bb.0: ; %entry
9782 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9783 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9784 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9785 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9786 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9787 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9788 ; GFX10-WGP-NEXT:    s_endpgm
9789 ;
9790 ; GFX10-CU-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9791 ; GFX10-CU:       ; %bb.0: ; %entry
9792 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9793 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9794 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9795 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9796 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9797 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9798 ; GFX10-CU-NEXT:    s_endpgm
9799 ;
9800 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9801 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9802 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9803 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9805 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9806 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9807 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9808 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9809 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9810 ;
9811 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9812 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9813 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9814 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9815 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9816 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9817 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9818 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9819 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9820 ;
9821 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9822 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9823 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9824 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9825 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9826 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9827 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9828 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9829 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9830 ;
9831 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9832 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9833 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9834 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9835 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9836 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9837 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9838 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9839 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9840 ;
9841 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9842 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9843 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9844 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9845 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9846 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9847 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9848 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9849 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9850 ;
9851 ; GFX11-WGP-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9852 ; GFX11-WGP:       ; %bb.0: ; %entry
9853 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9854 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9855 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9856 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9857 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9858 ; GFX11-WGP-NEXT:    s_endpgm
9859 ;
9860 ; GFX11-CU-LABEL: local_agent_one_as_release_seq_cst_cmpxchg:
9861 ; GFX11-CU:       ; %bb.0: ; %entry
9862 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9863 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9864 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9865 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9866 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9867 ; GFX11-CU-NEXT:    s_endpgm
9868     ptr addrspace(3) %out, i32 %in, i32 %old) {
9869 entry:
9870   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9871   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release seq_cst
9872   ret void
9873 }
9874
9875 define amdgpu_kernel void @local_agent_one_as_acq_rel_seq_cst_cmpxchg(
9876 ; GFX6-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9877 ; GFX6:       ; %bb.0: ; %entry
9878 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9879 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9880 ; GFX6-NEXT:    s_mov_b32 m0, -1
9881 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9882 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
9883 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
9884 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
9885 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9886 ; GFX6-NEXT:    s_endpgm
9887 ;
9888 ; GFX7-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9889 ; GFX7:       ; %bb.0: ; %entry
9890 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9891 ; GFX7-NEXT:    s_mov_b32 m0, -1
9892 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9893 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9894 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
9895 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
9896 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9897 ; GFX7-NEXT:    s_endpgm
9898 ;
9899 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9900 ; GFX10-WGP:       ; %bb.0: ; %entry
9901 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9902 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9903 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9904 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
9905 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
9906 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9907 ; GFX10-WGP-NEXT:    s_endpgm
9908 ;
9909 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9910 ; GFX10-CU:       ; %bb.0: ; %entry
9911 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9912 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9913 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9914 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
9915 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
9916 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9917 ; GFX10-CU-NEXT:    s_endpgm
9918 ;
9919 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9920 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9921 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9922 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9923 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9924 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9925 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
9926 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
9927 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9928 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9929 ;
9930 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9931 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9932 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9933 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9934 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9935 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9936 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9937 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9938 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9939 ;
9940 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9941 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9942 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9943 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9944 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9945 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9946 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9947 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9948 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9949 ;
9950 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9951 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9952 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9953 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9954 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9955 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9956 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9957 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9958 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9959 ;
9960 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9961 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9962 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9963 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9964 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
9965 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
9966 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
9967 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
9968 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9969 ;
9970 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9971 ; GFX11-WGP:       ; %bb.0: ; %entry
9972 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9973 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9974 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9975 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
9976 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9977 ; GFX11-WGP-NEXT:    s_endpgm
9978 ;
9979 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_seq_cst_cmpxchg:
9980 ; GFX11-CU:       ; %bb.0: ; %entry
9981 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9982 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9983 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9984 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
9985 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
9986 ; GFX11-CU-NEXT:    s_endpgm
9987     ptr addrspace(3) %out, i32 %in, i32 %old) {
9988 entry:
9989   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
9990   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel seq_cst
9991   ret void
9992 }
9993
9994 define amdgpu_kernel void @local_agent_one_as_seq_cst_seq_cst_cmpxchg(
9995 ; GFX6-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
9996 ; GFX6:       ; %bb.0: ; %entry
9997 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
9998 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
9999 ; GFX6-NEXT:    s_mov_b32 m0, -1
10000 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10001 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10002 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10003 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10004 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10005 ; GFX6-NEXT:    s_endpgm
10006 ;
10007 ; GFX7-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10008 ; GFX7:       ; %bb.0: ; %entry
10009 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10010 ; GFX7-NEXT:    s_mov_b32 m0, -1
10011 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10012 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10013 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10014 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10015 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10016 ; GFX7-NEXT:    s_endpgm
10017 ;
10018 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10019 ; GFX10-WGP:       ; %bb.0: ; %entry
10020 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10021 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10022 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10023 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10024 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10025 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10026 ; GFX10-WGP-NEXT:    s_endpgm
10027 ;
10028 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10029 ; GFX10-CU:       ; %bb.0: ; %entry
10030 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10031 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10032 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10033 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10034 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10035 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10036 ; GFX10-CU-NEXT:    s_endpgm
10037 ;
10038 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10039 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10040 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10041 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10042 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10043 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10044 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10045 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10046 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10047 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10048 ;
10049 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10050 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10051 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10052 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10053 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10054 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10055 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10056 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10057 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10058 ;
10059 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10060 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10061 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10062 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10063 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10064 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10065 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10066 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10067 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10068 ;
10069 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10070 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10071 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10072 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10073 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10074 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10075 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10076 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10077 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10078 ;
10079 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10080 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10081 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10082 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10083 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10084 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10085 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10086 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10087 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10088 ;
10089 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10090 ; GFX11-WGP:       ; %bb.0: ; %entry
10091 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10092 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10093 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10094 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10095 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10096 ; GFX11-WGP-NEXT:    s_endpgm
10097 ;
10098 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_seq_cst_cmpxchg:
10099 ; GFX11-CU:       ; %bb.0: ; %entry
10100 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10101 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10102 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10103 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10104 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10105 ; GFX11-CU-NEXT:    s_endpgm
10106     ptr addrspace(3) %out, i32 %in, i32 %old) {
10107 entry:
10108   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10109   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst seq_cst
10110   ret void
10111 }
10112
10113 define amdgpu_kernel void @local_agent_one_as_monotonic_monotonic_ret_cmpxchg(
10114 ; GFX6-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10115 ; GFX6:       ; %bb.0: ; %entry
10116 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10117 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10118 ; GFX6-NEXT:    s_mov_b32 m0, -1
10119 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10120 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10121 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10122 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10123 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10124 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10125 ; GFX6-NEXT:    ds_write_b32 v0, v1
10126 ; GFX6-NEXT:    s_endpgm
10127 ;
10128 ; GFX7-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10129 ; GFX7:       ; %bb.0: ; %entry
10130 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10131 ; GFX7-NEXT:    s_mov_b32 m0, -1
10132 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10133 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10134 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10135 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10136 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10137 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10138 ; GFX7-NEXT:    ds_write_b32 v0, v1
10139 ; GFX7-NEXT:    s_endpgm
10140 ;
10141 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10142 ; GFX10-WGP:       ; %bb.0: ; %entry
10143 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10144 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10145 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10146 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10147 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10148 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10149 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10150 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10151 ; GFX10-WGP-NEXT:    s_endpgm
10152 ;
10153 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10154 ; GFX10-CU:       ; %bb.0: ; %entry
10155 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10156 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10157 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10158 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10159 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10160 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10161 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10162 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10163 ; GFX10-CU-NEXT:    s_endpgm
10164 ;
10165 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10166 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10167 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10168 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10169 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10170 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10172 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10173 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10175 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10176 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10177 ;
10178 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10179 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10180 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10181 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10182 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10183 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10184 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10185 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10186 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10187 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10188 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10189 ;
10190 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10191 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10192 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10193 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10194 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10195 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10196 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10197 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10198 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10199 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10200 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10201 ;
10202 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10203 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10204 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10205 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10206 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10207 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10208 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10209 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10210 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10211 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10212 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10213 ;
10214 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10215 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10216 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10217 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10218 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10219 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10220 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10221 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10222 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10223 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10224 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10225 ;
10226 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10227 ; GFX11-WGP:       ; %bb.0: ; %entry
10228 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10229 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10230 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10231 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10232 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10233 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10234 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10235 ; GFX11-WGP-NEXT:    s_endpgm
10236 ;
10237 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_monotonic_ret_cmpxchg:
10238 ; GFX11-CU:       ; %bb.0: ; %entry
10239 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10240 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10241 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10242 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10243 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10244 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10245 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10246 ; GFX11-CU-NEXT:    s_endpgm
10247     ptr addrspace(3) %out, i32 %in, i32 %old) {
10248 entry:
10249   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10250   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic monotonic
10251   %val0 = extractvalue { i32, i1 } %val, 0
10252   store i32 %val0, ptr addrspace(3) %out, align 4
10253   ret void
10254 }
10255
10256 define amdgpu_kernel void @local_agent_one_as_acquire_monotonic_ret_cmpxchg(
10257 ; GFX6-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10258 ; GFX6:       ; %bb.0: ; %entry
10259 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10260 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10261 ; GFX6-NEXT:    s_mov_b32 m0, -1
10262 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10263 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10264 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10265 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10266 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10267 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10268 ; GFX6-NEXT:    ds_write_b32 v0, v1
10269 ; GFX6-NEXT:    s_endpgm
10270 ;
10271 ; GFX7-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10272 ; GFX7:       ; %bb.0: ; %entry
10273 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10274 ; GFX7-NEXT:    s_mov_b32 m0, -1
10275 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10276 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10277 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10278 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10279 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10280 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10281 ; GFX7-NEXT:    ds_write_b32 v0, v1
10282 ; GFX7-NEXT:    s_endpgm
10283 ;
10284 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10285 ; GFX10-WGP:       ; %bb.0: ; %entry
10286 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10287 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10288 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10289 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10290 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10291 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10292 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10293 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10294 ; GFX10-WGP-NEXT:    s_endpgm
10295 ;
10296 ; GFX10-CU-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10297 ; GFX10-CU:       ; %bb.0: ; %entry
10298 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10299 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10300 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10301 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10302 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10303 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10304 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10305 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10306 ; GFX10-CU-NEXT:    s_endpgm
10307 ;
10308 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10309 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10310 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10311 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10312 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10313 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10314 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10315 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10316 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10317 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10318 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10319 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10320 ;
10321 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10322 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10323 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10324 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10325 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10326 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10327 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10328 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10329 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10330 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10331 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10332 ;
10333 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10334 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10335 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10336 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10337 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10338 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10339 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10340 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10341 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10342 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10343 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10344 ;
10345 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10346 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10347 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10348 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10349 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10350 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10351 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10352 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10353 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10354 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10355 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10356 ;
10357 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10358 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10359 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10360 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10361 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10362 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10363 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10364 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10365 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10366 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10367 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10368 ;
10369 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10370 ; GFX11-WGP:       ; %bb.0: ; %entry
10371 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10372 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10373 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10374 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10375 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10376 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10377 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10378 ; GFX11-WGP-NEXT:    s_endpgm
10379 ;
10380 ; GFX11-CU-LABEL: local_agent_one_as_acquire_monotonic_ret_cmpxchg:
10381 ; GFX11-CU:       ; %bb.0: ; %entry
10382 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10383 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10384 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10385 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10386 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10387 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10388 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10389 ; GFX11-CU-NEXT:    s_endpgm
10390     ptr addrspace(3) %out, i32 %in, i32 %old) {
10391 entry:
10392   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10393   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire monotonic
10394   %val0 = extractvalue { i32, i1 } %val, 0
10395   store i32 %val0, ptr addrspace(3) %out, align 4
10396   ret void
10397 }
10398
10399 define amdgpu_kernel void @local_agent_one_as_release_monotonic_ret_cmpxchg(
10400 ; GFX6-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10401 ; GFX6:       ; %bb.0: ; %entry
10402 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10403 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10404 ; GFX6-NEXT:    s_mov_b32 m0, -1
10405 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10406 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10407 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10408 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10409 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10410 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10411 ; GFX6-NEXT:    ds_write_b32 v0, v1
10412 ; GFX6-NEXT:    s_endpgm
10413 ;
10414 ; GFX7-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10415 ; GFX7:       ; %bb.0: ; %entry
10416 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10417 ; GFX7-NEXT:    s_mov_b32 m0, -1
10418 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10419 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10420 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10421 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10422 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10423 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10424 ; GFX7-NEXT:    ds_write_b32 v0, v1
10425 ; GFX7-NEXT:    s_endpgm
10426 ;
10427 ; GFX10-WGP-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10428 ; GFX10-WGP:       ; %bb.0: ; %entry
10429 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10430 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10431 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10432 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10433 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10434 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10435 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10436 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10437 ; GFX10-WGP-NEXT:    s_endpgm
10438 ;
10439 ; GFX10-CU-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10440 ; GFX10-CU:       ; %bb.0: ; %entry
10441 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10442 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10443 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10444 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10446 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10447 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10448 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10449 ; GFX10-CU-NEXT:    s_endpgm
10450 ;
10451 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10452 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10453 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10454 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10455 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10456 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10457 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10458 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10459 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10460 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10461 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10462 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10463 ;
10464 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10465 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10466 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10467 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10468 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10469 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10470 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10471 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10472 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10473 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10474 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10475 ;
10476 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10477 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10478 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10479 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10480 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10481 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10482 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10483 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10484 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10485 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10486 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10487 ;
10488 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10489 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10490 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10491 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10492 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10493 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10494 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10495 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10496 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10497 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10498 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10499 ;
10500 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10501 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10502 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10503 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10504 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10505 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10506 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10507 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10508 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10509 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10510 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10511 ;
10512 ; GFX11-WGP-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10513 ; GFX11-WGP:       ; %bb.0: ; %entry
10514 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10515 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10516 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10517 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10518 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10519 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10520 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10521 ; GFX11-WGP-NEXT:    s_endpgm
10522 ;
10523 ; GFX11-CU-LABEL: local_agent_one_as_release_monotonic_ret_cmpxchg:
10524 ; GFX11-CU:       ; %bb.0: ; %entry
10525 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10526 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10527 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10528 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10529 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10530 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10531 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10532 ; GFX11-CU-NEXT:    s_endpgm
10533     ptr addrspace(3) %out, i32 %in, i32 %old) {
10534 entry:
10535   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10536   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release monotonic
10537   %val0 = extractvalue { i32, i1 } %val, 0
10538   store i32 %val0, ptr addrspace(3) %out, align 4
10539   ret void
10540 }
10541
10542 define amdgpu_kernel void @local_agent_one_as_acq_rel_monotonic_ret_cmpxchg(
10543 ; GFX6-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10544 ; GFX6:       ; %bb.0: ; %entry
10545 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10546 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10547 ; GFX6-NEXT:    s_mov_b32 m0, -1
10548 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10549 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10550 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10551 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10552 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10553 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10554 ; GFX6-NEXT:    ds_write_b32 v0, v1
10555 ; GFX6-NEXT:    s_endpgm
10556 ;
10557 ; GFX7-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10558 ; GFX7:       ; %bb.0: ; %entry
10559 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10560 ; GFX7-NEXT:    s_mov_b32 m0, -1
10561 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10562 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10563 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10564 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10565 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10566 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10567 ; GFX7-NEXT:    ds_write_b32 v0, v1
10568 ; GFX7-NEXT:    s_endpgm
10569 ;
10570 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10571 ; GFX10-WGP:       ; %bb.0: ; %entry
10572 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10573 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10574 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10575 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10576 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10577 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10578 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10579 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10580 ; GFX10-WGP-NEXT:    s_endpgm
10581 ;
10582 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10583 ; GFX10-CU:       ; %bb.0: ; %entry
10584 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10585 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10586 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10587 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10588 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10589 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10590 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10591 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10592 ; GFX10-CU-NEXT:    s_endpgm
10593 ;
10594 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10595 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10596 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10597 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10598 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10599 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10600 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10601 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10602 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10603 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10604 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10605 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10606 ;
10607 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10608 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10609 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10610 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10611 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10612 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10613 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10614 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10615 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10616 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10617 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10618 ;
10619 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10620 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10621 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10622 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10623 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10624 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10625 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10626 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10627 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10628 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10629 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10630 ;
10631 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10632 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10633 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10634 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10635 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10636 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10637 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10638 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10639 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10640 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10641 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10642 ;
10643 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10644 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10645 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10646 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10647 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10648 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10649 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10650 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10651 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10652 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10653 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10654 ;
10655 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10656 ; GFX11-WGP:       ; %bb.0: ; %entry
10657 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10658 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10659 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10660 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10661 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10662 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10663 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10664 ; GFX11-WGP-NEXT:    s_endpgm
10665 ;
10666 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
10667 ; GFX11-CU:       ; %bb.0: ; %entry
10668 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10669 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10670 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10671 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10672 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10673 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10674 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10675 ; GFX11-CU-NEXT:    s_endpgm
10676     ptr addrspace(3) %out, i32 %in, i32 %old) {
10677 entry:
10678   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10679   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel monotonic
10680   %val0 = extractvalue { i32, i1 } %val, 0
10681   store i32 %val0, ptr addrspace(3) %out, align 4
10682   ret void
10683 }
10684
10685 define amdgpu_kernel void @local_agent_one_as_seq_cst_monotonic_ret_cmpxchg(
10686 ; GFX6-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10687 ; GFX6:       ; %bb.0: ; %entry
10688 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10689 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10690 ; GFX6-NEXT:    s_mov_b32 m0, -1
10691 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10692 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10693 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10694 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10695 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10696 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10697 ; GFX6-NEXT:    ds_write_b32 v0, v1
10698 ; GFX6-NEXT:    s_endpgm
10699 ;
10700 ; GFX7-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10701 ; GFX7:       ; %bb.0: ; %entry
10702 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10703 ; GFX7-NEXT:    s_mov_b32 m0, -1
10704 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10705 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10706 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10707 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10708 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10709 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10710 ; GFX7-NEXT:    ds_write_b32 v0, v1
10711 ; GFX7-NEXT:    s_endpgm
10712 ;
10713 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10714 ; GFX10-WGP:       ; %bb.0: ; %entry
10715 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10716 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10717 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10718 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10719 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10720 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10721 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10722 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10723 ; GFX10-WGP-NEXT:    s_endpgm
10724 ;
10725 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10726 ; GFX10-CU:       ; %bb.0: ; %entry
10727 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10728 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10729 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10730 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10731 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10732 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10733 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10734 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10735 ; GFX10-CU-NEXT:    s_endpgm
10736 ;
10737 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10738 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10739 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10740 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10741 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10742 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10743 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10744 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10745 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10746 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10747 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10748 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10749 ;
10750 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10751 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10752 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10753 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10754 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10755 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10756 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10757 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10758 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10759 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10760 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10761 ;
10762 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10763 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10764 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10765 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10766 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10767 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10768 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10769 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10770 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10771 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10772 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10773 ;
10774 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10775 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10776 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10777 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10778 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10779 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10780 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10781 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10782 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10783 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10784 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10785 ;
10786 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10787 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10788 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10789 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10790 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10791 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10792 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10793 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10794 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10795 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10796 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10797 ;
10798 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10799 ; GFX11-WGP:       ; %bb.0: ; %entry
10800 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10801 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10802 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10803 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10804 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10805 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10806 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10807 ; GFX11-WGP-NEXT:    s_endpgm
10808 ;
10809 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
10810 ; GFX11-CU:       ; %bb.0: ; %entry
10811 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10812 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10813 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10814 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10815 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10816 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10817 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10818 ; GFX11-CU-NEXT:    s_endpgm
10819     ptr addrspace(3) %out, i32 %in, i32 %old) {
10820 entry:
10821   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10822   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst monotonic
10823   %val0 = extractvalue { i32, i1 } %val, 0
10824   store i32 %val0, ptr addrspace(3) %out, align 4
10825   ret void
10826 }
10827
10828 define amdgpu_kernel void @local_agent_one_as_monotonic_acquire_ret_cmpxchg(
10829 ; GFX6-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10830 ; GFX6:       ; %bb.0: ; %entry
10831 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10832 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10833 ; GFX6-NEXT:    s_mov_b32 m0, -1
10834 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10835 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10836 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10837 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10838 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10839 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10840 ; GFX6-NEXT:    ds_write_b32 v0, v1
10841 ; GFX6-NEXT:    s_endpgm
10842 ;
10843 ; GFX7-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10844 ; GFX7:       ; %bb.0: ; %entry
10845 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10846 ; GFX7-NEXT:    s_mov_b32 m0, -1
10847 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10848 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10849 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10850 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10851 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10852 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10853 ; GFX7-NEXT:    ds_write_b32 v0, v1
10854 ; GFX7-NEXT:    s_endpgm
10855 ;
10856 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10857 ; GFX10-WGP:       ; %bb.0: ; %entry
10858 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10859 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10860 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10861 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
10862 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
10863 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10864 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10865 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10866 ; GFX10-WGP-NEXT:    s_endpgm
10867 ;
10868 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10869 ; GFX10-CU:       ; %bb.0: ; %entry
10870 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10871 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10872 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10873 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
10874 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
10875 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10876 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10877 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10878 ; GFX10-CU-NEXT:    s_endpgm
10879 ;
10880 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10881 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10882 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10883 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10884 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10885 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10886 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
10887 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
10888 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10889 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10890 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10891 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10892 ;
10893 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10894 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10895 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10896 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10897 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10898 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10899 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10900 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10901 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10902 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10903 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10904 ;
10905 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10906 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10907 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10908 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10909 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10910 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10911 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10912 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10913 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10914 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10915 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10916 ;
10917 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10918 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10919 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10920 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10921 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10922 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10923 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10924 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10925 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10926 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10927 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10928 ;
10929 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10930 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10931 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10932 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10933 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10934 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
10935 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
10936 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10937 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10938 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10939 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10940 ;
10941 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10942 ; GFX11-WGP:       ; %bb.0: ; %entry
10943 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10944 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10945 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10946 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
10947 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10948 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10949 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10950 ; GFX11-WGP-NEXT:    s_endpgm
10951 ;
10952 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_acquire_ret_cmpxchg:
10953 ; GFX11-CU:       ; %bb.0: ; %entry
10954 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10955 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10956 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10957 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
10958 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
10959 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10960 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10961 ; GFX11-CU-NEXT:    s_endpgm
10962     ptr addrspace(3) %out, i32 %in, i32 %old) {
10963 entry:
10964   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10965   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic acquire
10966   %val0 = extractvalue { i32, i1 } %val, 0
10967   store i32 %val0, ptr addrspace(3) %out, align 4
10968   ret void
10969 }
10970
10971 define amdgpu_kernel void @local_agent_one_as_acquire_acquire_ret_cmpxchg(
10972 ; GFX6-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
10973 ; GFX6:       ; %bb.0: ; %entry
10974 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
10975 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
10976 ; GFX6-NEXT:    s_mov_b32 m0, -1
10977 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10978 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
10979 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
10980 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
10981 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10982 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10983 ; GFX6-NEXT:    ds_write_b32 v0, v1
10984 ; GFX6-NEXT:    s_endpgm
10985 ;
10986 ; GFX7-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
10987 ; GFX7:       ; %bb.0: ; %entry
10988 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10989 ; GFX7-NEXT:    s_mov_b32 m0, -1
10990 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10991 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10992 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
10993 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
10994 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
10995 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10996 ; GFX7-NEXT:    ds_write_b32 v0, v1
10997 ; GFX7-NEXT:    s_endpgm
10998 ;
10999 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11000 ; GFX10-WGP:       ; %bb.0: ; %entry
11001 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11002 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11003 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11004 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11005 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11006 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11007 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11008 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11009 ; GFX10-WGP-NEXT:    s_endpgm
11010 ;
11011 ; GFX10-CU-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11012 ; GFX10-CU:       ; %bb.0: ; %entry
11013 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11014 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11015 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11016 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11017 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11018 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11019 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11020 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11021 ; GFX10-CU-NEXT:    s_endpgm
11022 ;
11023 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11024 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11025 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11026 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11027 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11028 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11029 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11030 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11031 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11032 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11033 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11034 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11035 ;
11036 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11037 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11038 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11039 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11040 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11041 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11042 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11043 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11044 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11045 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11046 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11047 ;
11048 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11049 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11050 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11051 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11052 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11053 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11054 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11055 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11056 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11057 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11058 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11059 ;
11060 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11061 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11062 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11063 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11064 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11065 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11066 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11067 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11068 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11069 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11070 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11071 ;
11072 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11073 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11074 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11075 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11076 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11077 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11078 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11079 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11080 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11081 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11082 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11083 ;
11084 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11085 ; GFX11-WGP:       ; %bb.0: ; %entry
11086 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11087 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11088 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11089 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11090 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11091 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11092 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11093 ; GFX11-WGP-NEXT:    s_endpgm
11094 ;
11095 ; GFX11-CU-LABEL: local_agent_one_as_acquire_acquire_ret_cmpxchg:
11096 ; GFX11-CU:       ; %bb.0: ; %entry
11097 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11098 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11099 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11100 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11101 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11102 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11103 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11104 ; GFX11-CU-NEXT:    s_endpgm
11105     ptr addrspace(3) %out, i32 %in, i32 %old) {
11106 entry:
11107   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11108   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire acquire
11109   %val0 = extractvalue { i32, i1 } %val, 0
11110   store i32 %val0, ptr addrspace(3) %out, align 4
11111   ret void
11112 }
11113
11114 define amdgpu_kernel void @local_agent_one_as_release_acquire_ret_cmpxchg(
11115 ; GFX6-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11116 ; GFX6:       ; %bb.0: ; %entry
11117 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11118 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11119 ; GFX6-NEXT:    s_mov_b32 m0, -1
11120 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11121 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11122 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11123 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11124 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11125 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11126 ; GFX6-NEXT:    ds_write_b32 v0, v1
11127 ; GFX6-NEXT:    s_endpgm
11128 ;
11129 ; GFX7-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11130 ; GFX7:       ; %bb.0: ; %entry
11131 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11132 ; GFX7-NEXT:    s_mov_b32 m0, -1
11133 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11134 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11135 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11136 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11137 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11138 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11139 ; GFX7-NEXT:    ds_write_b32 v0, v1
11140 ; GFX7-NEXT:    s_endpgm
11141 ;
11142 ; GFX10-WGP-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11143 ; GFX10-WGP:       ; %bb.0: ; %entry
11144 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11145 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11146 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11147 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11148 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11149 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11150 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11151 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11152 ; GFX10-WGP-NEXT:    s_endpgm
11153 ;
11154 ; GFX10-CU-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11155 ; GFX10-CU:       ; %bb.0: ; %entry
11156 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11157 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11158 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11159 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11160 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11161 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11162 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11163 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11164 ; GFX10-CU-NEXT:    s_endpgm
11165 ;
11166 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11167 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11168 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11169 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11170 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11172 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11173 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11174 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11175 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11176 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11177 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11178 ;
11179 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11180 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11181 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11182 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11183 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11184 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11185 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11186 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11187 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11188 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11189 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11190 ;
11191 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11192 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11193 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11194 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11195 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11196 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11197 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11198 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11199 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11200 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11201 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11202 ;
11203 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11204 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11205 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11206 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11207 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11208 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11209 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11210 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11211 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11212 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11213 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11214 ;
11215 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11216 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11217 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11218 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11219 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11220 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11221 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11222 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11223 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11224 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11225 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11226 ;
11227 ; GFX11-WGP-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11228 ; GFX11-WGP:       ; %bb.0: ; %entry
11229 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11230 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11231 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11232 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11233 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11234 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11235 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11236 ; GFX11-WGP-NEXT:    s_endpgm
11237 ;
11238 ; GFX11-CU-LABEL: local_agent_one_as_release_acquire_ret_cmpxchg:
11239 ; GFX11-CU:       ; %bb.0: ; %entry
11240 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11241 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11242 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11243 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11244 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11245 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11246 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11247 ; GFX11-CU-NEXT:    s_endpgm
11248     ptr addrspace(3) %out, i32 %in, i32 %old) {
11249 entry:
11250   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11251   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release acquire
11252   %val0 = extractvalue { i32, i1 } %val, 0
11253   store i32 %val0, ptr addrspace(3) %out, align 4
11254   ret void
11255 }
11256
11257 define amdgpu_kernel void @local_agent_one_as_acq_rel_acquire_ret_cmpxchg(
11258 ; GFX6-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11259 ; GFX6:       ; %bb.0: ; %entry
11260 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11261 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11262 ; GFX6-NEXT:    s_mov_b32 m0, -1
11263 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11264 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11265 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11266 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11267 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11268 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11269 ; GFX6-NEXT:    ds_write_b32 v0, v1
11270 ; GFX6-NEXT:    s_endpgm
11271 ;
11272 ; GFX7-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11273 ; GFX7:       ; %bb.0: ; %entry
11274 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11275 ; GFX7-NEXT:    s_mov_b32 m0, -1
11276 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11277 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11278 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11279 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11280 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11281 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11282 ; GFX7-NEXT:    ds_write_b32 v0, v1
11283 ; GFX7-NEXT:    s_endpgm
11284 ;
11285 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11286 ; GFX10-WGP:       ; %bb.0: ; %entry
11287 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11288 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11289 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11290 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11291 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11292 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11293 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11294 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11295 ; GFX10-WGP-NEXT:    s_endpgm
11296 ;
11297 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11298 ; GFX10-CU:       ; %bb.0: ; %entry
11299 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11300 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11301 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11302 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11303 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11304 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11305 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11306 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11307 ; GFX10-CU-NEXT:    s_endpgm
11308 ;
11309 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11310 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11311 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11312 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11313 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11314 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11315 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11316 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11317 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11318 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11319 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11320 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11321 ;
11322 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11323 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11324 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11325 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11326 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11327 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11328 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11329 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11330 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11331 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11332 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11333 ;
11334 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11335 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11336 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11337 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11338 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11339 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11340 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11341 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11342 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11343 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11344 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11345 ;
11346 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11347 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11348 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11349 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11350 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11351 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11352 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11353 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11354 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11355 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11356 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11357 ;
11358 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11359 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11360 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11361 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11362 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11363 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11364 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11365 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11366 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11367 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11368 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11369 ;
11370 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11371 ; GFX11-WGP:       ; %bb.0: ; %entry
11372 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11373 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11374 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11375 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11376 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11377 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11378 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11379 ; GFX11-WGP-NEXT:    s_endpgm
11380 ;
11381 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_acquire_ret_cmpxchg:
11382 ; GFX11-CU:       ; %bb.0: ; %entry
11383 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11384 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11385 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11386 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11387 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11388 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11389 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11390 ; GFX11-CU-NEXT:    s_endpgm
11391     ptr addrspace(3) %out, i32 %in, i32 %old) {
11392 entry:
11393   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11394   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel acquire
11395   %val0 = extractvalue { i32, i1 } %val, 0
11396   store i32 %val0, ptr addrspace(3) %out, align 4
11397   ret void
11398 }
11399
11400 define amdgpu_kernel void @local_agent_one_as_seq_cst_acquire_ret_cmpxchg(
11401 ; GFX6-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11402 ; GFX6:       ; %bb.0: ; %entry
11403 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11404 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11405 ; GFX6-NEXT:    s_mov_b32 m0, -1
11406 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11407 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11408 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11409 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11410 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11411 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11412 ; GFX6-NEXT:    ds_write_b32 v0, v1
11413 ; GFX6-NEXT:    s_endpgm
11414 ;
11415 ; GFX7-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11416 ; GFX7:       ; %bb.0: ; %entry
11417 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11418 ; GFX7-NEXT:    s_mov_b32 m0, -1
11419 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11420 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11421 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11422 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11423 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11424 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11425 ; GFX7-NEXT:    ds_write_b32 v0, v1
11426 ; GFX7-NEXT:    s_endpgm
11427 ;
11428 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11429 ; GFX10-WGP:       ; %bb.0: ; %entry
11430 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11431 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11432 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11433 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11434 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11435 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11436 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11437 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11438 ; GFX10-WGP-NEXT:    s_endpgm
11439 ;
11440 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11441 ; GFX10-CU:       ; %bb.0: ; %entry
11442 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11443 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11444 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11446 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11447 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11448 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11449 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11450 ; GFX10-CU-NEXT:    s_endpgm
11451 ;
11452 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11453 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11454 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11455 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11456 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11457 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11458 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11459 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11460 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11461 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11462 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11463 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11464 ;
11465 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11466 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11467 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11468 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11469 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11470 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11471 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11472 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11473 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11474 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11475 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11476 ;
11477 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11478 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11479 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11480 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11481 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11482 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11483 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11484 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11485 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11486 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11487 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11488 ;
11489 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11490 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11491 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11492 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11493 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11494 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11495 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11496 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11497 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11498 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11499 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11500 ;
11501 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11502 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11503 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11504 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11505 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11506 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11507 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11508 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11509 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11510 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11511 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11512 ;
11513 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11514 ; GFX11-WGP:       ; %bb.0: ; %entry
11515 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11516 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11517 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11518 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11519 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11520 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11521 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11522 ; GFX11-WGP-NEXT:    s_endpgm
11523 ;
11524 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_acquire_ret_cmpxchg:
11525 ; GFX11-CU:       ; %bb.0: ; %entry
11526 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11527 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11528 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11529 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11530 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11531 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11532 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11533 ; GFX11-CU-NEXT:    s_endpgm
11534     ptr addrspace(3) %out, i32 %in, i32 %old) {
11535 entry:
11536   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11537   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst acquire
11538   %val0 = extractvalue { i32, i1 } %val, 0
11539   store i32 %val0, ptr addrspace(3) %out, align 4
11540   ret void
11541 }
11542
11543 define amdgpu_kernel void @local_agent_one_as_monotonic_seq_cst_ret_cmpxchg(
11544 ; GFX6-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11545 ; GFX6:       ; %bb.0: ; %entry
11546 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11547 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11548 ; GFX6-NEXT:    s_mov_b32 m0, -1
11549 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11550 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11551 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11552 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11553 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11554 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11555 ; GFX6-NEXT:    ds_write_b32 v0, v1
11556 ; GFX6-NEXT:    s_endpgm
11557 ;
11558 ; GFX7-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11559 ; GFX7:       ; %bb.0: ; %entry
11560 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11561 ; GFX7-NEXT:    s_mov_b32 m0, -1
11562 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11563 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11564 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11565 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11566 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11567 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11568 ; GFX7-NEXT:    ds_write_b32 v0, v1
11569 ; GFX7-NEXT:    s_endpgm
11570 ;
11571 ; GFX10-WGP-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11572 ; GFX10-WGP:       ; %bb.0: ; %entry
11573 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11574 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11575 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11576 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11577 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11578 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11579 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11580 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11581 ; GFX10-WGP-NEXT:    s_endpgm
11582 ;
11583 ; GFX10-CU-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11584 ; GFX10-CU:       ; %bb.0: ; %entry
11585 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11586 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11587 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11588 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11589 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11590 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11591 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11592 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11593 ; GFX10-CU-NEXT:    s_endpgm
11594 ;
11595 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11596 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11597 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11598 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11599 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11600 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11601 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11602 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11603 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11604 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11605 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11606 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11607 ;
11608 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11609 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11610 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11611 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11612 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11613 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11614 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11615 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11616 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11617 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11618 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11619 ;
11620 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11621 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11622 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11623 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11624 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11625 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11626 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11627 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11628 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11629 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11630 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11631 ;
11632 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11633 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11634 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11635 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11636 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11637 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11638 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11639 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11640 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11641 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11642 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11643 ;
11644 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11645 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11646 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11647 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11648 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11649 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11650 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11651 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11652 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11653 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11654 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11655 ;
11656 ; GFX11-WGP-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11657 ; GFX11-WGP:       ; %bb.0: ; %entry
11658 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11659 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11660 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11661 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11662 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11663 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11664 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11665 ; GFX11-WGP-NEXT:    s_endpgm
11666 ;
11667 ; GFX11-CU-LABEL: local_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
11668 ; GFX11-CU:       ; %bb.0: ; %entry
11669 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11670 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11671 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11672 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11673 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11674 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11675 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11676 ; GFX11-CU-NEXT:    s_endpgm
11677     ptr addrspace(3) %out, i32 %in, i32 %old) {
11678 entry:
11679   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11680   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic seq_cst
11681   %val0 = extractvalue { i32, i1 } %val, 0
11682   store i32 %val0, ptr addrspace(3) %out, align 4
11683   ret void
11684 }
11685
11686 define amdgpu_kernel void @local_agent_one_as_acquire_seq_cst_ret_cmpxchg(
11687 ; GFX6-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11688 ; GFX6:       ; %bb.0: ; %entry
11689 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11690 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11691 ; GFX6-NEXT:    s_mov_b32 m0, -1
11692 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11693 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11694 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11695 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11696 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11697 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11698 ; GFX6-NEXT:    ds_write_b32 v0, v1
11699 ; GFX6-NEXT:    s_endpgm
11700 ;
11701 ; GFX7-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11702 ; GFX7:       ; %bb.0: ; %entry
11703 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11704 ; GFX7-NEXT:    s_mov_b32 m0, -1
11705 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11706 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11707 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11708 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11709 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11710 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11711 ; GFX7-NEXT:    ds_write_b32 v0, v1
11712 ; GFX7-NEXT:    s_endpgm
11713 ;
11714 ; GFX10-WGP-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11715 ; GFX10-WGP:       ; %bb.0: ; %entry
11716 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11717 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11718 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11719 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11720 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11721 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11722 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11723 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11724 ; GFX10-WGP-NEXT:    s_endpgm
11725 ;
11726 ; GFX10-CU-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11727 ; GFX10-CU:       ; %bb.0: ; %entry
11728 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11729 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11730 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11731 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11732 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11733 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11734 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11735 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11736 ; GFX10-CU-NEXT:    s_endpgm
11737 ;
11738 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11739 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11740 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11741 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11742 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11743 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11744 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11745 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11746 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11747 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11748 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11749 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11750 ;
11751 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11752 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11753 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11754 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11755 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11756 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11757 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11758 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11759 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11760 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11761 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11762 ;
11763 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11764 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11765 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11766 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11767 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11768 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11769 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11770 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11771 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11772 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11773 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11774 ;
11775 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11776 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11777 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11778 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11779 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11780 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11781 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11782 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11783 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11784 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11785 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11786 ;
11787 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11788 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11789 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11790 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11791 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11792 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11793 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11794 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11795 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11796 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11797 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11798 ;
11799 ; GFX11-WGP-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11800 ; GFX11-WGP:       ; %bb.0: ; %entry
11801 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11802 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11803 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11804 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11805 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11806 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11807 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11808 ; GFX11-WGP-NEXT:    s_endpgm
11809 ;
11810 ; GFX11-CU-LABEL: local_agent_one_as_acquire_seq_cst_ret_cmpxchg:
11811 ; GFX11-CU:       ; %bb.0: ; %entry
11812 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11813 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11814 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11815 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11816 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11817 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11818 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11819 ; GFX11-CU-NEXT:    s_endpgm
11820     ptr addrspace(3) %out, i32 %in, i32 %old) {
11821 entry:
11822   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11823   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire seq_cst
11824   %val0 = extractvalue { i32, i1 } %val, 0
11825   store i32 %val0, ptr addrspace(3) %out, align 4
11826   ret void
11827 }
11828
11829 define amdgpu_kernel void @local_agent_one_as_release_seq_cst_ret_cmpxchg(
11830 ; GFX6-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11831 ; GFX6:       ; %bb.0: ; %entry
11832 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11833 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11834 ; GFX6-NEXT:    s_mov_b32 m0, -1
11835 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11836 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11837 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11838 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11839 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11840 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11841 ; GFX6-NEXT:    ds_write_b32 v0, v1
11842 ; GFX6-NEXT:    s_endpgm
11843 ;
11844 ; GFX7-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11845 ; GFX7:       ; %bb.0: ; %entry
11846 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11847 ; GFX7-NEXT:    s_mov_b32 m0, -1
11848 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11849 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11850 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11851 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11852 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11853 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11854 ; GFX7-NEXT:    ds_write_b32 v0, v1
11855 ; GFX7-NEXT:    s_endpgm
11856 ;
11857 ; GFX10-WGP-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11858 ; GFX10-WGP:       ; %bb.0: ; %entry
11859 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11860 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11861 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11862 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
11863 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
11864 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11865 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11866 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
11867 ; GFX10-WGP-NEXT:    s_endpgm
11868 ;
11869 ; GFX10-CU-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11870 ; GFX10-CU:       ; %bb.0: ; %entry
11871 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11872 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11873 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11874 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
11875 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
11876 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11877 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11878 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
11879 ; GFX10-CU-NEXT:    s_endpgm
11880 ;
11881 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11882 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11883 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11884 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11885 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11886 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11887 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
11888 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
11889 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11890 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11891 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
11892 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11893 ;
11894 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11895 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11896 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11897 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11898 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11899 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11900 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11901 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11902 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11903 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11904 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11905 ;
11906 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11907 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11908 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11909 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11910 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11911 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11912 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11913 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11914 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11915 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11916 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11917 ;
11918 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11919 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11920 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11921 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11922 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11923 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11924 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11925 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11926 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11927 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
11928 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11929 ;
11930 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11931 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11932 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11933 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11934 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
11935 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
11936 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
11937 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11938 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11939 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
11940 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11941 ;
11942 ; GFX11-WGP-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11943 ; GFX11-WGP:       ; %bb.0: ; %entry
11944 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11945 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11946 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11947 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
11948 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11949 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11950 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
11951 ; GFX11-WGP-NEXT:    s_endpgm
11952 ;
11953 ; GFX11-CU-LABEL: local_agent_one_as_release_seq_cst_ret_cmpxchg:
11954 ; GFX11-CU:       ; %bb.0: ; %entry
11955 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11956 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11957 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11958 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
11959 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
11960 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11961 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
11962 ; GFX11-CU-NEXT:    s_endpgm
11963     ptr addrspace(3) %out, i32 %in, i32 %old) {
11964 entry:
11965   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11966   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") release seq_cst
11967   %val0 = extractvalue { i32, i1 } %val, 0
11968   store i32 %val0, ptr addrspace(3) %out, align 4
11969   ret void
11970 }
11971
11972 define amdgpu_kernel void @local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg(
11973 ; GFX6-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
11974 ; GFX6:       ; %bb.0: ; %entry
11975 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
11976 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
11977 ; GFX6-NEXT:    s_mov_b32 m0, -1
11978 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11979 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
11980 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
11981 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
11982 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11983 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11984 ; GFX6-NEXT:    ds_write_b32 v0, v1
11985 ; GFX6-NEXT:    s_endpgm
11986 ;
11987 ; GFX7-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
11988 ; GFX7:       ; %bb.0: ; %entry
11989 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11990 ; GFX7-NEXT:    s_mov_b32 m0, -1
11991 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11992 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11993 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
11994 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
11995 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
11996 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11997 ; GFX7-NEXT:    ds_write_b32 v0, v1
11998 ; GFX7-NEXT:    s_endpgm
11999 ;
12000 ; GFX10-WGP-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12001 ; GFX10-WGP:       ; %bb.0: ; %entry
12002 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12003 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12004 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12005 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
12006 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
12007 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12008 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12009 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
12010 ; GFX10-WGP-NEXT:    s_endpgm
12011 ;
12012 ; GFX10-CU-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12013 ; GFX10-CU:       ; %bb.0: ; %entry
12014 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12015 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12016 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12017 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
12018 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
12019 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12020 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12021 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
12022 ; GFX10-CU-NEXT:    s_endpgm
12023 ;
12024 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12025 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12026 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12027 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12028 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12029 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12030 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
12031 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
12032 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12033 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12034 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
12035 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12036 ;
12037 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12038 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12039 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12040 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12041 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12042 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12043 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12044 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12045 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12046 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
12047 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12048 ;
12049 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12050 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12051 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12052 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12053 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12054 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12055 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12056 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12057 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12058 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
12059 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12060 ;
12061 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12062 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12063 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12064 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12065 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12066 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12067 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12068 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12069 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12070 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
12071 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12072 ;
12073 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12074 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12075 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12076 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12077 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12078 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12079 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12080 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12081 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12082 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
12083 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12084 ;
12085 ; GFX11-WGP-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12086 ; GFX11-WGP:       ; %bb.0: ; %entry
12087 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12088 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12089 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12090 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
12091 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
12092 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12093 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
12094 ; GFX11-WGP-NEXT:    s_endpgm
12095 ;
12096 ; GFX11-CU-LABEL: local_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
12097 ; GFX11-CU:       ; %bb.0: ; %entry
12098 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12099 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12100 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12101 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
12102 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
12103 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12104 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
12105 ; GFX11-CU-NEXT:    s_endpgm
12106     ptr addrspace(3) %out, i32 %in, i32 %old) {
12107 entry:
12108   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12109   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel seq_cst
12110   %val0 = extractvalue { i32, i1 } %val, 0
12111   store i32 %val0, ptr addrspace(3) %out, align 4
12112   ret void
12113 }
12114
12115 define amdgpu_kernel void @local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg(
12116 ; GFX6-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12117 ; GFX6:       ; %bb.0: ; %entry
12118 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
12119 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
12120 ; GFX6-NEXT:    s_mov_b32 m0, -1
12121 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12122 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
12123 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
12124 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
12125 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12126 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12127 ; GFX6-NEXT:    ds_write_b32 v0, v1
12128 ; GFX6-NEXT:    s_endpgm
12129 ;
12130 ; GFX7-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12131 ; GFX7:       ; %bb.0: ; %entry
12132 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12133 ; GFX7-NEXT:    s_mov_b32 m0, -1
12134 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12135 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12136 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
12137 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
12138 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12139 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12140 ; GFX7-NEXT:    ds_write_b32 v0, v1
12141 ; GFX7-NEXT:    s_endpgm
12142 ;
12143 ; GFX10-WGP-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12144 ; GFX10-WGP:       ; %bb.0: ; %entry
12145 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12146 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12147 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12148 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
12149 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
12150 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12151 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12152 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
12153 ; GFX10-WGP-NEXT:    s_endpgm
12154 ;
12155 ; GFX10-CU-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12156 ; GFX10-CU:       ; %bb.0: ; %entry
12157 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12158 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12159 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12160 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
12161 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
12162 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12163 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12164 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
12165 ; GFX10-CU-NEXT:    s_endpgm
12166 ;
12167 ; SKIP-CACHE-INV-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12168 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12169 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12170 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12171 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12172 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12173 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
12174 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
12175 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12176 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12177 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
12178 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12179 ;
12180 ; GFX90A-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12181 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12182 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12183 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12184 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12185 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12186 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12187 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12189 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
12190 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12191 ;
12192 ; GFX90A-TGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12193 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12194 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12195 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12196 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12197 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12198 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12199 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12200 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12201 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
12202 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12203 ;
12204 ; GFX940-NOTTGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12205 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12206 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12207 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12208 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12209 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12210 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12211 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12212 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12213 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
12214 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12215 ;
12216 ; GFX940-TGSPLIT-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12217 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12218 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12219 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12220 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
12221 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
12222 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
12223 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
12224 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12225 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
12226 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12227 ;
12228 ; GFX11-WGP-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12229 ; GFX11-WGP:       ; %bb.0: ; %entry
12230 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12231 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12232 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12233 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s2
12234 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
12235 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12236 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
12237 ; GFX11-WGP-NEXT:    s_endpgm
12238 ;
12239 ; GFX11-CU-LABEL: local_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
12240 ; GFX11-CU:       ; %bb.0: ; %entry
12241 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12242 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12243 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12244 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s2
12245 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
12246 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12247 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
12248 ; GFX11-CU-NEXT:    s_endpgm
12249     ptr addrspace(3) %out, i32 %in, i32 %old) {
12250 entry:
12251   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12252   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst seq_cst
12253   %val0 = extractvalue { i32, i1 } %val, 0
12254   store i32 %val0, ptr addrspace(3) %out, align 4
12255   ret void
12256 }
12257