llvm/test/CodeGen/AMDGPU/memory-legalizer-flat-agent.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx700 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX7 %s
   3 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-WGP %s
   4 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-CU %s
   5 ; RUN: llc -mtriple=amdgcn-amd-amdpal -mcpu=gfx700 -amdgcn-skip-cache-invalidations -verify-machineinstrs < %s | FileCheck --check-prefixes=SKIP-CACHE-INV %s
   6 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-NOTTGSPLIT %s
   7 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-TGSPLIT %s
   8 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-NOTTGSPLIT %s
   9 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx940 -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX940-TGSPLIT %s
  10 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-WGP %s
  11 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1100 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX11-CU %s
  12
  13 define amdgpu_kernel void @flat_agent_unordered_load(
  14 ; GFX7-LABEL: flat_agent_unordered_load:
  15 ; GFX7:       ; %bb.0: ; %entry
  16 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  17 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  18 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
  19 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
  20 ; GFX7-NEXT:    flat_load_dword v2, v[0:1]
  21 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
  22 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
  23 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  24 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
  25 ; GFX7-NEXT:    s_endpgm
  26 ;
  27 ; GFX10-WGP-LABEL: flat_agent_unordered_load:
  28 ; GFX10-WGP:       ; %bb.0: ; %entry
  29 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  30 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  31 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
  32 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
  33 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1]
  34 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
  35 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
  36 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  37 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
  38 ; GFX10-WGP-NEXT:    s_endpgm
  39 ;
  40 ; GFX10-CU-LABEL: flat_agent_unordered_load:
  41 ; GFX10-CU:       ; %bb.0: ; %entry
  42 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  43 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  44 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
  45 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
  46 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1]
  47 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
  48 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
  49 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  50 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
  51 ; GFX10-CU-NEXT:    s_endpgm
  52 ;
  53 ; SKIP-CACHE-INV-LABEL: flat_agent_unordered_load:
  54 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
  55 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
  56 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  57 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
  58 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
  59 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1]
  60 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
  61 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
  62 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  63 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
  64 ; SKIP-CACHE-INV-NEXT:    s_endpgm
  65 ;
  66 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_unordered_load:
  67 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
  68 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  69 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  70 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  71 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  72 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
  73 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
  74 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
  75 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  76 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
  77 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
  78 ;
  79 ; GFX90A-TGSPLIT-LABEL: flat_agent_unordered_load:
  80 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
  81 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
  82 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  83 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  84 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  85 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
  86 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
  87 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
  88 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
  89 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
  90 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
  91 ;
  92 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_unordered_load:
  93 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
  94 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
  95 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  96 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  97 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  98 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
  99 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 100 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 101 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 102 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 103 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 104 ;
 105 ; GFX940-TGSPLIT-LABEL: flat_agent_unordered_load:
 106 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 107 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 108 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 109 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 110 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 111 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
 112 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 113 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 114 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 115 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 116 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 117 ;
 118 ; GFX11-WGP-LABEL: flat_agent_unordered_load:
 119 ; GFX11-WGP:       ; %bb.0: ; %entry
 120 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 121 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 122 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 123 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1]
 124 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 125 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 126 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 127 ; GFX11-WGP-NEXT:    s_endpgm
 128 ;
 129 ; GFX11-CU-LABEL: flat_agent_unordered_load:
 130 ; GFX11-CU:       ; %bb.0: ; %entry
 131 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 132 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 133 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 134 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1]
 135 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 136 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 137 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 138 ; GFX11-CU-NEXT:    s_endpgm
 139     ptr %in, ptr %out) {
 140 entry:
 141   %val = load atomic i32, ptr %in syncscope("agent") unordered, align 4
 142   store i32 %val, ptr %out
 143   ret void
 144 }
 145
 146 define amdgpu_kernel void @flat_agent_monotonic_load(
 147 ; GFX7-LABEL: flat_agent_monotonic_load:
 148 ; GFX7:       ; %bb.0: ; %entry
 149 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 150 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 151 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 152 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 153 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 154 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 155 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 156 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 157 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 158 ; GFX7-NEXT:    s_endpgm
 159 ;
 160 ; GFX10-WGP-LABEL: flat_agent_monotonic_load:
 161 ; GFX10-WGP:       ; %bb.0: ; %entry
 162 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 163 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 164 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 165 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 166 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 167 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
 168 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
 169 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 170 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 171 ; GFX10-WGP-NEXT:    s_endpgm
 172 ;
 173 ; GFX10-CU-LABEL: flat_agent_monotonic_load:
 174 ; GFX10-CU:       ; %bb.0: ; %entry
 175 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 176 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 177 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 178 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 179 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 180 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
 181 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
 182 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 183 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 184 ; GFX10-CU-NEXT:    s_endpgm
 185 ;
 186 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_load:
 187 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 188 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 189 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 190 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 191 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 192 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
 193 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 194 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 195 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 196 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 197 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 198 ;
 199 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_load:
 200 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 201 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 202 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 203 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 204 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 205 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 206 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 207 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 208 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 209 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 210 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 211 ;
 212 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_load:
 213 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 214 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 215 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 216 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 217 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 218 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 219 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 220 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 221 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 222 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 223 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 224 ;
 225 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_load:
 226 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 227 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 228 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 229 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 230 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 231 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 232 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 233 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 234 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 235 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 236 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 237 ;
 238 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_load:
 239 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 240 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 241 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 242 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 243 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 244 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 245 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 246 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 247 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 248 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 249 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 250 ;
 251 ; GFX11-WGP-LABEL: flat_agent_monotonic_load:
 252 ; GFX11-WGP:       ; %bb.0: ; %entry
 253 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 254 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 255 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 256 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
 257 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 258 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 259 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 260 ; GFX11-WGP-NEXT:    s_endpgm
 261 ;
 262 ; GFX11-CU-LABEL: flat_agent_monotonic_load:
 263 ; GFX11-CU:       ; %bb.0: ; %entry
 264 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 265 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 266 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 267 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
 268 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 269 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 270 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 271 ; GFX11-CU-NEXT:    s_endpgm
 272     ptr %in, ptr %out) {
 273 entry:
 274   %val = load atomic i32, ptr %in syncscope("agent") monotonic, align 4
 275   store i32 %val, ptr %out
 276   ret void
 277 }
 278
 279 define amdgpu_kernel void @flat_agent_acquire_load(
 280 ; GFX7-LABEL: flat_agent_acquire_load:
 281 ; GFX7:       ; %bb.0: ; %entry
 282 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 283 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 284 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 285 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 286 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 287 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 288 ; GFX7-NEXT:    buffer_wbinvl1_vol
 289 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 290 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 291 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 292 ; GFX7-NEXT:    s_endpgm
 293 ;
 294 ; GFX10-WGP-LABEL: flat_agent_acquire_load:
 295 ; GFX10-WGP:       ; %bb.0: ; %entry
 296 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 297 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 298 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 299 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 300 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 301 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 302 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 303 ; GFX10-WGP-NEXT:    buffer_gl1_inv
 304 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
 305 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
 306 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 307 ; GFX10-WGP-NEXT:    s_endpgm
 308 ;
 309 ; GFX10-CU-LABEL: flat_agent_acquire_load:
 310 ; GFX10-CU:       ; %bb.0: ; %entry
 311 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 312 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 313 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 314 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 315 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 316 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 317 ; GFX10-CU-NEXT:    buffer_gl0_inv
 318 ; GFX10-CU-NEXT:    buffer_gl1_inv
 319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
 320 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
 321 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 322 ; GFX10-CU-NEXT:    s_endpgm
 323 ;
 324 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_load:
 325 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 326 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 327 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 328 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 329 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 330 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
 331 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 332 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 333 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 334 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 335 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 336 ;
 337 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_load:
 338 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 339 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 340 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 341 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 342 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 343 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 344 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 345 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
 346 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 347 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 348 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 349 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 350 ;
 351 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_load:
 352 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 353 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 354 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 355 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 356 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 357 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 358 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 359 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 360 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 361 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 362 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 363 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 364 ;
 365 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_load:
 366 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 367 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 368 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 369 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 370 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 371 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 372 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 373 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
 374 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 375 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 376 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 377 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 378 ;
 379 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_load:
 380 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 381 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 382 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 383 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 384 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 385 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 386 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 387 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
 388 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 389 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 390 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 391 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 392 ;
 393 ; GFX11-WGP-LABEL: flat_agent_acquire_load:
 394 ; GFX11-WGP:       ; %bb.0: ; %entry
 395 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 396 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 397 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 398 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
 399 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 400 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 401 ; GFX11-WGP-NEXT:    buffer_gl1_inv
 402 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 403 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 404 ; GFX11-WGP-NEXT:    s_endpgm
 405 ;
 406 ; GFX11-CU-LABEL: flat_agent_acquire_load:
 407 ; GFX11-CU:       ; %bb.0: ; %entry
 408 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 409 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 410 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 411 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
 412 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 413 ; GFX11-CU-NEXT:    buffer_gl0_inv
 414 ; GFX11-CU-NEXT:    buffer_gl1_inv
 415 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 416 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 417 ; GFX11-CU-NEXT:    s_endpgm
 418     ptr %in, ptr %out) {
 419 entry:
 420   %val = load atomic i32, ptr %in syncscope("agent") acquire, align 4
 421   store i32 %val, ptr %out
 422   ret void
 423 }
 424
 425 define amdgpu_kernel void @flat_agent_seq_cst_load(
 426 ; GFX7-LABEL: flat_agent_seq_cst_load:
 427 ; GFX7:       ; %bb.0: ; %entry
 428 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 429 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 430 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 431 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 432 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 433 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
 434 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 435 ; GFX7-NEXT:    buffer_wbinvl1_vol
 436 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 437 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 438 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 439 ; GFX7-NEXT:    s_endpgm
 440 ;
 441 ; GFX10-WGP-LABEL: flat_agent_seq_cst_load:
 442 ; GFX10-WGP:       ; %bb.0: ; %entry
 443 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 444 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 445 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 446 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 447 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 448 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 449 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 450 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 451 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 452 ; GFX10-WGP-NEXT:    buffer_gl1_inv
 453 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
 454 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
 455 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 456 ; GFX10-WGP-NEXT:    s_endpgm
 457 ;
 458 ; GFX10-CU-LABEL: flat_agent_seq_cst_load:
 459 ; GFX10-CU:       ; %bb.0: ; %entry
 460 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 461 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 462 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 463 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 464 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 465 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 466 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
 467 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 468 ; GFX10-CU-NEXT:    buffer_gl0_inv
 469 ; GFX10-CU-NEXT:    buffer_gl1_inv
 470 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
 471 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
 472 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 473 ; GFX10-CU-NEXT:    s_endpgm
 474 ;
 475 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_load:
 476 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 477 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 478 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 479 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 480 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 481 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 482 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
 483 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 484 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 485 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 486 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 487 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 488 ;
 489 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_load:
 490 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 491 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 492 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 493 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 494 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 495 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 496 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 497 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 498 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
 499 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 500 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 501 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 502 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 503 ;
 504 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_load:
 505 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 506 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
 507 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 508 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 509 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 510 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 511 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
 512 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 513 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 514 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 515 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 516 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 517 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 518 ;
 519 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_load:
 520 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 521 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 522 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 523 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 524 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 525 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 526 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 527 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 528 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
 529 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 530 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 531 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 532 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 533 ;
 534 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_load:
 535 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 536 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
 537 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 538 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 539 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 540 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 541 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
 542 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
 543 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
 544 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
 545 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
 546 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 547 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 548 ;
 549 ; GFX11-WGP-LABEL: flat_agent_seq_cst_load:
 550 ; GFX11-WGP:       ; %bb.0: ; %entry
 551 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 552 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 553 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 554 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 555 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 556 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
 557 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 558 ; GFX11-WGP-NEXT:    buffer_gl0_inv
 559 ; GFX11-WGP-NEXT:    buffer_gl1_inv
 560 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 561 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 562 ; GFX11-WGP-NEXT:    s_endpgm
 563 ;
 564 ; GFX11-CU-LABEL: flat_agent_seq_cst_load:
 565 ; GFX11-CU:       ; %bb.0: ; %entry
 566 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
 567 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 568 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 569 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 570 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 571 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
 572 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 573 ; GFX11-CU-NEXT:    buffer_gl0_inv
 574 ; GFX11-CU-NEXT:    buffer_gl1_inv
 575 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 576 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 577 ; GFX11-CU-NEXT:    s_endpgm
 578     ptr %in, ptr %out) {
 579 entry:
 580   %val = load atomic i32, ptr %in syncscope("agent") seq_cst, align 4
 581   store i32 %val, ptr %out
 582   ret void
 583 }
 584
 585 define amdgpu_kernel void @flat_agent_unordered_store(
 586 ; GFX7-LABEL: flat_agent_unordered_store:
 587 ; GFX7:       ; %bb.0: ; %entry
 588 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 589 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 590 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 591 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 592 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 593 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 594 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 595 ; GFX7-NEXT:    s_endpgm
 596 ;
 597 ; GFX10-WGP-LABEL: flat_agent_unordered_store:
 598 ; GFX10-WGP:       ; %bb.0: ; %entry
 599 ; GFX10-WGP-NEXT:    s_clause 0x1
 600 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 601 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 602 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 603 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 604 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 605 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
 606 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 607 ; GFX10-WGP-NEXT:    s_endpgm
 608 ;
 609 ; GFX10-CU-LABEL: flat_agent_unordered_store:
 610 ; GFX10-CU:       ; %bb.0: ; %entry
 611 ; GFX10-CU-NEXT:    s_clause 0x1
 612 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 613 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 614 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 615 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 616 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 617 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
 618 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 619 ; GFX10-CU-NEXT:    s_endpgm
 620 ;
 621 ; SKIP-CACHE-INV-LABEL: flat_agent_unordered_store:
 622 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 623 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
 624 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
 625 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 626 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 627 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 628 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
 629 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 630 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 631 ;
 632 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_unordered_store:
 633 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 634 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 635 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 636 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 637 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 638 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 639 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 640 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 641 ;
 642 ; GFX90A-TGSPLIT-LABEL: flat_agent_unordered_store:
 643 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 644 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 645 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 646 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 647 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 648 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 649 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 650 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 651 ;
 652 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_unordered_store:
 653 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 654 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 655 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 656 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 657 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 658 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 659 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 660 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 661 ;
 662 ; GFX940-TGSPLIT-LABEL: flat_agent_unordered_store:
 663 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 664 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 665 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 666 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 667 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 668 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 669 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 670 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 671 ;
 672 ; GFX11-WGP-LABEL: flat_agent_unordered_store:
 673 ; GFX11-WGP:       ; %bb.0: ; %entry
 674 ; GFX11-WGP-NEXT:    s_clause 0x1
 675 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 676 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
 677 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 678 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 679 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
 680 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 681 ; GFX11-WGP-NEXT:    s_endpgm
 682 ;
 683 ; GFX11-CU-LABEL: flat_agent_unordered_store:
 684 ; GFX11-CU:       ; %bb.0: ; %entry
 685 ; GFX11-CU-NEXT:    s_clause 0x1
 686 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 687 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
 688 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 689 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 690 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
 691 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 692 ; GFX11-CU-NEXT:    s_endpgm
 693     i32 %in, ptr %out) {
 694 entry:
 695   store atomic i32 %in, ptr %out syncscope("agent") unordered, align 4
 696   ret void
 697 }
 698
 699 define amdgpu_kernel void @flat_agent_monotonic_store(
 700 ; GFX7-LABEL: flat_agent_monotonic_store:
 701 ; GFX7:       ; %bb.0: ; %entry
 702 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 703 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 704 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 705 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 706 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 707 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 708 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 709 ; GFX7-NEXT:    s_endpgm
 710 ;
 711 ; GFX10-WGP-LABEL: flat_agent_monotonic_store:
 712 ; GFX10-WGP:       ; %bb.0: ; %entry
 713 ; GFX10-WGP-NEXT:    s_clause 0x1
 714 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 715 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 716 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 717 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 718 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 719 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
 720 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 721 ; GFX10-WGP-NEXT:    s_endpgm
 722 ;
 723 ; GFX10-CU-LABEL: flat_agent_monotonic_store:
 724 ; GFX10-CU:       ; %bb.0: ; %entry
 725 ; GFX10-CU-NEXT:    s_clause 0x1
 726 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 727 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 728 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 729 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 730 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 731 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
 732 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 733 ; GFX10-CU-NEXT:    s_endpgm
 734 ;
 735 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_store:
 736 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 737 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
 738 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
 739 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 740 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 741 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 742 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
 743 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 744 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 745 ;
 746 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_store:
 747 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 748 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 749 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 750 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 751 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 752 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 753 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 754 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 755 ;
 756 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_store:
 757 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 758 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 759 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 760 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 761 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 762 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 763 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 764 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 765 ;
 766 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_store:
 767 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 768 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 769 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 770 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 771 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 772 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 773 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 774 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 775 ;
 776 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_store:
 777 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 778 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 779 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 780 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 781 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 782 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 783 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 784 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 785 ;
 786 ; GFX11-WGP-LABEL: flat_agent_monotonic_store:
 787 ; GFX11-WGP:       ; %bb.0: ; %entry
 788 ; GFX11-WGP-NEXT:    s_clause 0x1
 789 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 790 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
 791 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 792 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 793 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
 794 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 795 ; GFX11-WGP-NEXT:    s_endpgm
 796 ;
 797 ; GFX11-CU-LABEL: flat_agent_monotonic_store:
 798 ; GFX11-CU:       ; %bb.0: ; %entry
 799 ; GFX11-CU-NEXT:    s_clause 0x1
 800 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 801 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
 802 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 803 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 804 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
 805 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 806 ; GFX11-CU-NEXT:    s_endpgm
 807     i32 %in, ptr %out) {
 808 entry:
 809   store atomic i32 %in, ptr %out syncscope("agent") monotonic, align 4
 810   ret void
 811 }
 812
 813 define amdgpu_kernel void @flat_agent_release_store(
 814 ; GFX7-LABEL: flat_agent_release_store:
 815 ; GFX7:       ; %bb.0: ; %entry
 816 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 817 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 818 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 819 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 820 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 821 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 822 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 823 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 824 ; GFX7-NEXT:    s_endpgm
 825 ;
 826 ; GFX10-WGP-LABEL: flat_agent_release_store:
 827 ; GFX10-WGP:       ; %bb.0: ; %entry
 828 ; GFX10-WGP-NEXT:    s_clause 0x1
 829 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 830 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 831 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 832 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 833 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 834 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
 835 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 836 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 837 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 838 ; GFX10-WGP-NEXT:    s_endpgm
 839 ;
 840 ; GFX10-CU-LABEL: flat_agent_release_store:
 841 ; GFX10-CU:       ; %bb.0: ; %entry
 842 ; GFX10-CU-NEXT:    s_clause 0x1
 843 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 844 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 845 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 846 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 847 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 848 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
 849 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 850 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 851 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 852 ; GFX10-CU-NEXT:    s_endpgm
 853 ;
 854 ; SKIP-CACHE-INV-LABEL: flat_agent_release_store:
 855 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 856 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
 857 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
 858 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 859 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 860 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 861 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
 862 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 863 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 864 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 865 ;
 866 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_store:
 867 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 868 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 869 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 870 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 871 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 872 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 873 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 874 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 875 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 876 ;
 877 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_store:
 878 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 879 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 880 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
 881 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 882 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
 883 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
 884 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 885 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
 886 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 887 ;
 888 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_store:
 889 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 890 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 891 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 892 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 893 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 894 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 895 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
 896 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 897 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 898 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 899 ;
 900 ; GFX940-TGSPLIT-LABEL: flat_agent_release_store:
 901 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 902 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
 903 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
 904 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 905 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
 906 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
 907 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
 908 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 909 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
 910 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 911 ;
 912 ; GFX11-WGP-LABEL: flat_agent_release_store:
 913 ; GFX11-WGP:       ; %bb.0: ; %entry
 914 ; GFX11-WGP-NEXT:    s_clause 0x1
 915 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 916 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
 917 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 918 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 919 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
 920 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 921 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 922 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
 923 ; GFX11-WGP-NEXT:    s_endpgm
 924 ;
 925 ; GFX11-CU-LABEL: flat_agent_release_store:
 926 ; GFX11-CU:       ; %bb.0: ; %entry
 927 ; GFX11-CU-NEXT:    s_clause 0x1
 928 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
 929 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
 930 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 931 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 932 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
 933 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 934 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 935 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
 936 ; GFX11-CU-NEXT:    s_endpgm
 937     i32 %in, ptr %out) {
 938 entry:
 939   store atomic i32 %in, ptr %out syncscope("agent") release, align 4
 940   ret void
 941 }
 942
 943 define amdgpu_kernel void @flat_agent_seq_cst_store(
 944 ; GFX7-LABEL: flat_agent_seq_cst_store:
 945 ; GFX7:       ; %bb.0: ; %entry
 946 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
 947 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
 948 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 949 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 950 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 951 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 952 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 953 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
 954 ; GFX7-NEXT:    s_endpgm
 955 ;
 956 ; GFX10-WGP-LABEL: flat_agent_seq_cst_store:
 957 ; GFX10-WGP:       ; %bb.0: ; %entry
 958 ; GFX10-WGP-NEXT:    s_clause 0x1
 959 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 960 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
 961 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 962 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 963 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 964 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
 965 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 966 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 967 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
 968 ; GFX10-WGP-NEXT:    s_endpgm
 969 ;
 970 ; GFX10-CU-LABEL: flat_agent_seq_cst_store:
 971 ; GFX10-CU:       ; %bb.0: ; %entry
 972 ; GFX10-CU-NEXT:    s_clause 0x1
 973 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 974 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
 975 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 976 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 977 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 978 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
 979 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 980 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
 981 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
 982 ; GFX10-CU-NEXT:    s_endpgm
 983 ;
 984 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_store:
 985 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 986 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
 987 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
 988 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 989 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
 990 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
 991 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
 992 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 993 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
 994 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 995 ;
 996 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_store:
 997 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 998 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
 999 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
1000 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1001 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1002 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1003 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1004 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
1005 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1006 ;
1007 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_store:
1008 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1009 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
1010 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
1011 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1012 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1013 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1014 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1015 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
1016 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1017 ;
1018 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_store:
1019 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1020 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
1021 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
1022 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1023 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1024 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1025 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
1026 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1027 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
1028 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1029 ;
1030 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_store:
1031 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1032 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
1033 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
1034 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1035 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1036 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1037 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
1038 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1039 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
1040 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1041 ;
1042 ; GFX11-WGP-LABEL: flat_agent_seq_cst_store:
1043 ; GFX11-WGP:       ; %bb.0: ; %entry
1044 ; GFX11-WGP-NEXT:    s_clause 0x1
1045 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
1046 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
1047 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1048 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1049 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1050 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1051 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1052 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
1053 ; GFX11-WGP-NEXT:    s_endpgm
1054 ;
1055 ; GFX11-CU-LABEL: flat_agent_seq_cst_store:
1056 ; GFX11-CU:       ; %bb.0: ; %entry
1057 ; GFX11-CU-NEXT:    s_clause 0x1
1058 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
1059 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
1060 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1061 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1062 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1063 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1064 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1065 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
1066 ; GFX11-CU-NEXT:    s_endpgm
1067     i32 %in, ptr %out) {
1068 entry:
1069   store atomic i32 %in, ptr %out syncscope("agent") seq_cst, align 4
1070   ret void
1071 }
1072
1073 define amdgpu_kernel void @flat_agent_monotonic_atomicrmw(
1074 ; GFX7-LABEL: flat_agent_monotonic_atomicrmw:
1075 ; GFX7:       ; %bb.0: ; %entry
1076 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1077 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1078 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1079 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1080 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1081 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1082 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1083 ; GFX7-NEXT:    s_endpgm
1084 ;
1085 ; GFX10-WGP-LABEL: flat_agent_monotonic_atomicrmw:
1086 ; GFX10-WGP:       ; %bb.0: ; %entry
1087 ; GFX10-WGP-NEXT:    s_clause 0x1
1088 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1089 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1090 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1091 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1092 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1093 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1094 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
1095 ; GFX10-WGP-NEXT:    s_endpgm
1096 ;
1097 ; GFX10-CU-LABEL: flat_agent_monotonic_atomicrmw:
1098 ; GFX10-CU:       ; %bb.0: ; %entry
1099 ; GFX10-CU-NEXT:    s_clause 0x1
1100 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1101 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1102 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1103 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1104 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1105 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1106 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
1107 ; GFX10-CU-NEXT:    s_endpgm
1108 ;
1109 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_atomicrmw:
1110 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1111 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1112 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1113 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1114 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1115 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1116 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1117 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
1118 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1119 ;
1120 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_atomicrmw:
1121 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1122 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1123 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1124 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1125 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1126 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1127 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1128 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1129 ;
1130 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_atomicrmw:
1131 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1132 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1133 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1134 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1135 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1136 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1137 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1138 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1139 ;
1140 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_atomicrmw:
1141 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1142 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1143 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1144 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1145 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1146 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1147 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1148 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1149 ;
1150 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_atomicrmw:
1151 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1152 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1153 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1154 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1155 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1156 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1157 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1158 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1159 ;
1160 ; GFX11-WGP-LABEL: flat_agent_monotonic_atomicrmw:
1161 ; GFX11-WGP:       ; %bb.0: ; %entry
1162 ; GFX11-WGP-NEXT:    s_clause 0x1
1163 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1164 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1165 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1166 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1167 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1168 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1169 ; GFX11-WGP-NEXT:    s_endpgm
1170 ;
1171 ; GFX11-CU-LABEL: flat_agent_monotonic_atomicrmw:
1172 ; GFX11-CU:       ; %bb.0: ; %entry
1173 ; GFX11-CU-NEXT:    s_clause 0x1
1174 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1175 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1176 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1177 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1178 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1179 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1180 ; GFX11-CU-NEXT:    s_endpgm
1181     ptr %out, i32 %in) {
1182 entry:
1183   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") monotonic
1184   ret void
1185 }
1186
1187 define amdgpu_kernel void @flat_agent_acquire_atomicrmw(
1188 ; GFX7-LABEL: flat_agent_acquire_atomicrmw:
1189 ; GFX7:       ; %bb.0: ; %entry
1190 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1191 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1192 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1193 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1194 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1195 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1196 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1197 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1198 ; GFX7-NEXT:    buffer_wbinvl1_vol
1199 ; GFX7-NEXT:    s_endpgm
1200 ;
1201 ; GFX10-WGP-LABEL: flat_agent_acquire_atomicrmw:
1202 ; GFX10-WGP:       ; %bb.0: ; %entry
1203 ; GFX10-WGP-NEXT:    s_clause 0x1
1204 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1205 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1206 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1207 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1208 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1209 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1210 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
1211 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1212 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1213 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1214 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1215 ; GFX10-WGP-NEXT:    s_endpgm
1216 ;
1217 ; GFX10-CU-LABEL: flat_agent_acquire_atomicrmw:
1218 ; GFX10-CU:       ; %bb.0: ; %entry
1219 ; GFX10-CU-NEXT:    s_clause 0x1
1220 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1221 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1222 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1223 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1224 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1225 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1226 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
1227 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1228 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1229 ; GFX10-CU-NEXT:    buffer_gl0_inv
1230 ; GFX10-CU-NEXT:    buffer_gl1_inv
1231 ; GFX10-CU-NEXT:    s_endpgm
1232 ;
1233 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_atomicrmw:
1234 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1235 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1236 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1237 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1238 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1239 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1240 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1241 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
1242 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1243 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1244 ;
1245 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_atomicrmw:
1246 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1247 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1248 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1249 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1250 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1251 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1252 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1253 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1254 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1255 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1256 ;
1257 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_atomicrmw:
1258 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1259 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1260 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1261 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1262 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1263 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1264 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1265 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1266 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1267 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1268 ;
1269 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_atomicrmw:
1270 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1271 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1272 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1273 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1274 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1275 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1276 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1277 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1278 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
1279 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1280 ;
1281 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_atomicrmw:
1282 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1283 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1284 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1285 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1286 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1287 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1288 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1289 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1290 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
1291 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1292 ;
1293 ; GFX11-WGP-LABEL: flat_agent_acquire_atomicrmw:
1294 ; GFX11-WGP:       ; %bb.0: ; %entry
1295 ; GFX11-WGP-NEXT:    s_clause 0x1
1296 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1297 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1298 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1299 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1300 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1301 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1302 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1303 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1304 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1305 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1306 ; GFX11-WGP-NEXT:    s_endpgm
1307 ;
1308 ; GFX11-CU-LABEL: flat_agent_acquire_atomicrmw:
1309 ; GFX11-CU:       ; %bb.0: ; %entry
1310 ; GFX11-CU-NEXT:    s_clause 0x1
1311 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1312 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1313 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1314 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1315 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1316 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1317 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1318 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1319 ; GFX11-CU-NEXT:    buffer_gl0_inv
1320 ; GFX11-CU-NEXT:    buffer_gl1_inv
1321 ; GFX11-CU-NEXT:    s_endpgm
1322     ptr %out, i32 %in) {
1323 entry:
1324   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") acquire
1325   ret void
1326 }
1327
1328 define amdgpu_kernel void @flat_agent_release_atomicrmw(
1329 ; GFX7-LABEL: flat_agent_release_atomicrmw:
1330 ; GFX7:       ; %bb.0: ; %entry
1331 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1332 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1333 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1334 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1335 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1336 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1337 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1338 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1339 ; GFX7-NEXT:    s_endpgm
1340 ;
1341 ; GFX10-WGP-LABEL: flat_agent_release_atomicrmw:
1342 ; GFX10-WGP:       ; %bb.0: ; %entry
1343 ; GFX10-WGP-NEXT:    s_clause 0x1
1344 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1345 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1346 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1347 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1348 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1349 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1350 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1351 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1352 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
1353 ; GFX10-WGP-NEXT:    s_endpgm
1354 ;
1355 ; GFX10-CU-LABEL: flat_agent_release_atomicrmw:
1356 ; GFX10-CU:       ; %bb.0: ; %entry
1357 ; GFX10-CU-NEXT:    s_clause 0x1
1358 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1359 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1360 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1361 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1362 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1363 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1364 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1365 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1366 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
1367 ; GFX10-CU-NEXT:    s_endpgm
1368 ;
1369 ; SKIP-CACHE-INV-LABEL: flat_agent_release_atomicrmw:
1370 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1371 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1372 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1373 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1374 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1375 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1376 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1377 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1378 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
1379 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1380 ;
1381 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_atomicrmw:
1382 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1383 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1384 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1385 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1386 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1388 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1389 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1390 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1391 ;
1392 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_atomicrmw:
1393 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1394 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1395 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1396 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1397 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1398 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1399 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1400 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1401 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1402 ;
1403 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_atomicrmw:
1404 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1405 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1406 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1407 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1408 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1409 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1410 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
1411 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1412 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1413 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1414 ;
1415 ; GFX940-TGSPLIT-LABEL: flat_agent_release_atomicrmw:
1416 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1417 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1418 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1419 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1420 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1421 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1422 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
1423 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1424 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1425 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1426 ;
1427 ; GFX11-WGP-LABEL: flat_agent_release_atomicrmw:
1428 ; GFX11-WGP:       ; %bb.0: ; %entry
1429 ; GFX11-WGP-NEXT:    s_clause 0x1
1430 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1431 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1432 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1433 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1434 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1435 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1436 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1437 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1438 ; GFX11-WGP-NEXT:    s_endpgm
1439 ;
1440 ; GFX11-CU-LABEL: flat_agent_release_atomicrmw:
1441 ; GFX11-CU:       ; %bb.0: ; %entry
1442 ; GFX11-CU-NEXT:    s_clause 0x1
1443 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1444 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1445 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1446 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1447 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1448 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1449 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1450 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1451 ; GFX11-CU-NEXT:    s_endpgm
1452     ptr %out, i32 %in) {
1453 entry:
1454   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") release
1455   ret void
1456 }
1457
1458 define amdgpu_kernel void @flat_agent_acq_rel_atomicrmw(
1459 ; GFX7-LABEL: flat_agent_acq_rel_atomicrmw:
1460 ; GFX7:       ; %bb.0: ; %entry
1461 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1462 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1463 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1464 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1465 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1466 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1467 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1468 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1469 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1470 ; GFX7-NEXT:    buffer_wbinvl1_vol
1471 ; GFX7-NEXT:    s_endpgm
1472 ;
1473 ; GFX10-WGP-LABEL: flat_agent_acq_rel_atomicrmw:
1474 ; GFX10-WGP:       ; %bb.0: ; %entry
1475 ; GFX10-WGP-NEXT:    s_clause 0x1
1476 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1477 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1478 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1479 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1480 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1481 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1482 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1483 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1484 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
1485 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1486 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1487 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1488 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1489 ; GFX10-WGP-NEXT:    s_endpgm
1490 ;
1491 ; GFX10-CU-LABEL: flat_agent_acq_rel_atomicrmw:
1492 ; GFX10-CU:       ; %bb.0: ; %entry
1493 ; GFX10-CU-NEXT:    s_clause 0x1
1494 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1495 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1496 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1497 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1498 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1499 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1500 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1501 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1502 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
1503 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1504 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1505 ; GFX10-CU-NEXT:    buffer_gl0_inv
1506 ; GFX10-CU-NEXT:    buffer_gl1_inv
1507 ; GFX10-CU-NEXT:    s_endpgm
1508 ;
1509 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_atomicrmw:
1510 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1511 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1512 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1513 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1514 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1515 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1516 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1517 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1518 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
1519 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1520 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1521 ;
1522 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_atomicrmw:
1523 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1524 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1525 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1526 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1527 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1528 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1529 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1530 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1531 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1532 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1533 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1534 ;
1535 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_atomicrmw:
1536 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1537 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1538 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1539 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1540 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1541 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1542 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1543 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1544 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1545 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1546 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1547 ;
1548 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_atomicrmw:
1549 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1550 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1551 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1552 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1553 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1554 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1555 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
1556 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1557 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1558 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1559 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
1560 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1561 ;
1562 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_atomicrmw:
1563 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1564 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1565 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1566 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1567 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1568 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1569 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
1570 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1571 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1572 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1573 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
1574 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1575 ;
1576 ; GFX11-WGP-LABEL: flat_agent_acq_rel_atomicrmw:
1577 ; GFX11-WGP:       ; %bb.0: ; %entry
1578 ; GFX11-WGP-NEXT:    s_clause 0x1
1579 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1580 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1581 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1582 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1583 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1584 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1585 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1586 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1587 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1588 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1589 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1590 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1591 ; GFX11-WGP-NEXT:    s_endpgm
1592 ;
1593 ; GFX11-CU-LABEL: flat_agent_acq_rel_atomicrmw:
1594 ; GFX11-CU:       ; %bb.0: ; %entry
1595 ; GFX11-CU-NEXT:    s_clause 0x1
1596 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1597 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1598 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1599 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1600 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1601 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1602 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1603 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1604 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1605 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1606 ; GFX11-CU-NEXT:    buffer_gl0_inv
1607 ; GFX11-CU-NEXT:    buffer_gl1_inv
1608 ; GFX11-CU-NEXT:    s_endpgm
1609     ptr %out, i32 %in) {
1610 entry:
1611   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") acq_rel
1612   ret void
1613 }
1614
1615 define amdgpu_kernel void @flat_agent_seq_cst_atomicrmw(
1616 ; GFX7-LABEL: flat_agent_seq_cst_atomicrmw:
1617 ; GFX7:       ; %bb.0: ; %entry
1618 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1619 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1620 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1621 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1622 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1623 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1624 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1625 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
1626 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1627 ; GFX7-NEXT:    buffer_wbinvl1_vol
1628 ; GFX7-NEXT:    s_endpgm
1629 ;
1630 ; GFX10-WGP-LABEL: flat_agent_seq_cst_atomicrmw:
1631 ; GFX10-WGP:       ; %bb.0: ; %entry
1632 ; GFX10-WGP-NEXT:    s_clause 0x1
1633 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1634 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1635 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1636 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1637 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1638 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1639 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1640 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1641 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
1642 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1643 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1644 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1645 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1646 ; GFX10-WGP-NEXT:    s_endpgm
1647 ;
1648 ; GFX10-CU-LABEL: flat_agent_seq_cst_atomicrmw:
1649 ; GFX10-CU:       ; %bb.0: ; %entry
1650 ; GFX10-CU-NEXT:    s_clause 0x1
1651 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1652 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1653 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1654 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1655 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1656 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1657 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1658 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1659 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
1660 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1661 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1662 ; GFX10-CU-NEXT:    buffer_gl0_inv
1663 ; GFX10-CU-NEXT:    buffer_gl1_inv
1664 ; GFX10-CU-NEXT:    s_endpgm
1665 ;
1666 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_atomicrmw:
1667 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1668 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1669 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1670 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1671 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1672 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1673 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1674 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1675 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
1676 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1677 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1678 ;
1679 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_atomicrmw:
1680 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1681 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1682 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1683 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1684 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1685 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1686 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1687 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1688 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1689 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1690 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1691 ;
1692 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_atomicrmw:
1693 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1694 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1695 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1696 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1697 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1698 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1699 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1700 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1701 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1702 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1703 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1704 ;
1705 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_atomicrmw:
1706 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1707 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1708 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1709 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1710 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1711 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1712 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
1713 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1714 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1715 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1716 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
1717 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1718 ;
1719 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_atomicrmw:
1720 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1721 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1722 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1723 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1724 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1725 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1726 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
1727 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1728 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
1729 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1730 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
1731 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1732 ;
1733 ; GFX11-WGP-LABEL: flat_agent_seq_cst_atomicrmw:
1734 ; GFX11-WGP:       ; %bb.0: ; %entry
1735 ; GFX11-WGP-NEXT:    s_clause 0x1
1736 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1737 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1738 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1739 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1740 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1741 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1742 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1743 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1744 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1745 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1746 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1747 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1748 ; GFX11-WGP-NEXT:    s_endpgm
1749 ;
1750 ; GFX11-CU-LABEL: flat_agent_seq_cst_atomicrmw:
1751 ; GFX11-CU:       ; %bb.0: ; %entry
1752 ; GFX11-CU-NEXT:    s_clause 0x1
1753 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1754 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1755 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1756 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1757 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1758 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1759 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1760 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
1761 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1762 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1763 ; GFX11-CU-NEXT:    buffer_gl0_inv
1764 ; GFX11-CU-NEXT:    buffer_gl1_inv
1765 ; GFX11-CU-NEXT:    s_endpgm
1766     ptr %out, i32 %in) {
1767 entry:
1768   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") seq_cst
1769   ret void
1770 }
1771
1772 define amdgpu_kernel void @flat_agent_acquire_ret_atomicrmw(
1773 ; GFX7-LABEL: flat_agent_acquire_ret_atomicrmw:
1774 ; GFX7:       ; %bb.0: ; %entry
1775 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1776 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1777 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1778 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1779 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1780 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1781 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1782 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1783 ; GFX7-NEXT:    buffer_wbinvl1_vol
1784 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
1785 ; GFX7-NEXT:    s_endpgm
1786 ;
1787 ; GFX10-WGP-LABEL: flat_agent_acquire_ret_atomicrmw:
1788 ; GFX10-WGP:       ; %bb.0: ; %entry
1789 ; GFX10-WGP-NEXT:    s_clause 0x1
1790 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1791 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1792 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1793 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1794 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1795 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1796 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1797 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1798 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1799 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1800 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
1801 ; GFX10-WGP-NEXT:    s_endpgm
1802 ;
1803 ; GFX10-CU-LABEL: flat_agent_acquire_ret_atomicrmw:
1804 ; GFX10-CU:       ; %bb.0: ; %entry
1805 ; GFX10-CU-NEXT:    s_clause 0x1
1806 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1807 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1808 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1809 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1810 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1811 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1812 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1813 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1814 ; GFX10-CU-NEXT:    buffer_gl0_inv
1815 ; GFX10-CU-NEXT:    buffer_gl1_inv
1816 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
1817 ; GFX10-CU-NEXT:    s_endpgm
1818 ;
1819 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_ret_atomicrmw:
1820 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1821 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1822 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1823 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1824 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1825 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1826 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1827 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1828 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1829 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
1830 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1831 ;
1832 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_ret_atomicrmw:
1833 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1834 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1835 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1836 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1837 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1838 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1839 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1840 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1841 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1842 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
1843 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1844 ;
1845 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_ret_atomicrmw:
1846 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1847 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1848 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1849 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1850 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1851 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1852 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1853 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1854 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1855 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
1856 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1857 ;
1858 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_ret_atomicrmw:
1859 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1860 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1861 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1862 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1863 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1864 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1865 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
1866 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1867 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
1868 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
1869 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1870 ;
1871 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_ret_atomicrmw:
1872 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1873 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1874 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
1875 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1876 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
1877 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
1878 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
1879 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
1880 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
1881 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
1882 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1883 ;
1884 ; GFX11-WGP-LABEL: flat_agent_acquire_ret_atomicrmw:
1885 ; GFX11-WGP:       ; %bb.0: ; %entry
1886 ; GFX11-WGP-NEXT:    s_clause 0x1
1887 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1888 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
1889 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1890 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1891 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
1892 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
1893 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1894 ; GFX11-WGP-NEXT:    buffer_gl0_inv
1895 ; GFX11-WGP-NEXT:    buffer_gl1_inv
1896 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
1897 ; GFX11-WGP-NEXT:    s_endpgm
1898 ;
1899 ; GFX11-CU-LABEL: flat_agent_acquire_ret_atomicrmw:
1900 ; GFX11-CU:       ; %bb.0: ; %entry
1901 ; GFX11-CU-NEXT:    s_clause 0x1
1902 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
1903 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
1904 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1905 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1906 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
1907 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
1908 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1909 ; GFX11-CU-NEXT:    buffer_gl0_inv
1910 ; GFX11-CU-NEXT:    buffer_gl1_inv
1911 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
1912 ; GFX11-CU-NEXT:    s_endpgm
1913     ptr %out, i32 %in) {
1914 entry:
1915   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") acquire
1916   store i32 %val, ptr %out, align 4
1917   ret void
1918 }
1919
1920 define amdgpu_kernel void @flat_agent_acq_rel_ret_atomicrmw(
1921 ; GFX7-LABEL: flat_agent_acq_rel_ret_atomicrmw:
1922 ; GFX7:       ; %bb.0: ; %entry
1923 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1924 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
1925 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1926 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1927 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1928 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1929 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1930 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1931 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1932 ; GFX7-NEXT:    buffer_wbinvl1_vol
1933 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
1934 ; GFX7-NEXT:    s_endpgm
1935 ;
1936 ; GFX10-WGP-LABEL: flat_agent_acq_rel_ret_atomicrmw:
1937 ; GFX10-WGP:       ; %bb.0: ; %entry
1938 ; GFX10-WGP-NEXT:    s_clause 0x1
1939 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1940 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
1941 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1942 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1943 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1944 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
1945 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1946 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1947 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1948 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1949 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1950 ; GFX10-WGP-NEXT:    buffer_gl1_inv
1951 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
1952 ; GFX10-WGP-NEXT:    s_endpgm
1953 ;
1954 ; GFX10-CU-LABEL: flat_agent_acq_rel_ret_atomicrmw:
1955 ; GFX10-CU:       ; %bb.0: ; %entry
1956 ; GFX10-CU-NEXT:    s_clause 0x1
1957 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1958 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
1959 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1960 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1961 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1962 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
1963 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1964 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
1965 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1966 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1967 ; GFX10-CU-NEXT:    buffer_gl0_inv
1968 ; GFX10-CU-NEXT:    buffer_gl1_inv
1969 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
1970 ; GFX10-CU-NEXT:    s_endpgm
1971 ;
1972 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_ret_atomicrmw:
1973 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1974 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
1975 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
1976 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1977 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1978 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
1979 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
1980 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1981 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1982 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1983 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
1984 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1985 ;
1986 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_ret_atomicrmw:
1987 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1988 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1989 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
1990 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1991 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
1992 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
1993 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1994 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
1995 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1996 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
1997 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
1998 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1999 ;
2000 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_ret_atomicrmw:
2001 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2002 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2003 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2004 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2005 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2006 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
2007 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2008 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2009 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2010 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2011 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
2012 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2013 ;
2014 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_ret_atomicrmw:
2015 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2016 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2017 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2018 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2019 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2020 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2021 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
2022 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2023 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
2024 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2025 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
2026 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
2027 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2028 ;
2029 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_ret_atomicrmw:
2030 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2031 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2032 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2033 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2034 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2035 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2036 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
2037 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2038 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
2039 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2040 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
2041 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
2042 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2043 ;
2044 ; GFX11-WGP-LABEL: flat_agent_acq_rel_ret_atomicrmw:
2045 ; GFX11-WGP:       ; %bb.0: ; %entry
2046 ; GFX11-WGP-NEXT:    s_clause 0x1
2047 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
2048 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
2049 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2050 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2051 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
2052 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2053 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2054 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
2055 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2056 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2057 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2058 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
2059 ; GFX11-WGP-NEXT:    s_endpgm
2060 ;
2061 ; GFX11-CU-LABEL: flat_agent_acq_rel_ret_atomicrmw:
2062 ; GFX11-CU:       ; %bb.0: ; %entry
2063 ; GFX11-CU-NEXT:    s_clause 0x1
2064 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
2065 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
2066 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2067 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2068 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
2069 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2070 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2071 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
2072 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2073 ; GFX11-CU-NEXT:    buffer_gl0_inv
2074 ; GFX11-CU-NEXT:    buffer_gl1_inv
2075 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
2076 ; GFX11-CU-NEXT:    s_endpgm
2077     ptr %out, i32 %in) {
2078 entry:
2079   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") acq_rel
2080   store i32 %val, ptr %out, align 4
2081   ret void
2082 }
2083
2084 define amdgpu_kernel void @flat_agent_seq_cst_ret_atomicrmw(
2085 ; GFX7-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2086 ; GFX7:       ; %bb.0: ; %entry
2087 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2088 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
2089 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2090 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2091 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2092 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2093 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2094 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2095 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2096 ; GFX7-NEXT:    buffer_wbinvl1_vol
2097 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
2098 ; GFX7-NEXT:    s_endpgm
2099 ;
2100 ; GFX10-WGP-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2101 ; GFX10-WGP:       ; %bb.0: ; %entry
2102 ; GFX10-WGP-NEXT:    s_clause 0x1
2103 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2104 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
2105 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2106 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2107 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2108 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2109 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2110 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2111 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2112 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2113 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2114 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2115 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
2116 ; GFX10-WGP-NEXT:    s_endpgm
2117 ;
2118 ; GFX10-CU-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2119 ; GFX10-CU:       ; %bb.0: ; %entry
2120 ; GFX10-CU-NEXT:    s_clause 0x1
2121 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2122 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
2123 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2124 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2125 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2126 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2127 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2128 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2129 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2130 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2131 ; GFX10-CU-NEXT:    buffer_gl0_inv
2132 ; GFX10-CU-NEXT:    buffer_gl1_inv
2133 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
2134 ; GFX10-CU-NEXT:    s_endpgm
2135 ;
2136 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2137 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2138 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2139 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
2140 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2141 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2142 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
2143 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
2144 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2145 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2146 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2147 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
2148 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2149 ;
2150 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2151 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2152 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2153 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2154 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2155 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2156 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
2157 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2158 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2159 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2160 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2161 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
2162 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2163 ;
2164 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2165 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2166 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
2167 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
2168 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2169 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2170 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
2171 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2172 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
2173 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2174 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2175 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
2176 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2177 ;
2178 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2179 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2180 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2181 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2182 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2183 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2184 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2185 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
2186 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2187 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
2188 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2189 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
2190 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
2191 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2192 ;
2193 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2194 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2195 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
2196 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
2197 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2198 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
2199 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2200 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
2201 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2202 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
2203 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2204 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
2205 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
2206 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2207 ;
2208 ; GFX11-WGP-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2209 ; GFX11-WGP:       ; %bb.0: ; %entry
2210 ; GFX11-WGP-NEXT:    s_clause 0x1
2211 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
2212 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
2213 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2214 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2215 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
2216 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2217 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2218 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
2219 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2220 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2221 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2222 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
2223 ; GFX11-WGP-NEXT:    s_endpgm
2224 ;
2225 ; GFX11-CU-LABEL: flat_agent_seq_cst_ret_atomicrmw:
2226 ; GFX11-CU:       ; %bb.0: ; %entry
2227 ; GFX11-CU-NEXT:    s_clause 0x1
2228 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
2229 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
2230 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2231 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2232 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
2233 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2234 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2235 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
2236 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2237 ; GFX11-CU-NEXT:    buffer_gl0_inv
2238 ; GFX11-CU-NEXT:    buffer_gl1_inv
2239 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
2240 ; GFX11-CU-NEXT:    s_endpgm
2241     ptr %out, i32 %in) {
2242 entry:
2243   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent") seq_cst
2244   store i32 %val, ptr %out, align 4
2245   ret void
2246 }
2247
2248 define amdgpu_kernel void @flat_agent_monotonic_monotonic_cmpxchg(
2249 ; GFX7-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2250 ; GFX7:       ; %bb.0: ; %entry
2251 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2252 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2253 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2254 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2255 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2256 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2257 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2258 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2259 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2260 ; GFX7-NEXT:    s_endpgm
2261 ;
2262 ; GFX10-WGP-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2263 ; GFX10-WGP:       ; %bb.0: ; %entry
2264 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2265 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2266 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2267 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2268 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2269 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2270 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2271 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2272 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2273 ; GFX10-WGP-NEXT:    s_endpgm
2274 ;
2275 ; GFX10-CU-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2276 ; GFX10-CU:       ; %bb.0: ; %entry
2277 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2278 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2279 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2280 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2281 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2282 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2283 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2284 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2285 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2286 ; GFX10-CU-NEXT:    s_endpgm
2287 ;
2288 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2289 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2290 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2291 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2292 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2293 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2294 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2295 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
2296 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2297 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
2298 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2299 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2300 ;
2301 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2302 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2303 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2304 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2305 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2306 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2307 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2308 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2309 ;
2310 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2311 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2312 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2313 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2314 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2315 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2316 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2317 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2318 ;
2319 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2320 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2321 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2322 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2323 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2324 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2325 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2326 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2327 ;
2328 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2329 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2330 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2331 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2332 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2333 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2334 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2335 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2336 ;
2337 ; GFX11-WGP-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2338 ; GFX11-WGP:       ; %bb.0: ; %entry
2339 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2340 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2341 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2342 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2343 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2344 ; GFX11-WGP-NEXT:    s_endpgm
2345 ;
2346 ; GFX11-CU-LABEL: flat_agent_monotonic_monotonic_cmpxchg:
2347 ; GFX11-CU:       ; %bb.0: ; %entry
2348 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2349 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2350 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2351 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2352 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2353 ; GFX11-CU-NEXT:    s_endpgm
2354     ptr %out, i32 %in, i32 %old) {
2355 entry:
2356   %gep = getelementptr i32, ptr %out, i32 4
2357   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic monotonic
2358   ret void
2359 }
2360
2361 define amdgpu_kernel void @flat_agent_acquire_monotonic_cmpxchg(
2362 ; GFX7-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2363 ; GFX7:       ; %bb.0: ; %entry
2364 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2365 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2366 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2367 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2368 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2369 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2370 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2371 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2372 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2373 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2374 ; GFX7-NEXT:    buffer_wbinvl1_vol
2375 ; GFX7-NEXT:    s_endpgm
2376 ;
2377 ; GFX10-WGP-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2378 ; GFX10-WGP:       ; %bb.0: ; %entry
2379 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2380 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2381 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2382 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2383 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2384 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2385 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2386 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2387 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2388 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2389 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2390 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2391 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2392 ; GFX10-WGP-NEXT:    s_endpgm
2393 ;
2394 ; GFX10-CU-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2395 ; GFX10-CU:       ; %bb.0: ; %entry
2396 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2397 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2398 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2399 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2400 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2401 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2402 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2403 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2404 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2405 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2406 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2407 ; GFX10-CU-NEXT:    buffer_gl0_inv
2408 ; GFX10-CU-NEXT:    buffer_gl1_inv
2409 ; GFX10-CU-NEXT:    s_endpgm
2410 ;
2411 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2412 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2413 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2414 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2415 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2416 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2417 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2418 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
2419 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2420 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
2421 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2422 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2423 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2424 ;
2425 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2426 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2427 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2428 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2429 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2430 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2431 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2432 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2433 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2434 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2435 ;
2436 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2437 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2438 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2439 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2440 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2441 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2442 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2443 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2444 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2445 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2446 ;
2447 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2448 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2449 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2450 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2451 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2452 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2453 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2454 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2455 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
2456 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2457 ;
2458 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2459 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2460 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2461 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2462 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2463 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2464 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2465 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2466 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
2467 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2468 ;
2469 ; GFX11-WGP-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2470 ; GFX11-WGP:       ; %bb.0: ; %entry
2471 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2472 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2473 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2474 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2475 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2476 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2477 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2478 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2479 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2480 ; GFX11-WGP-NEXT:    s_endpgm
2481 ;
2482 ; GFX11-CU-LABEL: flat_agent_acquire_monotonic_cmpxchg:
2483 ; GFX11-CU:       ; %bb.0: ; %entry
2484 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2485 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2486 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2487 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2488 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2489 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2490 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2491 ; GFX11-CU-NEXT:    buffer_gl0_inv
2492 ; GFX11-CU-NEXT:    buffer_gl1_inv
2493 ; GFX11-CU-NEXT:    s_endpgm
2494     ptr %out, i32 %in, i32 %old) {
2495 entry:
2496   %gep = getelementptr i32, ptr %out, i32 4
2497   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire monotonic
2498   ret void
2499 }
2500
2501 define amdgpu_kernel void @flat_agent_release_monotonic_cmpxchg(
2502 ; GFX7-LABEL: flat_agent_release_monotonic_cmpxchg:
2503 ; GFX7:       ; %bb.0: ; %entry
2504 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2505 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2506 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2507 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2508 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2509 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2510 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2511 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2512 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2513 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2514 ; GFX7-NEXT:    s_endpgm
2515 ;
2516 ; GFX10-WGP-LABEL: flat_agent_release_monotonic_cmpxchg:
2517 ; GFX10-WGP:       ; %bb.0: ; %entry
2518 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2519 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2520 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2521 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2522 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2523 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2524 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2525 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2526 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2527 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2528 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2529 ; GFX10-WGP-NEXT:    s_endpgm
2530 ;
2531 ; GFX10-CU-LABEL: flat_agent_release_monotonic_cmpxchg:
2532 ; GFX10-CU:       ; %bb.0: ; %entry
2533 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2534 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2535 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2536 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2537 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2538 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2539 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2540 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2541 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2542 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2543 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2544 ; GFX10-CU-NEXT:    s_endpgm
2545 ;
2546 ; SKIP-CACHE-INV-LABEL: flat_agent_release_monotonic_cmpxchg:
2547 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2548 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2549 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2550 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2551 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2552 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2553 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
2554 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2555 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
2556 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2557 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2558 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2559 ;
2560 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_monotonic_cmpxchg:
2561 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2562 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2563 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2564 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2565 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2566 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2567 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2568 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2569 ;
2570 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_monotonic_cmpxchg:
2571 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2572 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2573 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2574 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2575 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2576 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2577 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2578 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2579 ;
2580 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_monotonic_cmpxchg:
2581 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2582 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2583 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2584 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2585 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2586 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
2587 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2588 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2589 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2590 ;
2591 ; GFX940-TGSPLIT-LABEL: flat_agent_release_monotonic_cmpxchg:
2592 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2593 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2594 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2595 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2596 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2597 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
2598 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2599 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2600 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2601 ;
2602 ; GFX11-WGP-LABEL: flat_agent_release_monotonic_cmpxchg:
2603 ; GFX11-WGP:       ; %bb.0: ; %entry
2604 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2605 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2606 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2607 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2608 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2609 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2610 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2611 ; GFX11-WGP-NEXT:    s_endpgm
2612 ;
2613 ; GFX11-CU-LABEL: flat_agent_release_monotonic_cmpxchg:
2614 ; GFX11-CU:       ; %bb.0: ; %entry
2615 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2616 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2617 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2618 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2619 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2620 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2621 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2622 ; GFX11-CU-NEXT:    s_endpgm
2623     ptr %out, i32 %in, i32 %old) {
2624 entry:
2625   %gep = getelementptr i32, ptr %out, i32 4
2626   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release monotonic
2627   ret void
2628 }
2629
2630 define amdgpu_kernel void @flat_agent_acq_rel_monotonic_cmpxchg(
2631 ; GFX7-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2632 ; GFX7:       ; %bb.0: ; %entry
2633 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2634 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2635 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2636 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2637 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2638 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2639 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2640 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2641 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2642 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2643 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2644 ; GFX7-NEXT:    buffer_wbinvl1_vol
2645 ; GFX7-NEXT:    s_endpgm
2646 ;
2647 ; GFX10-WGP-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2648 ; GFX10-WGP:       ; %bb.0: ; %entry
2649 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2650 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2651 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2652 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2654 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2655 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2656 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2657 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2658 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2659 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2660 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2661 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2662 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2663 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2664 ; GFX10-WGP-NEXT:    s_endpgm
2665 ;
2666 ; GFX10-CU-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2667 ; GFX10-CU:       ; %bb.0: ; %entry
2668 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2669 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2670 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2671 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2672 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2673 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2674 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2675 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2676 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2677 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2678 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2679 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2680 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2681 ; GFX10-CU-NEXT:    buffer_gl0_inv
2682 ; GFX10-CU-NEXT:    buffer_gl1_inv
2683 ; GFX10-CU-NEXT:    s_endpgm
2684 ;
2685 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2686 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2687 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2688 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2689 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2690 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2691 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2692 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
2693 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2694 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
2695 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2696 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2697 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2698 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2699 ;
2700 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2701 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2702 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2703 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2704 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2705 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2706 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2707 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2708 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2709 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2710 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2711 ;
2712 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2713 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2714 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2715 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2716 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2717 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2718 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2719 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2720 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2721 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2722 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2723 ;
2724 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2725 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2726 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2727 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2728 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2729 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2730 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
2731 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2732 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2733 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2734 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
2735 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2736 ;
2737 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2738 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2739 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2740 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2741 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2742 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2743 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
2744 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2745 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2746 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2747 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
2748 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2749 ;
2750 ; GFX11-WGP-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2751 ; GFX11-WGP:       ; %bb.0: ; %entry
2752 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2753 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2754 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2755 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2756 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2757 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2758 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2759 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2760 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2761 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2762 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2763 ; GFX11-WGP-NEXT:    s_endpgm
2764 ;
2765 ; GFX11-CU-LABEL: flat_agent_acq_rel_monotonic_cmpxchg:
2766 ; GFX11-CU:       ; %bb.0: ; %entry
2767 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2768 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2769 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2770 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2771 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2772 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2773 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2774 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2775 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2776 ; GFX11-CU-NEXT:    buffer_gl0_inv
2777 ; GFX11-CU-NEXT:    buffer_gl1_inv
2778 ; GFX11-CU-NEXT:    s_endpgm
2779     ptr %out, i32 %in, i32 %old) {
2780 entry:
2781   %gep = getelementptr i32, ptr %out, i32 4
2782   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel monotonic
2783   ret void
2784 }
2785
2786 define amdgpu_kernel void @flat_agent_seq_cst_monotonic_cmpxchg(
2787 ; GFX7-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2788 ; GFX7:       ; %bb.0: ; %entry
2789 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2790 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2791 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2792 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2793 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2794 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2795 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2796 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2797 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2798 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2799 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2800 ; GFX7-NEXT:    buffer_wbinvl1_vol
2801 ; GFX7-NEXT:    s_endpgm
2802 ;
2803 ; GFX10-WGP-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2804 ; GFX10-WGP:       ; %bb.0: ; %entry
2805 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2806 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2807 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2808 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2809 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2810 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2811 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2812 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2813 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2814 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2815 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2816 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2817 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2818 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2819 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2820 ; GFX10-WGP-NEXT:    s_endpgm
2821 ;
2822 ; GFX10-CU-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2823 ; GFX10-CU:       ; %bb.0: ; %entry
2824 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2825 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2826 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2827 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2828 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2829 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2830 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2831 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2832 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2833 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2834 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2835 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2836 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2837 ; GFX10-CU-NEXT:    buffer_gl0_inv
2838 ; GFX10-CU-NEXT:    buffer_gl1_inv
2839 ; GFX10-CU-NEXT:    s_endpgm
2840 ;
2841 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2842 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2843 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2844 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2845 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2846 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2847 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2848 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
2849 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2850 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
2851 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2852 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2853 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2854 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2855 ;
2856 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2857 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2858 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2859 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2860 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2861 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2862 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2863 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2864 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2865 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
2866 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2867 ;
2868 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2869 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2870 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2871 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2872 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
2873 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
2874 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2875 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2876 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2877 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2878 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2879 ;
2880 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2881 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2882 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2883 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2884 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2885 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2886 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
2887 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2888 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2889 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2890 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
2891 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2892 ;
2893 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2894 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2895 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2896 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2897 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
2898 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
2899 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
2900 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2901 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
2902 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
2903 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
2904 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2905 ;
2906 ; GFX11-WGP-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2907 ; GFX11-WGP:       ; %bb.0: ; %entry
2908 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2909 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2910 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2911 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2912 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2913 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2914 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2915 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2916 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2917 ; GFX11-WGP-NEXT:    buffer_gl0_inv
2918 ; GFX11-WGP-NEXT:    buffer_gl1_inv
2919 ; GFX11-WGP-NEXT:    s_endpgm
2920 ;
2921 ; GFX11-CU-LABEL: flat_agent_seq_cst_monotonic_cmpxchg:
2922 ; GFX11-CU:       ; %bb.0: ; %entry
2923 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
2924 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2925 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2926 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2927 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2928 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2929 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
2930 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2931 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2932 ; GFX11-CU-NEXT:    buffer_gl0_inv
2933 ; GFX11-CU-NEXT:    buffer_gl1_inv
2934 ; GFX11-CU-NEXT:    s_endpgm
2935     ptr %out, i32 %in, i32 %old) {
2936 entry:
2937   %gep = getelementptr i32, ptr %out, i32 4
2938   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst monotonic
2939   ret void
2940 }
2941
2942 define amdgpu_kernel void @flat_agent_monotonic_acquire_cmpxchg(
2943 ; GFX7-LABEL: flat_agent_monotonic_acquire_cmpxchg:
2944 ; GFX7:       ; %bb.0: ; %entry
2945 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2946 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2947 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
2948 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2949 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2950 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2951 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2952 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2953 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2954 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2955 ; GFX7-NEXT:    buffer_wbinvl1_vol
2956 ; GFX7-NEXT:    s_endpgm
2957 ;
2958 ; GFX10-WGP-LABEL: flat_agent_monotonic_acquire_cmpxchg:
2959 ; GFX10-WGP:       ; %bb.0: ; %entry
2960 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2961 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2962 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
2963 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
2964 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2965 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
2966 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
2967 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
2968 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2969 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2970 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2971 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2972 ; GFX10-WGP-NEXT:    buffer_gl1_inv
2973 ; GFX10-WGP-NEXT:    s_endpgm
2974 ;
2975 ; GFX10-CU-LABEL: flat_agent_monotonic_acquire_cmpxchg:
2976 ; GFX10-CU:       ; %bb.0: ; %entry
2977 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2978 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2979 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
2980 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
2981 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2982 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
2983 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
2984 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
2985 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
2986 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2987 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
2988 ; GFX10-CU-NEXT:    buffer_gl0_inv
2989 ; GFX10-CU-NEXT:    buffer_gl1_inv
2990 ; GFX10-CU-NEXT:    s_endpgm
2991 ;
2992 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_acquire_cmpxchg:
2993 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2994 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
2995 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2996 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
2997 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
2998 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2999 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3000 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3001 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3002 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3003 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3004 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3005 ;
3006 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3007 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3008 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3009 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3010 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3011 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3012 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3013 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3014 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3015 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3016 ;
3017 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3018 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3019 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3020 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3021 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3022 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3023 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3024 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3025 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3026 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3027 ;
3028 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3029 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3030 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3031 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3032 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3033 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3034 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3035 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3036 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3037 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3038 ;
3039 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3040 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3041 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3042 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3043 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3044 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3045 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3046 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3047 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3048 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3049 ;
3050 ; GFX11-WGP-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3051 ; GFX11-WGP:       ; %bb.0: ; %entry
3052 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3053 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3054 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3055 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3056 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3057 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3058 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3059 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3060 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3061 ; GFX11-WGP-NEXT:    s_endpgm
3062 ;
3063 ; GFX11-CU-LABEL: flat_agent_monotonic_acquire_cmpxchg:
3064 ; GFX11-CU:       ; %bb.0: ; %entry
3065 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3066 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3067 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3068 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3069 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3070 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3071 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3072 ; GFX11-CU-NEXT:    buffer_gl0_inv
3073 ; GFX11-CU-NEXT:    buffer_gl1_inv
3074 ; GFX11-CU-NEXT:    s_endpgm
3075     ptr %out, i32 %in, i32 %old) {
3076 entry:
3077   %gep = getelementptr i32, ptr %out, i32 4
3078   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic acquire
3079   ret void
3080 }
3081
3082 define amdgpu_kernel void @flat_agent_acquire_acquire_cmpxchg(
3083 ; GFX7-LABEL: flat_agent_acquire_acquire_cmpxchg:
3084 ; GFX7:       ; %bb.0: ; %entry
3085 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3086 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3087 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3088 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3089 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3090 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3091 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3092 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3093 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3094 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3095 ; GFX7-NEXT:    buffer_wbinvl1_vol
3096 ; GFX7-NEXT:    s_endpgm
3097 ;
3098 ; GFX10-WGP-LABEL: flat_agent_acquire_acquire_cmpxchg:
3099 ; GFX10-WGP:       ; %bb.0: ; %entry
3100 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3101 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3102 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3103 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3104 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3105 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3106 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3107 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3108 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3109 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3110 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3111 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3112 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3113 ; GFX10-WGP-NEXT:    s_endpgm
3114 ;
3115 ; GFX10-CU-LABEL: flat_agent_acquire_acquire_cmpxchg:
3116 ; GFX10-CU:       ; %bb.0: ; %entry
3117 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3118 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3119 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3120 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3121 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3122 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3123 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3124 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3125 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3126 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3127 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3128 ; GFX10-CU-NEXT:    buffer_gl0_inv
3129 ; GFX10-CU-NEXT:    buffer_gl1_inv
3130 ; GFX10-CU-NEXT:    s_endpgm
3131 ;
3132 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_acquire_cmpxchg:
3133 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3134 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3135 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3136 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3137 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3138 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3139 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3140 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3141 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3142 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3143 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3144 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3145 ;
3146 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_acquire_cmpxchg:
3147 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3148 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3149 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3150 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3151 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3152 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3153 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3154 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3155 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3156 ;
3157 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_acquire_cmpxchg:
3158 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3159 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3160 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3161 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3162 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3163 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3164 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3165 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3166 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3167 ;
3168 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_acquire_cmpxchg:
3169 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3170 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3171 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3172 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3173 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3174 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3175 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3176 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3177 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3178 ;
3179 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_acquire_cmpxchg:
3180 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3181 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3182 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3183 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3184 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3185 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3186 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3187 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3188 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3189 ;
3190 ; GFX11-WGP-LABEL: flat_agent_acquire_acquire_cmpxchg:
3191 ; GFX11-WGP:       ; %bb.0: ; %entry
3192 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3193 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3194 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3195 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3196 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3197 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3198 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3199 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3200 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3201 ; GFX11-WGP-NEXT:    s_endpgm
3202 ;
3203 ; GFX11-CU-LABEL: flat_agent_acquire_acquire_cmpxchg:
3204 ; GFX11-CU:       ; %bb.0: ; %entry
3205 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3206 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3207 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3208 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3209 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3210 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3211 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3212 ; GFX11-CU-NEXT:    buffer_gl0_inv
3213 ; GFX11-CU-NEXT:    buffer_gl1_inv
3214 ; GFX11-CU-NEXT:    s_endpgm
3215     ptr %out, i32 %in, i32 %old) {
3216 entry:
3217   %gep = getelementptr i32, ptr %out, i32 4
3218   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire acquire
3219   ret void
3220 }
3221
3222 define amdgpu_kernel void @flat_agent_release_acquire_cmpxchg(
3223 ; GFX7-LABEL: flat_agent_release_acquire_cmpxchg:
3224 ; GFX7:       ; %bb.0: ; %entry
3225 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3226 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3227 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3228 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3229 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3230 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3231 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3232 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3233 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3234 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3235 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3236 ; GFX7-NEXT:    buffer_wbinvl1_vol
3237 ; GFX7-NEXT:    s_endpgm
3238 ;
3239 ; GFX10-WGP-LABEL: flat_agent_release_acquire_cmpxchg:
3240 ; GFX10-WGP:       ; %bb.0: ; %entry
3241 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3242 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3243 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3244 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3245 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3246 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3247 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3248 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3249 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3250 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3251 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3252 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3253 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3254 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3255 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3256 ; GFX10-WGP-NEXT:    s_endpgm
3257 ;
3258 ; GFX10-CU-LABEL: flat_agent_release_acquire_cmpxchg:
3259 ; GFX10-CU:       ; %bb.0: ; %entry
3260 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3261 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3262 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3263 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3264 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3265 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3266 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3267 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3268 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3269 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3270 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3271 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3272 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3273 ; GFX10-CU-NEXT:    buffer_gl0_inv
3274 ; GFX10-CU-NEXT:    buffer_gl1_inv
3275 ; GFX10-CU-NEXT:    s_endpgm
3276 ;
3277 ; SKIP-CACHE-INV-LABEL: flat_agent_release_acquire_cmpxchg:
3278 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3279 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3280 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3281 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3282 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3283 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3284 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3285 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3286 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3287 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3288 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3289 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3290 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3291 ;
3292 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_acquire_cmpxchg:
3293 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3294 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3295 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3296 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3297 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3298 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3299 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3300 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3301 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3302 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3303 ;
3304 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_acquire_cmpxchg:
3305 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3306 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3307 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3308 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3309 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3310 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3311 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3312 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3313 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3314 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3315 ;
3316 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_acquire_cmpxchg:
3317 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3318 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3319 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3320 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3321 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3322 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
3323 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3324 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3325 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3326 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3327 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3328 ;
3329 ; GFX940-TGSPLIT-LABEL: flat_agent_release_acquire_cmpxchg:
3330 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3331 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3332 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3333 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3334 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3335 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
3336 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3337 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3338 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3339 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3340 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3341 ;
3342 ; GFX11-WGP-LABEL: flat_agent_release_acquire_cmpxchg:
3343 ; GFX11-WGP:       ; %bb.0: ; %entry
3344 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3345 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3346 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3347 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3348 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3349 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3350 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3351 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3352 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3353 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3354 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3355 ; GFX11-WGP-NEXT:    s_endpgm
3356 ;
3357 ; GFX11-CU-LABEL: flat_agent_release_acquire_cmpxchg:
3358 ; GFX11-CU:       ; %bb.0: ; %entry
3359 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3360 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3361 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3362 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3363 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3364 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3365 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3366 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3367 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3368 ; GFX11-CU-NEXT:    buffer_gl0_inv
3369 ; GFX11-CU-NEXT:    buffer_gl1_inv
3370 ; GFX11-CU-NEXT:    s_endpgm
3371     ptr %out, i32 %in, i32 %old) {
3372 entry:
3373   %gep = getelementptr i32, ptr %out, i32 4
3374   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release acquire
3375   ret void
3376 }
3377
3378 define amdgpu_kernel void @flat_agent_acq_rel_acquire_cmpxchg(
3379 ; GFX7-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3380 ; GFX7:       ; %bb.0: ; %entry
3381 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3382 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3383 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3384 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3385 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3386 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3387 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3388 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3389 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3390 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3391 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3392 ; GFX7-NEXT:    buffer_wbinvl1_vol
3393 ; GFX7-NEXT:    s_endpgm
3394 ;
3395 ; GFX10-WGP-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3396 ; GFX10-WGP:       ; %bb.0: ; %entry
3397 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3398 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3399 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3400 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3401 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3402 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3403 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3404 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3405 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3406 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3407 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3408 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3409 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3410 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3411 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3412 ; GFX10-WGP-NEXT:    s_endpgm
3413 ;
3414 ; GFX10-CU-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3415 ; GFX10-CU:       ; %bb.0: ; %entry
3416 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3417 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3418 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3419 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3420 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3421 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3422 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3423 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3424 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3425 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3426 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3427 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3428 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3429 ; GFX10-CU-NEXT:    buffer_gl0_inv
3430 ; GFX10-CU-NEXT:    buffer_gl1_inv
3431 ; GFX10-CU-NEXT:    s_endpgm
3432 ;
3433 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3434 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3435 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3436 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3437 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3438 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3439 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3440 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3441 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3442 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3443 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3444 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3445 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3446 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3447 ;
3448 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3449 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3450 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3451 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3452 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3453 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3454 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3455 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3456 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3457 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3458 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3459 ;
3460 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3461 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3462 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3463 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3464 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3465 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3466 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3467 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3468 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3469 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3470 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3471 ;
3472 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3473 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3474 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3475 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3476 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3477 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3478 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
3479 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3480 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3481 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3482 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3483 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3484 ;
3485 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3486 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3487 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3488 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3489 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3490 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3491 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
3492 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3493 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3494 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3495 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3496 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3497 ;
3498 ; GFX11-WGP-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3499 ; GFX11-WGP:       ; %bb.0: ; %entry
3500 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3501 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3502 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3503 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3504 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3505 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3506 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3507 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3508 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3509 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3510 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3511 ; GFX11-WGP-NEXT:    s_endpgm
3512 ;
3513 ; GFX11-CU-LABEL: flat_agent_acq_rel_acquire_cmpxchg:
3514 ; GFX11-CU:       ; %bb.0: ; %entry
3515 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3516 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3517 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3518 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3519 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3520 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3521 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3522 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3523 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3524 ; GFX11-CU-NEXT:    buffer_gl0_inv
3525 ; GFX11-CU-NEXT:    buffer_gl1_inv
3526 ; GFX11-CU-NEXT:    s_endpgm
3527     ptr %out, i32 %in, i32 %old) {
3528 entry:
3529   %gep = getelementptr i32, ptr %out, i32 4
3530   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel acquire
3531   ret void
3532 }
3533
3534 define amdgpu_kernel void @flat_agent_seq_cst_acquire_cmpxchg(
3535 ; GFX7-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3536 ; GFX7:       ; %bb.0: ; %entry
3537 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3538 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3539 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3540 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3541 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3542 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3543 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3544 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3545 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3546 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3547 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3548 ; GFX7-NEXT:    buffer_wbinvl1_vol
3549 ; GFX7-NEXT:    s_endpgm
3550 ;
3551 ; GFX10-WGP-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3552 ; GFX10-WGP:       ; %bb.0: ; %entry
3553 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3554 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3555 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3556 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3557 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3558 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3559 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3560 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3561 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3562 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3563 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3564 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3565 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3566 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3567 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3568 ; GFX10-WGP-NEXT:    s_endpgm
3569 ;
3570 ; GFX10-CU-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3571 ; GFX10-CU:       ; %bb.0: ; %entry
3572 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3573 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3574 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3575 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3576 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3577 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3578 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3580 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3581 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3582 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3583 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3584 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3585 ; GFX10-CU-NEXT:    buffer_gl0_inv
3586 ; GFX10-CU-NEXT:    buffer_gl1_inv
3587 ; GFX10-CU-NEXT:    s_endpgm
3588 ;
3589 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3590 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3591 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3592 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3593 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3594 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3595 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3596 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3597 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3598 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3599 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3600 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3601 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3602 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3603 ;
3604 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3605 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3606 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3607 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3608 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3609 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3610 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3611 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3612 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3613 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3614 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3615 ;
3616 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3617 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3618 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3619 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3620 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3621 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3622 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3623 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3624 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3625 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3626 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3627 ;
3628 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3629 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3630 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3631 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3632 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3633 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3634 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
3635 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3636 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3637 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3638 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3639 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3640 ;
3641 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3642 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3643 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3644 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3645 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3646 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3647 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
3648 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3649 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3650 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3651 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3652 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3653 ;
3654 ; GFX11-WGP-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3655 ; GFX11-WGP:       ; %bb.0: ; %entry
3656 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3657 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3658 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3659 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3660 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3661 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3662 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3663 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3664 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3665 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3666 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3667 ; GFX11-WGP-NEXT:    s_endpgm
3668 ;
3669 ; GFX11-CU-LABEL: flat_agent_seq_cst_acquire_cmpxchg:
3670 ; GFX11-CU:       ; %bb.0: ; %entry
3671 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3672 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3673 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3674 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3675 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3676 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3677 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3678 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3679 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3680 ; GFX11-CU-NEXT:    buffer_gl0_inv
3681 ; GFX11-CU-NEXT:    buffer_gl1_inv
3682 ; GFX11-CU-NEXT:    s_endpgm
3683     ptr %out, i32 %in, i32 %old) {
3684 entry:
3685   %gep = getelementptr i32, ptr %out, i32 4
3686   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst acquire
3687   ret void
3688 }
3689
3690 define amdgpu_kernel void @flat_agent_monotonic_seq_cst_cmpxchg(
3691 ; GFX7-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3692 ; GFX7:       ; %bb.0: ; %entry
3693 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3694 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3695 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3696 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3697 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3698 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3699 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3700 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3701 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3702 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3703 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3704 ; GFX7-NEXT:    buffer_wbinvl1_vol
3705 ; GFX7-NEXT:    s_endpgm
3706 ;
3707 ; GFX10-WGP-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3708 ; GFX10-WGP:       ; %bb.0: ; %entry
3709 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3710 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3711 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3712 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3713 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3714 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3715 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3716 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3717 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3718 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3719 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3720 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3721 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3722 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3723 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3724 ; GFX10-WGP-NEXT:    s_endpgm
3725 ;
3726 ; GFX10-CU-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3727 ; GFX10-CU:       ; %bb.0: ; %entry
3728 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3729 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3730 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3731 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3732 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3733 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3734 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3735 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3736 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3737 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3738 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3739 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3740 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3741 ; GFX10-CU-NEXT:    buffer_gl0_inv
3742 ; GFX10-CU-NEXT:    buffer_gl1_inv
3743 ; GFX10-CU-NEXT:    s_endpgm
3744 ;
3745 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3746 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3747 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3748 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3749 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3750 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3751 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3752 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3753 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3754 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3755 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3756 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3757 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3758 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3759 ;
3760 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3761 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3762 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3763 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3764 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3765 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3766 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3767 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3768 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3769 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3770 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3771 ;
3772 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3773 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3774 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3775 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3776 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3777 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3778 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3779 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3780 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3781 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3782 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3783 ;
3784 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3785 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3786 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3787 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3788 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3789 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3790 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
3791 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3792 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3793 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3794 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3795 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3796 ;
3797 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3798 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3799 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3800 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3801 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3802 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3803 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
3804 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3805 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3806 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3807 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3808 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3809 ;
3810 ; GFX11-WGP-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3811 ; GFX11-WGP:       ; %bb.0: ; %entry
3812 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3813 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3814 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3815 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3816 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3817 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3818 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3819 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3820 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3821 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3822 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3823 ; GFX11-WGP-NEXT:    s_endpgm
3824 ;
3825 ; GFX11-CU-LABEL: flat_agent_monotonic_seq_cst_cmpxchg:
3826 ; GFX11-CU:       ; %bb.0: ; %entry
3827 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3828 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3829 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3830 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3831 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3832 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3833 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3834 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3835 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3836 ; GFX11-CU-NEXT:    buffer_gl0_inv
3837 ; GFX11-CU-NEXT:    buffer_gl1_inv
3838 ; GFX11-CU-NEXT:    s_endpgm
3839     ptr %out, i32 %in, i32 %old) {
3840 entry:
3841   %gep = getelementptr i32, ptr %out, i32 4
3842   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic seq_cst
3843   ret void
3844 }
3845
3846 define amdgpu_kernel void @flat_agent_acquire_seq_cst_cmpxchg(
3847 ; GFX7-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3848 ; GFX7:       ; %bb.0: ; %entry
3849 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3850 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3851 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
3852 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3853 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3854 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3855 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3856 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3857 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3858 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3859 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3860 ; GFX7-NEXT:    buffer_wbinvl1_vol
3861 ; GFX7-NEXT:    s_endpgm
3862 ;
3863 ; GFX10-WGP-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3864 ; GFX10-WGP:       ; %bb.0: ; %entry
3865 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3866 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3867 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
3868 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
3869 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3870 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
3871 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
3872 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
3873 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3874 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3875 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3876 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3877 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3878 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3879 ; GFX10-WGP-NEXT:    buffer_gl1_inv
3880 ; GFX10-WGP-NEXT:    s_endpgm
3881 ;
3882 ; GFX10-CU-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3883 ; GFX10-CU:       ; %bb.0: ; %entry
3884 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3885 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3886 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
3887 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
3888 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3889 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
3890 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
3891 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
3892 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3893 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3894 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3895 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3896 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3897 ; GFX10-CU-NEXT:    buffer_gl0_inv
3898 ; GFX10-CU-NEXT:    buffer_gl1_inv
3899 ; GFX10-CU-NEXT:    s_endpgm
3900 ;
3901 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3902 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3903 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3904 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3905 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
3906 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
3907 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
3908 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
3909 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3910 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
3911 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3912 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
3913 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3914 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3915 ;
3916 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3917 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3918 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3919 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3920 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3921 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3922 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3923 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3924 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3925 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
3926 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3927 ;
3928 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3929 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3930 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3931 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3932 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
3933 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
3934 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3935 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3936 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3937 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3938 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3939 ;
3940 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3941 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3942 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3943 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3944 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3945 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3946 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
3947 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3948 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3949 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3950 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
3951 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3952 ;
3953 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3954 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3955 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
3956 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3957 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
3958 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
3959 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
3960 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3961 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
3962 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
3963 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
3964 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3965 ;
3966 ; GFX11-WGP-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3967 ; GFX11-WGP:       ; %bb.0: ; %entry
3968 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3969 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3970 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3971 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3972 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3973 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3974 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3975 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3976 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3977 ; GFX11-WGP-NEXT:    buffer_gl0_inv
3978 ; GFX11-WGP-NEXT:    buffer_gl1_inv
3979 ; GFX11-WGP-NEXT:    s_endpgm
3980 ;
3981 ; GFX11-CU-LABEL: flat_agent_acquire_seq_cst_cmpxchg:
3982 ; GFX11-CU:       ; %bb.0: ; %entry
3983 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
3984 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3985 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3986 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3987 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3988 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3989 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
3990 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3991 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
3992 ; GFX11-CU-NEXT:    buffer_gl0_inv
3993 ; GFX11-CU-NEXT:    buffer_gl1_inv
3994 ; GFX11-CU-NEXT:    s_endpgm
3995     ptr %out, i32 %in, i32 %old) {
3996 entry:
3997   %gep = getelementptr i32, ptr %out, i32 4
3998   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire seq_cst
3999   ret void
4000 }
4001
4002 define amdgpu_kernel void @flat_agent_release_seq_cst_cmpxchg(
4003 ; GFX7-LABEL: flat_agent_release_seq_cst_cmpxchg:
4004 ; GFX7:       ; %bb.0: ; %entry
4005 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4006 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4007 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
4008 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4009 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4010 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4011 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4012 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4013 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4014 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4015 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4016 ; GFX7-NEXT:    buffer_wbinvl1_vol
4017 ; GFX7-NEXT:    s_endpgm
4018 ;
4019 ; GFX10-WGP-LABEL: flat_agent_release_seq_cst_cmpxchg:
4020 ; GFX10-WGP:       ; %bb.0: ; %entry
4021 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4022 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4023 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
4024 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
4025 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4026 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4027 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4028 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4029 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4030 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4031 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4032 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4033 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4034 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4035 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4036 ; GFX10-WGP-NEXT:    s_endpgm
4037 ;
4038 ; GFX10-CU-LABEL: flat_agent_release_seq_cst_cmpxchg:
4039 ; GFX10-CU:       ; %bb.0: ; %entry
4040 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4041 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4042 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
4043 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
4044 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4045 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4046 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4047 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4048 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4049 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4050 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4051 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4052 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4053 ; GFX10-CU-NEXT:    buffer_gl0_inv
4054 ; GFX10-CU-NEXT:    buffer_gl1_inv
4055 ; GFX10-CU-NEXT:    s_endpgm
4056 ;
4057 ; SKIP-CACHE-INV-LABEL: flat_agent_release_seq_cst_cmpxchg:
4058 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4059 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4060 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4061 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
4062 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
4063 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4064 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4065 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4066 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4067 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4068 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4069 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4070 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4071 ;
4072 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_seq_cst_cmpxchg:
4073 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4074 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4075 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4076 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4077 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4078 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4079 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4080 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4081 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4082 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4083 ;
4084 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_seq_cst_cmpxchg:
4085 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4086 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4087 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4088 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4089 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4090 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4091 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4092 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4093 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4094 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4095 ;
4096 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_seq_cst_cmpxchg:
4097 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4098 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4099 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4100 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4101 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4102 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
4103 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4104 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4105 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4106 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
4107 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4108 ;
4109 ; GFX940-TGSPLIT-LABEL: flat_agent_release_seq_cst_cmpxchg:
4110 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4111 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4112 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4113 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4114 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4115 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
4116 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4117 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4118 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4119 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
4120 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4121 ;
4122 ; GFX11-WGP-LABEL: flat_agent_release_seq_cst_cmpxchg:
4123 ; GFX11-WGP:       ; %bb.0: ; %entry
4124 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4125 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4126 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4127 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4128 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4129 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4130 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4131 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4132 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4133 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4134 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4135 ; GFX11-WGP-NEXT:    s_endpgm
4136 ;
4137 ; GFX11-CU-LABEL: flat_agent_release_seq_cst_cmpxchg:
4138 ; GFX11-CU:       ; %bb.0: ; %entry
4139 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4140 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4141 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4142 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4143 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4144 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4145 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4146 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4147 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4148 ; GFX11-CU-NEXT:    buffer_gl0_inv
4149 ; GFX11-CU-NEXT:    buffer_gl1_inv
4150 ; GFX11-CU-NEXT:    s_endpgm
4151     ptr %out, i32 %in, i32 %old) {
4152 entry:
4153   %gep = getelementptr i32, ptr %out, i32 4
4154   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release seq_cst
4155   ret void
4156 }
4157
4158 define amdgpu_kernel void @flat_agent_acq_rel_seq_cst_cmpxchg(
4159 ; GFX7-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4160 ; GFX7:       ; %bb.0: ; %entry
4161 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4162 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4163 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
4164 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4165 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4166 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4167 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4168 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4169 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4170 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4171 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4172 ; GFX7-NEXT:    buffer_wbinvl1_vol
4173 ; GFX7-NEXT:    s_endpgm
4174 ;
4175 ; GFX10-WGP-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4176 ; GFX10-WGP:       ; %bb.0: ; %entry
4177 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4178 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4179 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
4180 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
4181 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4182 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4183 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4184 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4185 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4186 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4187 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4188 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4189 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4190 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4191 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4192 ; GFX10-WGP-NEXT:    s_endpgm
4193 ;
4194 ; GFX10-CU-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4195 ; GFX10-CU:       ; %bb.0: ; %entry
4196 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4197 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4198 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
4199 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
4200 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4201 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4202 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4203 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4204 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4205 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4206 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4207 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4208 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4209 ; GFX10-CU-NEXT:    buffer_gl0_inv
4210 ; GFX10-CU-NEXT:    buffer_gl1_inv
4211 ; GFX10-CU-NEXT:    s_endpgm
4212 ;
4213 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4214 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4215 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4216 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4217 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
4218 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
4219 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4220 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4221 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4222 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4223 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4224 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4225 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4226 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4227 ;
4228 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4229 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4230 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4231 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4232 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4233 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4234 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4235 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4236 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4237 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4238 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4239 ;
4240 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4241 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4242 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4243 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4244 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4245 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4246 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4247 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4248 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4249 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4250 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4251 ;
4252 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4253 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4254 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4255 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4256 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4257 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4258 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
4259 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4260 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4261 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4262 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
4263 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4264 ;
4265 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4266 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4267 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4268 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4269 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4270 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4271 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
4272 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4273 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4274 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4275 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
4276 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4277 ;
4278 ; GFX11-WGP-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4279 ; GFX11-WGP:       ; %bb.0: ; %entry
4280 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4281 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4282 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4283 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4284 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4285 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4286 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4287 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4288 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4289 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4290 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4291 ; GFX11-WGP-NEXT:    s_endpgm
4292 ;
4293 ; GFX11-CU-LABEL: flat_agent_acq_rel_seq_cst_cmpxchg:
4294 ; GFX11-CU:       ; %bb.0: ; %entry
4295 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4296 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4297 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4298 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4299 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4300 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4301 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4302 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4303 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4304 ; GFX11-CU-NEXT:    buffer_gl0_inv
4305 ; GFX11-CU-NEXT:    buffer_gl1_inv
4306 ; GFX11-CU-NEXT:    s_endpgm
4307     ptr %out, i32 %in, i32 %old) {
4308 entry:
4309   %gep = getelementptr i32, ptr %out, i32 4
4310   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel seq_cst
4311   ret void
4312 }
4313
4314 define amdgpu_kernel void @flat_agent_seq_cst_seq_cst_cmpxchg(
4315 ; GFX7-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4316 ; GFX7:       ; %bb.0: ; %entry
4317 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4318 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4319 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
4320 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4321 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4322 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4323 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4324 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4325 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4326 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4327 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4328 ; GFX7-NEXT:    buffer_wbinvl1_vol
4329 ; GFX7-NEXT:    s_endpgm
4330 ;
4331 ; GFX10-WGP-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4332 ; GFX10-WGP:       ; %bb.0: ; %entry
4333 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4334 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4335 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
4336 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
4337 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4338 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4339 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4340 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4341 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4342 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4343 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4344 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4345 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4346 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4347 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4348 ; GFX10-WGP-NEXT:    s_endpgm
4349 ;
4350 ; GFX10-CU-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4351 ; GFX10-CU:       ; %bb.0: ; %entry
4352 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4353 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4354 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
4355 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
4356 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4357 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4358 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4359 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4360 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4361 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4362 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4363 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4364 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4365 ; GFX10-CU-NEXT:    buffer_gl0_inv
4366 ; GFX10-CU-NEXT:    buffer_gl1_inv
4367 ; GFX10-CU-NEXT:    s_endpgm
4368 ;
4369 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4370 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4371 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4372 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4373 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
4374 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
4375 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4376 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4377 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4378 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4379 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4380 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
4381 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4382 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4383 ;
4384 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4385 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4386 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4387 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4388 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4389 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4390 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4391 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4392 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4393 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4394 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4395 ;
4396 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4397 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4398 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4399 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4400 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4401 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4402 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4403 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4404 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4405 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4406 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4407 ;
4408 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4409 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4410 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4411 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4412 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4413 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4414 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
4415 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4416 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4417 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4418 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
4419 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4420 ;
4421 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4422 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4423 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4424 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4425 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4426 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4427 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
4428 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4429 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
4430 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4431 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
4432 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4433 ;
4434 ; GFX11-WGP-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4435 ; GFX11-WGP:       ; %bb.0: ; %entry
4436 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4437 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4438 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4439 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4440 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4441 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4442 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4443 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4444 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4445 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4446 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4447 ; GFX11-WGP-NEXT:    s_endpgm
4448 ;
4449 ; GFX11-CU-LABEL: flat_agent_seq_cst_seq_cst_cmpxchg:
4450 ; GFX11-CU:       ; %bb.0: ; %entry
4451 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4452 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4453 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4454 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4455 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4456 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4457 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
4458 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4459 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4460 ; GFX11-CU-NEXT:    buffer_gl0_inv
4461 ; GFX11-CU-NEXT:    buffer_gl1_inv
4462 ; GFX11-CU-NEXT:    s_endpgm
4463     ptr %out, i32 %in, i32 %old) {
4464 entry:
4465   %gep = getelementptr i32, ptr %out, i32 4
4466   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst seq_cst
4467   ret void
4468 }
4469
4470 define amdgpu_kernel void @flat_agent_monotonic_monotonic_ret_cmpxchg(
4471 ; GFX7-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4472 ; GFX7:       ; %bb.0: ; %entry
4473 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4474 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4475 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4476 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4477 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4478 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4479 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4480 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4481 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4482 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4483 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4484 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4485 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4486 ; GFX7-NEXT:    s_endpgm
4487 ;
4488 ; GFX10-WGP-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4489 ; GFX10-WGP:       ; %bb.0: ; %entry
4490 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4491 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4492 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
4493 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
4494 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
4495 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4496 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4497 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4498 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4499 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4500 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4501 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4502 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
4503 ; GFX10-WGP-NEXT:    s_endpgm
4504 ;
4505 ; GFX10-CU-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4506 ; GFX10-CU:       ; %bb.0: ; %entry
4507 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4508 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4509 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
4510 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
4511 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
4512 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4513 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4514 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4515 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4516 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4517 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4518 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4519 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
4520 ; GFX10-CU-NEXT:    s_endpgm
4521 ;
4522 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4523 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4524 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4525 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4526 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
4527 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
4528 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
4529 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4530 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
4531 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4532 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4533 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4534 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4535 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4536 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
4537 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4538 ;
4539 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4540 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4541 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4542 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4543 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4544 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4545 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4546 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4547 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4548 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4549 ;
4550 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4551 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4552 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4553 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4554 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4555 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4556 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4557 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4558 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4559 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4560 ;
4561 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4562 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4563 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4564 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4565 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4566 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4567 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4568 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4569 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4570 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4571 ;
4572 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4573 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4574 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4575 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4576 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4577 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4578 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4579 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4580 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4581 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4582 ;
4583 ; GFX11-WGP-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4584 ; GFX11-WGP:       ; %bb.0: ; %entry
4585 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4586 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4587 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4588 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4589 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4590 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4591 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
4592 ; GFX11-WGP-NEXT:    s_endpgm
4593 ;
4594 ; GFX11-CU-LABEL: flat_agent_monotonic_monotonic_ret_cmpxchg:
4595 ; GFX11-CU:       ; %bb.0: ; %entry
4596 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4597 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4598 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4599 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4600 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4601 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4602 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
4603 ; GFX11-CU-NEXT:    s_endpgm
4604     ptr %out, i32 %in, i32 %old) {
4605 entry:
4606   %gep = getelementptr i32, ptr %out, i32 4
4607   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic monotonic
4608   %val0 = extractvalue { i32, i1 } %val, 0
4609   store i32 %val0, ptr %out, align 4
4610   ret void
4611 }
4612
4613 define amdgpu_kernel void @flat_agent_acquire_monotonic_ret_cmpxchg(
4614 ; GFX7-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4615 ; GFX7:       ; %bb.0: ; %entry
4616 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4617 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4618 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4619 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4620 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4621 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4622 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4623 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4624 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4625 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4626 ; GFX7-NEXT:    buffer_wbinvl1_vol
4627 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4628 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4629 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4630 ; GFX7-NEXT:    s_endpgm
4631 ;
4632 ; GFX10-WGP-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4633 ; GFX10-WGP:       ; %bb.0: ; %entry
4634 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4635 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4636 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
4637 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
4638 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
4639 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4640 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4641 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4642 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4643 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4644 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4645 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4646 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4647 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4648 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
4649 ; GFX10-WGP-NEXT:    s_endpgm
4650 ;
4651 ; GFX10-CU-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4652 ; GFX10-CU:       ; %bb.0: ; %entry
4653 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4654 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4655 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
4656 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
4657 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
4658 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4659 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4660 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4661 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4662 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4663 ; GFX10-CU-NEXT:    buffer_gl0_inv
4664 ; GFX10-CU-NEXT:    buffer_gl1_inv
4665 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4666 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4667 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
4668 ; GFX10-CU-NEXT:    s_endpgm
4669 ;
4670 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4671 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4672 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4673 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4674 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
4675 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
4676 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
4677 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4678 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
4679 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4680 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4681 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4682 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4683 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4684 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
4685 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4686 ;
4687 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4688 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4689 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4690 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4691 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4692 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4693 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4694 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4695 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
4696 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4697 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4698 ;
4699 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4700 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4701 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4702 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4703 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4704 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4705 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4706 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4707 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4708 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4709 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4710 ;
4711 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4712 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4713 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4714 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4715 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4716 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4717 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4718 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4719 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
4720 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4721 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4722 ;
4723 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4724 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4725 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4726 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4727 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4728 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4729 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4730 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4731 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
4732 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4733 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4734 ;
4735 ; GFX11-WGP-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4736 ; GFX11-WGP:       ; %bb.0: ; %entry
4737 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4738 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4739 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4740 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4741 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4742 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4743 ; GFX11-WGP-NEXT:    buffer_gl0_inv
4744 ; GFX11-WGP-NEXT:    buffer_gl1_inv
4745 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
4746 ; GFX11-WGP-NEXT:    s_endpgm
4747 ;
4748 ; GFX11-CU-LABEL: flat_agent_acquire_monotonic_ret_cmpxchg:
4749 ; GFX11-CU:       ; %bb.0: ; %entry
4750 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4751 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4752 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4753 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4754 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4755 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4756 ; GFX11-CU-NEXT:    buffer_gl0_inv
4757 ; GFX11-CU-NEXT:    buffer_gl1_inv
4758 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
4759 ; GFX11-CU-NEXT:    s_endpgm
4760     ptr %out, i32 %in, i32 %old) {
4761 entry:
4762   %gep = getelementptr i32, ptr %out, i32 4
4763   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire monotonic
4764   %val0 = extractvalue { i32, i1 } %val, 0
4765   store i32 %val0, ptr %out, align 4
4766   ret void
4767 }
4768
4769 define amdgpu_kernel void @flat_agent_release_monotonic_ret_cmpxchg(
4770 ; GFX7-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4771 ; GFX7:       ; %bb.0: ; %entry
4772 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4773 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4774 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4775 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4776 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4777 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4778 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4779 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4780 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4781 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4782 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4783 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4784 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4785 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4786 ; GFX7-NEXT:    s_endpgm
4787 ;
4788 ; GFX10-WGP-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4789 ; GFX10-WGP:       ; %bb.0: ; %entry
4790 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4791 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4792 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
4793 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
4794 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
4795 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4796 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4797 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4798 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4799 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4800 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4801 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4802 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4803 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4804 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
4805 ; GFX10-WGP-NEXT:    s_endpgm
4806 ;
4807 ; GFX10-CU-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4808 ; GFX10-CU:       ; %bb.0: ; %entry
4809 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4810 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4811 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
4812 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
4813 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
4814 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4815 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4816 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4817 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4818 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4819 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4820 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4821 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4822 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4823 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
4824 ; GFX10-CU-NEXT:    s_endpgm
4825 ;
4826 ; SKIP-CACHE-INV-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4827 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4828 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4829 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4830 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
4831 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
4832 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
4833 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4834 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
4835 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
4836 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4837 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4838 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4839 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4840 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4841 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
4842 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4843 ;
4844 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4845 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4846 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4847 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4848 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4849 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4850 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4851 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4852 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4853 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4854 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4855 ;
4856 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4857 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4858 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4859 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4860 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
4861 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
4862 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4863 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
4864 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4865 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
4866 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4867 ;
4868 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4869 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4870 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4871 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4872 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4873 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4874 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
4875 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4876 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4877 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4878 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4879 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4880 ;
4881 ; GFX940-TGSPLIT-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4882 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4883 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4884 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4885 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
4886 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
4887 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
4888 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4889 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
4890 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
4891 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
4892 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4893 ;
4894 ; GFX11-WGP-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4895 ; GFX11-WGP:       ; %bb.0: ; %entry
4896 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4897 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4898 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4899 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4900 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4901 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4902 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4903 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4904 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
4905 ; GFX11-WGP-NEXT:    s_endpgm
4906 ;
4907 ; GFX11-CU-LABEL: flat_agent_release_monotonic_ret_cmpxchg:
4908 ; GFX11-CU:       ; %bb.0: ; %entry
4909 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
4910 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4911 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4912 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4913 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4914 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4915 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
4916 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4917 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
4918 ; GFX11-CU-NEXT:    s_endpgm
4919     ptr %out, i32 %in, i32 %old) {
4920 entry:
4921   %gep = getelementptr i32, ptr %out, i32 4
4922   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release monotonic
4923   %val0 = extractvalue { i32, i1 } %val, 0
4924   store i32 %val0, ptr %out, align 4
4925   ret void
4926 }
4927
4928 define amdgpu_kernel void @flat_agent_acq_rel_monotonic_ret_cmpxchg(
4929 ; GFX7-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
4930 ; GFX7:       ; %bb.0: ; %entry
4931 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4932 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4933 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
4934 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
4935 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4936 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4937 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4938 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4939 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4940 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4941 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4942 ; GFX7-NEXT:    buffer_wbinvl1_vol
4943 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4944 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4945 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
4946 ; GFX7-NEXT:    s_endpgm
4947 ;
4948 ; GFX10-WGP-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
4949 ; GFX10-WGP:       ; %bb.0: ; %entry
4950 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4951 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4952 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
4953 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
4954 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
4955 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
4956 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4957 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
4958 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4959 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4960 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4961 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4962 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4963 ; GFX10-WGP-NEXT:    buffer_gl1_inv
4964 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4965 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4966 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
4967 ; GFX10-WGP-NEXT:    s_endpgm
4968 ;
4969 ; GFX10-CU-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
4970 ; GFX10-CU:       ; %bb.0: ; %entry
4971 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4972 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4973 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
4974 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
4975 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
4976 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
4977 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4978 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
4979 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4980 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
4981 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
4982 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4983 ; GFX10-CU-NEXT:    buffer_gl0_inv
4984 ; GFX10-CU-NEXT:    buffer_gl1_inv
4985 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4986 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4987 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
4988 ; GFX10-CU-NEXT:    s_endpgm
4989 ;
4990 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
4991 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4992 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
4993 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4994 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
4995 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
4996 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
4997 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
4998 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
4999 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5000 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5001 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5002 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5003 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5004 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5005 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5006 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5007 ;
5008 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5009 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5010 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5011 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5012 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5013 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5014 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5015 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5016 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5017 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5018 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5019 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5020 ;
5021 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5022 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5023 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5024 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5025 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5026 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5027 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5028 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5029 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5030 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5031 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5032 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5033 ;
5034 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5035 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5036 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5037 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5038 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5039 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5040 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
5041 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5042 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5043 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5044 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5045 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5046 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5047 ;
5048 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5049 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5050 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5051 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5052 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5053 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5054 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
5055 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5056 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5057 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5058 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5059 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5060 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5061 ;
5062 ; GFX11-WGP-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5063 ; GFX11-WGP:       ; %bb.0: ; %entry
5064 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5065 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5066 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5067 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5068 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5069 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5070 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5071 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5072 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5073 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5074 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5075 ; GFX11-WGP-NEXT:    s_endpgm
5076 ;
5077 ; GFX11-CU-LABEL: flat_agent_acq_rel_monotonic_ret_cmpxchg:
5078 ; GFX11-CU:       ; %bb.0: ; %entry
5079 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5080 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5081 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5082 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5083 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5084 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5085 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5086 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5087 ; GFX11-CU-NEXT:    buffer_gl0_inv
5088 ; GFX11-CU-NEXT:    buffer_gl1_inv
5089 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5090 ; GFX11-CU-NEXT:    s_endpgm
5091     ptr %out, i32 %in, i32 %old) {
5092 entry:
5093   %gep = getelementptr i32, ptr %out, i32 4
5094   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel monotonic
5095   %val0 = extractvalue { i32, i1 } %val, 0
5096   store i32 %val0, ptr %out, align 4
5097   ret void
5098 }
5099
5100 define amdgpu_kernel void @flat_agent_seq_cst_monotonic_ret_cmpxchg(
5101 ; GFX7-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5102 ; GFX7:       ; %bb.0: ; %entry
5103 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5104 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5105 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5106 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5107 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5108 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5109 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5110 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5111 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5112 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5113 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5114 ; GFX7-NEXT:    buffer_wbinvl1_vol
5115 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5116 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5117 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5118 ; GFX7-NEXT:    s_endpgm
5119 ;
5120 ; GFX10-WGP-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5121 ; GFX10-WGP:       ; %bb.0: ; %entry
5122 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5123 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5124 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5125 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5126 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5127 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5128 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5129 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5130 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5131 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5132 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5133 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5134 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5135 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5136 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5137 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5138 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5139 ; GFX10-WGP-NEXT:    s_endpgm
5140 ;
5141 ; GFX10-CU-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5142 ; GFX10-CU:       ; %bb.0: ; %entry
5143 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5144 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5145 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5146 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5147 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5148 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5149 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5150 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5151 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5152 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5153 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5154 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5155 ; GFX10-CU-NEXT:    buffer_gl0_inv
5156 ; GFX10-CU-NEXT:    buffer_gl1_inv
5157 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5158 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5159 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5160 ; GFX10-CU-NEXT:    s_endpgm
5161 ;
5162 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5163 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5164 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5165 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5166 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5167 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5168 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5169 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5170 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5172 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5173 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5175 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5176 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5177 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5178 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5179 ;
5180 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5181 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5182 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5183 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5184 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5185 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5186 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5187 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5189 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5190 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5191 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5192 ;
5193 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5194 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5195 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5196 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5197 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5198 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5199 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5200 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5201 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5202 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5203 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5204 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5205 ;
5206 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5207 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5208 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5209 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5210 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5211 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5212 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
5213 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5214 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5215 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5216 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5217 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5218 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5219 ;
5220 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5221 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5222 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5223 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5224 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5225 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5226 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
5227 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5228 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5229 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5230 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5231 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5232 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5233 ;
5234 ; GFX11-WGP-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5235 ; GFX11-WGP:       ; %bb.0: ; %entry
5236 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5237 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5238 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5239 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5240 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5241 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5242 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5243 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5244 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5245 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5246 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5247 ; GFX11-WGP-NEXT:    s_endpgm
5248 ;
5249 ; GFX11-CU-LABEL: flat_agent_seq_cst_monotonic_ret_cmpxchg:
5250 ; GFX11-CU:       ; %bb.0: ; %entry
5251 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5252 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5253 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5254 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5255 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5256 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5257 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5258 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5259 ; GFX11-CU-NEXT:    buffer_gl0_inv
5260 ; GFX11-CU-NEXT:    buffer_gl1_inv
5261 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5262 ; GFX11-CU-NEXT:    s_endpgm
5263     ptr %out, i32 %in, i32 %old) {
5264 entry:
5265   %gep = getelementptr i32, ptr %out, i32 4
5266   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst monotonic
5267   %val0 = extractvalue { i32, i1 } %val, 0
5268   store i32 %val0, ptr %out, align 4
5269   ret void
5270 }
5271
5272 define amdgpu_kernel void @flat_agent_monotonic_acquire_ret_cmpxchg(
5273 ; GFX7-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5274 ; GFX7:       ; %bb.0: ; %entry
5275 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5276 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5277 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5278 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5279 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5280 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5281 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5282 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5283 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5284 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5285 ; GFX7-NEXT:    buffer_wbinvl1_vol
5286 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5287 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5288 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5289 ; GFX7-NEXT:    s_endpgm
5290 ;
5291 ; GFX10-WGP-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5292 ; GFX10-WGP:       ; %bb.0: ; %entry
5293 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5294 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5295 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5296 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5297 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5298 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5299 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5300 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5301 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5302 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5303 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5304 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5305 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5306 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5307 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5308 ; GFX10-WGP-NEXT:    s_endpgm
5309 ;
5310 ; GFX10-CU-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5311 ; GFX10-CU:       ; %bb.0: ; %entry
5312 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5313 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5314 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5315 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5316 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5317 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5318 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5320 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5321 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5322 ; GFX10-CU-NEXT:    buffer_gl0_inv
5323 ; GFX10-CU-NEXT:    buffer_gl1_inv
5324 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5325 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5326 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5327 ; GFX10-CU-NEXT:    s_endpgm
5328 ;
5329 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5330 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5331 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5332 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5333 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5334 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5335 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5336 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5337 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5338 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5339 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5340 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5341 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5342 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5343 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5344 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5345 ;
5346 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5347 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5348 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5349 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5350 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5351 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5352 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5353 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5354 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5355 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5356 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5357 ;
5358 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5359 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5360 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5361 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5362 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5363 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5364 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5365 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5366 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5367 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5368 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5369 ;
5370 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5371 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5372 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5373 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5374 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5375 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5376 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5377 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5378 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5379 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5380 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5381 ;
5382 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5383 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5384 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5385 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5386 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5387 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5388 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5389 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5390 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5391 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5392 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5393 ;
5394 ; GFX11-WGP-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5395 ; GFX11-WGP:       ; %bb.0: ; %entry
5396 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5397 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5398 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5399 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5400 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5401 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5402 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5403 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5404 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5405 ; GFX11-WGP-NEXT:    s_endpgm
5406 ;
5407 ; GFX11-CU-LABEL: flat_agent_monotonic_acquire_ret_cmpxchg:
5408 ; GFX11-CU:       ; %bb.0: ; %entry
5409 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5410 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5411 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5412 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5413 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5414 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5415 ; GFX11-CU-NEXT:    buffer_gl0_inv
5416 ; GFX11-CU-NEXT:    buffer_gl1_inv
5417 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5418 ; GFX11-CU-NEXT:    s_endpgm
5419     ptr %out, i32 %in, i32 %old) {
5420 entry:
5421   %gep = getelementptr i32, ptr %out, i32 4
5422   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic acquire
5423   %val0 = extractvalue { i32, i1 } %val, 0
5424   store i32 %val0, ptr %out, align 4
5425   ret void
5426 }
5427
5428 define amdgpu_kernel void @flat_agent_acquire_acquire_ret_cmpxchg(
5429 ; GFX7-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5430 ; GFX7:       ; %bb.0: ; %entry
5431 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5432 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5433 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5434 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5435 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5436 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5437 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5438 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5439 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5440 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5441 ; GFX7-NEXT:    buffer_wbinvl1_vol
5442 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5443 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5444 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5445 ; GFX7-NEXT:    s_endpgm
5446 ;
5447 ; GFX10-WGP-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5448 ; GFX10-WGP:       ; %bb.0: ; %entry
5449 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5450 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5451 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5452 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5453 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5454 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5455 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5456 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5457 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5458 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5459 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5460 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5461 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5462 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5463 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5464 ; GFX10-WGP-NEXT:    s_endpgm
5465 ;
5466 ; GFX10-CU-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5467 ; GFX10-CU:       ; %bb.0: ; %entry
5468 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5469 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5470 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5471 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5472 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5473 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5474 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5475 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5476 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5477 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5478 ; GFX10-CU-NEXT:    buffer_gl0_inv
5479 ; GFX10-CU-NEXT:    buffer_gl1_inv
5480 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5481 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5482 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5483 ; GFX10-CU-NEXT:    s_endpgm
5484 ;
5485 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5486 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5487 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5488 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5489 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5490 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5491 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5492 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5493 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5494 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5495 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5496 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5497 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5498 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5499 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5500 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5501 ;
5502 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5503 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5504 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5505 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5506 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5507 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5508 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5509 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5510 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5511 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5512 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5513 ;
5514 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5515 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5516 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5517 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5518 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5519 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5520 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5521 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5522 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5523 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5524 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5525 ;
5526 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5527 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5528 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5529 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5530 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5531 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5532 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5533 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5534 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5535 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5536 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5537 ;
5538 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5539 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5540 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5541 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5542 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5543 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5544 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5545 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5546 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5547 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5548 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5549 ;
5550 ; GFX11-WGP-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5551 ; GFX11-WGP:       ; %bb.0: ; %entry
5552 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5553 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5554 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5555 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5556 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5557 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5558 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5559 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5560 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5561 ; GFX11-WGP-NEXT:    s_endpgm
5562 ;
5563 ; GFX11-CU-LABEL: flat_agent_acquire_acquire_ret_cmpxchg:
5564 ; GFX11-CU:       ; %bb.0: ; %entry
5565 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5566 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5567 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5568 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5569 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5570 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5571 ; GFX11-CU-NEXT:    buffer_gl0_inv
5572 ; GFX11-CU-NEXT:    buffer_gl1_inv
5573 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5574 ; GFX11-CU-NEXT:    s_endpgm
5575     ptr %out, i32 %in, i32 %old) {
5576 entry:
5577   %gep = getelementptr i32, ptr %out, i32 4
5578   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire acquire
5579   %val0 = extractvalue { i32, i1 } %val, 0
5580   store i32 %val0, ptr %out, align 4
5581   ret void
5582 }
5583
5584 define amdgpu_kernel void @flat_agent_release_acquire_ret_cmpxchg(
5585 ; GFX7-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5586 ; GFX7:       ; %bb.0: ; %entry
5587 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5588 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5589 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5590 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5591 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5592 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5593 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5594 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5595 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5596 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5597 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5598 ; GFX7-NEXT:    buffer_wbinvl1_vol
5599 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5600 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5601 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5602 ; GFX7-NEXT:    s_endpgm
5603 ;
5604 ; GFX10-WGP-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5605 ; GFX10-WGP:       ; %bb.0: ; %entry
5606 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5607 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5608 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5609 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5610 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5611 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5612 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5613 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5614 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5615 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5616 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5617 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5618 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5619 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5620 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5621 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5622 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5623 ; GFX10-WGP-NEXT:    s_endpgm
5624 ;
5625 ; GFX10-CU-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5626 ; GFX10-CU:       ; %bb.0: ; %entry
5627 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5628 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5629 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5630 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5631 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5632 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5633 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5634 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5635 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5636 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5637 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5638 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5639 ; GFX10-CU-NEXT:    buffer_gl0_inv
5640 ; GFX10-CU-NEXT:    buffer_gl1_inv
5641 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5642 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5643 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5644 ; GFX10-CU-NEXT:    s_endpgm
5645 ;
5646 ; SKIP-CACHE-INV-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5647 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5648 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5649 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5650 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5651 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5652 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5653 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5654 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5655 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5656 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5657 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5658 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5659 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5660 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5661 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5662 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5663 ;
5664 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5665 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5666 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5667 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5668 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5669 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5670 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5671 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5672 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5673 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5674 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5675 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5676 ;
5677 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5678 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5679 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5680 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5681 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5682 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5683 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5684 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5685 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5686 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5687 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5688 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5689 ;
5690 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5691 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5692 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5693 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5694 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5695 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5696 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
5697 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5698 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5699 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5700 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5701 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5702 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5703 ;
5704 ; GFX940-TGSPLIT-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5705 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5706 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5707 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5708 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5709 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5710 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
5711 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5712 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5713 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5714 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5715 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5716 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5717 ;
5718 ; GFX11-WGP-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5719 ; GFX11-WGP:       ; %bb.0: ; %entry
5720 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5721 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5722 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5723 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5724 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5725 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5726 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5727 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5728 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5729 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5730 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5731 ; GFX11-WGP-NEXT:    s_endpgm
5732 ;
5733 ; GFX11-CU-LABEL: flat_agent_release_acquire_ret_cmpxchg:
5734 ; GFX11-CU:       ; %bb.0: ; %entry
5735 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5736 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5737 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5738 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5739 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5740 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5741 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5742 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5743 ; GFX11-CU-NEXT:    buffer_gl0_inv
5744 ; GFX11-CU-NEXT:    buffer_gl1_inv
5745 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5746 ; GFX11-CU-NEXT:    s_endpgm
5747     ptr %out, i32 %in, i32 %old) {
5748 entry:
5749   %gep = getelementptr i32, ptr %out, i32 4
5750   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release acquire
5751   %val0 = extractvalue { i32, i1 } %val, 0
5752   store i32 %val0, ptr %out, align 4
5753   ret void
5754 }
5755
5756 define amdgpu_kernel void @flat_agent_acq_rel_acquire_ret_cmpxchg(
5757 ; GFX7-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5758 ; GFX7:       ; %bb.0: ; %entry
5759 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5760 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5761 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5762 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5763 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5764 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5765 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5766 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5767 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5768 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5769 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5770 ; GFX7-NEXT:    buffer_wbinvl1_vol
5771 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5772 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5773 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5774 ; GFX7-NEXT:    s_endpgm
5775 ;
5776 ; GFX10-WGP-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5777 ; GFX10-WGP:       ; %bb.0: ; %entry
5778 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5779 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5780 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5781 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5782 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5783 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5784 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5785 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5786 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5787 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5788 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5789 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5790 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5791 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5792 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5793 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5794 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5795 ; GFX10-WGP-NEXT:    s_endpgm
5796 ;
5797 ; GFX10-CU-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5798 ; GFX10-CU:       ; %bb.0: ; %entry
5799 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5800 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5801 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5802 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5803 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5804 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5805 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5806 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5807 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5808 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5809 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5810 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5811 ; GFX10-CU-NEXT:    buffer_gl0_inv
5812 ; GFX10-CU-NEXT:    buffer_gl1_inv
5813 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5814 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5815 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5816 ; GFX10-CU-NEXT:    s_endpgm
5817 ;
5818 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5819 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5820 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5821 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5822 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5823 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5824 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5825 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5826 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5827 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
5828 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5829 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5830 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5831 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5832 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5833 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
5834 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5835 ;
5836 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5837 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5838 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5839 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5840 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5841 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5842 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5843 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5844 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5845 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
5846 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5847 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5848 ;
5849 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5850 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5851 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5852 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5853 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
5854 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
5855 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5856 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
5857 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5858 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
5859 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
5860 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5861 ;
5862 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5863 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5864 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5865 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5866 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5867 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5868 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
5869 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5870 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5871 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5872 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
5873 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5874 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5875 ;
5876 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5877 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5878 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5879 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5880 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
5881 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
5882 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
5883 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5884 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
5885 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
5886 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
5887 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
5888 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5889 ;
5890 ; GFX11-WGP-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5891 ; GFX11-WGP:       ; %bb.0: ; %entry
5892 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5893 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5894 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5895 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5896 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5897 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5898 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5899 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5900 ; GFX11-WGP-NEXT:    buffer_gl0_inv
5901 ; GFX11-WGP-NEXT:    buffer_gl1_inv
5902 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
5903 ; GFX11-WGP-NEXT:    s_endpgm
5904 ;
5905 ; GFX11-CU-LABEL: flat_agent_acq_rel_acquire_ret_cmpxchg:
5906 ; GFX11-CU:       ; %bb.0: ; %entry
5907 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
5908 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5909 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5910 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5911 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5912 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5913 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
5914 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5915 ; GFX11-CU-NEXT:    buffer_gl0_inv
5916 ; GFX11-CU-NEXT:    buffer_gl1_inv
5917 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
5918 ; GFX11-CU-NEXT:    s_endpgm
5919     ptr %out, i32 %in, i32 %old) {
5920 entry:
5921   %gep = getelementptr i32, ptr %out, i32 4
5922   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel acquire
5923   %val0 = extractvalue { i32, i1 } %val, 0
5924   store i32 %val0, ptr %out, align 4
5925   ret void
5926 }
5927
5928 define amdgpu_kernel void @flat_agent_seq_cst_acquire_ret_cmpxchg(
5929 ; GFX7-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
5930 ; GFX7:       ; %bb.0: ; %entry
5931 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5932 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5933 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
5934 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
5935 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5936 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5937 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5938 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5939 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5940 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5941 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5942 ; GFX7-NEXT:    buffer_wbinvl1_vol
5943 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5944 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5945 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
5946 ; GFX7-NEXT:    s_endpgm
5947 ;
5948 ; GFX10-WGP-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
5949 ; GFX10-WGP:       ; %bb.0: ; %entry
5950 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5951 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5952 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
5953 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
5954 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5955 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
5956 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
5957 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
5958 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5959 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
5960 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5961 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5962 ; GFX10-WGP-NEXT:    buffer_gl0_inv
5963 ; GFX10-WGP-NEXT:    buffer_gl1_inv
5964 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5965 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5966 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
5967 ; GFX10-WGP-NEXT:    s_endpgm
5968 ;
5969 ; GFX10-CU-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
5970 ; GFX10-CU:       ; %bb.0: ; %entry
5971 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5972 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5973 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
5974 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
5975 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5976 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
5977 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
5978 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
5979 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5980 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
5981 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
5982 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5983 ; GFX10-CU-NEXT:    buffer_gl0_inv
5984 ; GFX10-CU-NEXT:    buffer_gl1_inv
5985 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5986 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5987 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
5988 ; GFX10-CU-NEXT:    s_endpgm
5989 ;
5990 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
5991 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5992 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
5993 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5994 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
5995 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
5996 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
5997 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
5998 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
5999 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6000 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6001 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6002 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6003 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6004 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6005 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6006 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6007 ;
6008 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6009 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6010 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6011 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6012 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6013 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6014 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6015 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6016 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6017 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6018 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6019 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6020 ;
6021 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6022 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6023 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6024 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6025 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6026 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6027 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6028 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6029 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6030 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6031 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6032 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6033 ;
6034 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6035 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6036 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6037 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6038 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6039 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6040 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6041 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6042 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6043 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6044 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6045 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6046 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6047 ;
6048 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6049 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6050 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6051 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6052 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6053 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6054 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6055 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6056 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6057 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6058 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6059 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6060 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6061 ;
6062 ; GFX11-WGP-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6063 ; GFX11-WGP:       ; %bb.0: ; %entry
6064 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6065 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6066 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6067 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6068 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6069 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6070 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6071 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6072 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6073 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6074 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6075 ; GFX11-WGP-NEXT:    s_endpgm
6076 ;
6077 ; GFX11-CU-LABEL: flat_agent_seq_cst_acquire_ret_cmpxchg:
6078 ; GFX11-CU:       ; %bb.0: ; %entry
6079 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6080 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6081 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6082 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6083 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6084 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6085 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6086 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6087 ; GFX11-CU-NEXT:    buffer_gl0_inv
6088 ; GFX11-CU-NEXT:    buffer_gl1_inv
6089 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6090 ; GFX11-CU-NEXT:    s_endpgm
6091     ptr %out, i32 %in, i32 %old) {
6092 entry:
6093   %gep = getelementptr i32, ptr %out, i32 4
6094   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst acquire
6095   %val0 = extractvalue { i32, i1 } %val, 0
6096   store i32 %val0, ptr %out, align 4
6097   ret void
6098 }
6099
6100 define amdgpu_kernel void @flat_agent_monotonic_seq_cst_ret_cmpxchg(
6101 ; GFX7-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6102 ; GFX7:       ; %bb.0: ; %entry
6103 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6104 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6105 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6106 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6107 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6108 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6109 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6110 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6111 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6112 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6113 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6114 ; GFX7-NEXT:    buffer_wbinvl1_vol
6115 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6116 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6117 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6118 ; GFX7-NEXT:    s_endpgm
6119 ;
6120 ; GFX10-WGP-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6121 ; GFX10-WGP:       ; %bb.0: ; %entry
6122 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6123 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6124 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
6125 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
6126 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6127 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
6128 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
6129 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
6130 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6131 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6132 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6133 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6134 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6135 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6136 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6137 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6138 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6139 ; GFX10-WGP-NEXT:    s_endpgm
6140 ;
6141 ; GFX10-CU-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6142 ; GFX10-CU:       ; %bb.0: ; %entry
6143 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6144 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6145 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
6146 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
6147 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6148 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
6149 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
6150 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
6151 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6152 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6153 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6154 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6155 ; GFX10-CU-NEXT:    buffer_gl0_inv
6156 ; GFX10-CU-NEXT:    buffer_gl1_inv
6157 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6158 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6159 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6160 ; GFX10-CU-NEXT:    s_endpgm
6161 ;
6162 ; SKIP-CACHE-INV-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6163 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6164 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6165 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6166 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
6167 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
6168 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
6169 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
6170 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
6171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6172 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6173 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6175 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6176 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6177 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6178 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6179 ;
6180 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6181 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6182 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6183 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6184 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6185 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6186 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6187 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6189 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6190 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6191 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6192 ;
6193 ; GFX90A-TGSPLIT-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6194 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6195 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6196 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6197 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6198 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6199 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6200 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6201 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6202 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6203 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6204 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6205 ;
6206 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6207 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6208 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6209 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6210 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6211 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6212 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6213 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6214 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6215 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6216 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6217 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6218 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6219 ;
6220 ; GFX940-TGSPLIT-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6221 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6222 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6223 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6224 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6225 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6226 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6227 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6228 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6229 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6230 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6231 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6232 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6233 ;
6234 ; GFX11-WGP-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6235 ; GFX11-WGP:       ; %bb.0: ; %entry
6236 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6237 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6238 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6239 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6240 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6241 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6242 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6243 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6244 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6245 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6246 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6247 ; GFX11-WGP-NEXT:    s_endpgm
6248 ;
6249 ; GFX11-CU-LABEL: flat_agent_monotonic_seq_cst_ret_cmpxchg:
6250 ; GFX11-CU:       ; %bb.0: ; %entry
6251 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6252 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6253 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6254 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6255 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6256 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6257 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6258 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6259 ; GFX11-CU-NEXT:    buffer_gl0_inv
6260 ; GFX11-CU-NEXT:    buffer_gl1_inv
6261 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6262 ; GFX11-CU-NEXT:    s_endpgm
6263     ptr %out, i32 %in, i32 %old) {
6264 entry:
6265   %gep = getelementptr i32, ptr %out, i32 4
6266   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") monotonic seq_cst
6267   %val0 = extractvalue { i32, i1 } %val, 0
6268   store i32 %val0, ptr %out, align 4
6269   ret void
6270 }
6271
6272 define amdgpu_kernel void @flat_agent_acquire_seq_cst_ret_cmpxchg(
6273 ; GFX7-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6274 ; GFX7:       ; %bb.0: ; %entry
6275 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6276 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6277 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6278 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6279 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6280 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6281 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6282 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6283 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6284 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6285 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6286 ; GFX7-NEXT:    buffer_wbinvl1_vol
6287 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6288 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6289 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6290 ; GFX7-NEXT:    s_endpgm
6291 ;
6292 ; GFX10-WGP-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6293 ; GFX10-WGP:       ; %bb.0: ; %entry
6294 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6295 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6296 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
6297 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
6298 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6299 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
6300 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
6301 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
6302 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6303 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6304 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6305 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6306 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6307 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6308 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6309 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6310 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6311 ; GFX10-WGP-NEXT:    s_endpgm
6312 ;
6313 ; GFX10-CU-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6314 ; GFX10-CU:       ; %bb.0: ; %entry
6315 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6316 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6317 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
6318 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
6319 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6320 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
6321 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
6322 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
6323 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6324 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6325 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6326 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6327 ; GFX10-CU-NEXT:    buffer_gl0_inv
6328 ; GFX10-CU-NEXT:    buffer_gl1_inv
6329 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6330 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6331 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6332 ; GFX10-CU-NEXT:    s_endpgm
6333 ;
6334 ; SKIP-CACHE-INV-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6335 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6336 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6337 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6338 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
6339 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
6340 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
6341 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
6342 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
6343 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6344 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6345 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6346 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6347 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6348 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6349 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6350 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6351 ;
6352 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6353 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6354 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6355 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6356 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6357 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6358 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6359 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6360 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6361 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6362 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6363 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6364 ;
6365 ; GFX90A-TGSPLIT-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6366 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6367 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6369 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6370 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6371 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6372 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6373 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6374 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6375 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6376 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6377 ;
6378 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6379 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6380 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6381 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6382 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6383 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6384 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6385 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6386 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6387 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6388 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6389 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6390 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6391 ;
6392 ; GFX940-TGSPLIT-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6393 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6394 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6395 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6396 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6397 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6398 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6399 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6400 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6401 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6402 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6403 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6404 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6405 ;
6406 ; GFX11-WGP-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6407 ; GFX11-WGP:       ; %bb.0: ; %entry
6408 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6409 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6410 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6411 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6412 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6413 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6414 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6415 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6416 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6417 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6418 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6419 ; GFX11-WGP-NEXT:    s_endpgm
6420 ;
6421 ; GFX11-CU-LABEL: flat_agent_acquire_seq_cst_ret_cmpxchg:
6422 ; GFX11-CU:       ; %bb.0: ; %entry
6423 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6424 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6425 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6426 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6427 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6428 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6429 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6430 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6431 ; GFX11-CU-NEXT:    buffer_gl0_inv
6432 ; GFX11-CU-NEXT:    buffer_gl1_inv
6433 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6434 ; GFX11-CU-NEXT:    s_endpgm
6435     ptr %out, i32 %in, i32 %old) {
6436 entry:
6437   %gep = getelementptr i32, ptr %out, i32 4
6438   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acquire seq_cst
6439   %val0 = extractvalue { i32, i1 } %val, 0
6440   store i32 %val0, ptr %out, align 4
6441   ret void
6442 }
6443
6444 define amdgpu_kernel void @flat_agent_release_seq_cst_ret_cmpxchg(
6445 ; GFX7-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6446 ; GFX7:       ; %bb.0: ; %entry
6447 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6448 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6449 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6450 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6451 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6452 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6453 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6454 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6455 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6456 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6457 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6458 ; GFX7-NEXT:    buffer_wbinvl1_vol
6459 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6460 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6461 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6462 ; GFX7-NEXT:    s_endpgm
6463 ;
6464 ; GFX10-WGP-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6465 ; GFX10-WGP:       ; %bb.0: ; %entry
6466 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6467 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6468 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
6469 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
6470 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6471 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
6472 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
6473 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
6474 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6475 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6476 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6477 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6478 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6479 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6480 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6481 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6482 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6483 ; GFX10-WGP-NEXT:    s_endpgm
6484 ;
6485 ; GFX10-CU-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6486 ; GFX10-CU:       ; %bb.0: ; %entry
6487 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6488 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6489 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
6490 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
6491 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6492 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
6493 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
6494 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
6495 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6496 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6497 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6498 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6499 ; GFX10-CU-NEXT:    buffer_gl0_inv
6500 ; GFX10-CU-NEXT:    buffer_gl1_inv
6501 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6502 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6503 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6504 ; GFX10-CU-NEXT:    s_endpgm
6505 ;
6506 ; SKIP-CACHE-INV-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6507 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6508 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6509 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6510 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
6511 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
6512 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
6513 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
6514 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
6515 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6516 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6517 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6518 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6519 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6520 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6521 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6522 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6523 ;
6524 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6525 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6526 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6527 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6528 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6529 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6530 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6531 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6532 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6533 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6534 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6535 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6536 ;
6537 ; GFX90A-TGSPLIT-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6538 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6539 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6540 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6541 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6542 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6543 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6544 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6545 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6546 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6547 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6548 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6549 ;
6550 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6551 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6552 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6553 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6554 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6555 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6556 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6557 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6558 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6559 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6560 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6561 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6562 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6563 ;
6564 ; GFX940-TGSPLIT-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6565 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6566 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6567 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6568 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6569 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6570 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6571 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6572 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6573 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6574 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6575 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6576 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6577 ;
6578 ; GFX11-WGP-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6579 ; GFX11-WGP:       ; %bb.0: ; %entry
6580 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6581 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6582 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6583 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6584 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6585 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6586 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6587 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6588 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6589 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6590 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6591 ; GFX11-WGP-NEXT:    s_endpgm
6592 ;
6593 ; GFX11-CU-LABEL: flat_agent_release_seq_cst_ret_cmpxchg:
6594 ; GFX11-CU:       ; %bb.0: ; %entry
6595 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6596 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6597 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6598 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6599 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6600 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6601 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6602 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6603 ; GFX11-CU-NEXT:    buffer_gl0_inv
6604 ; GFX11-CU-NEXT:    buffer_gl1_inv
6605 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6606 ; GFX11-CU-NEXT:    s_endpgm
6607     ptr %out, i32 %in, i32 %old) {
6608 entry:
6609   %gep = getelementptr i32, ptr %out, i32 4
6610   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") release seq_cst
6611   %val0 = extractvalue { i32, i1 } %val, 0
6612   store i32 %val0, ptr %out, align 4
6613   ret void
6614 }
6615
6616 define amdgpu_kernel void @flat_agent_acq_rel_seq_cst_ret_cmpxchg(
6617 ; GFX7-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6618 ; GFX7:       ; %bb.0: ; %entry
6619 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6620 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6621 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6622 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6623 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6624 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6625 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6626 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6627 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6628 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6629 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6630 ; GFX7-NEXT:    buffer_wbinvl1_vol
6631 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6632 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6633 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6634 ; GFX7-NEXT:    s_endpgm
6635 ;
6636 ; GFX10-WGP-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6637 ; GFX10-WGP:       ; %bb.0: ; %entry
6638 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6639 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6640 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
6641 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
6642 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6643 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
6644 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
6645 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
6646 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6647 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6648 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6649 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6650 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6651 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6652 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6654 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6655 ; GFX10-WGP-NEXT:    s_endpgm
6656 ;
6657 ; GFX10-CU-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6658 ; GFX10-CU:       ; %bb.0: ; %entry
6659 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6660 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6661 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
6662 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
6663 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6664 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
6665 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
6666 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
6667 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6668 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6669 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6670 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6671 ; GFX10-CU-NEXT:    buffer_gl0_inv
6672 ; GFX10-CU-NEXT:    buffer_gl1_inv
6673 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6674 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6675 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6676 ; GFX10-CU-NEXT:    s_endpgm
6677 ;
6678 ; SKIP-CACHE-INV-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6679 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6680 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6681 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6682 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
6683 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
6684 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
6685 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
6686 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
6687 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6688 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6689 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6690 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6691 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6692 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6693 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6694 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6695 ;
6696 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6697 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6698 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6699 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6700 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6701 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6702 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6703 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6704 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6705 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6706 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6707 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6708 ;
6709 ; GFX90A-TGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6710 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6711 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6712 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6713 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6714 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6715 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6716 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6717 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6718 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6719 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6720 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6721 ;
6722 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6723 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6724 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6725 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6726 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6727 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6728 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6729 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6730 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6731 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6732 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6733 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6734 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6735 ;
6736 ; GFX940-TGSPLIT-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6737 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6738 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6739 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6740 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6741 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6742 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6743 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6744 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6745 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6746 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6747 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6748 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6749 ;
6750 ; GFX11-WGP-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6751 ; GFX11-WGP:       ; %bb.0: ; %entry
6752 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6753 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6754 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6755 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6756 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6757 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6758 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6759 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6760 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6761 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6762 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6763 ; GFX11-WGP-NEXT:    s_endpgm
6764 ;
6765 ; GFX11-CU-LABEL: flat_agent_acq_rel_seq_cst_ret_cmpxchg:
6766 ; GFX11-CU:       ; %bb.0: ; %entry
6767 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6768 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6769 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6770 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6771 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6772 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6773 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6774 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6775 ; GFX11-CU-NEXT:    buffer_gl0_inv
6776 ; GFX11-CU-NEXT:    buffer_gl1_inv
6777 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6778 ; GFX11-CU-NEXT:    s_endpgm
6779     ptr %out, i32 %in, i32 %old) {
6780 entry:
6781   %gep = getelementptr i32, ptr %out, i32 4
6782   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") acq_rel seq_cst
6783   %val0 = extractvalue { i32, i1 } %val, 0
6784   store i32 %val0, ptr %out, align 4
6785   ret void
6786 }
6787
6788 define amdgpu_kernel void @flat_agent_seq_cst_seq_cst_ret_cmpxchg(
6789 ; GFX7-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6790 ; GFX7:       ; %bb.0: ; %entry
6791 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6792 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6793 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
6794 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
6795 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6796 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6797 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6798 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6799 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6800 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6801 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6802 ; GFX7-NEXT:    buffer_wbinvl1_vol
6803 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6804 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6805 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6806 ; GFX7-NEXT:    s_endpgm
6807 ;
6808 ; GFX10-WGP-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6809 ; GFX10-WGP:       ; %bb.0: ; %entry
6810 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6811 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6812 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
6813 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
6814 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6815 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
6816 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
6817 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
6818 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6819 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6820 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6821 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6822 ; GFX10-WGP-NEXT:    buffer_gl0_inv
6823 ; GFX10-WGP-NEXT:    buffer_gl1_inv
6824 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6825 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6826 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6827 ; GFX10-WGP-NEXT:    s_endpgm
6828 ;
6829 ; GFX10-CU-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6830 ; GFX10-CU:       ; %bb.0: ; %entry
6831 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6832 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6833 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
6834 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
6835 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6836 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
6837 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
6838 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
6839 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6840 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6841 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6842 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6843 ; GFX10-CU-NEXT:    buffer_gl0_inv
6844 ; GFX10-CU-NEXT:    buffer_gl1_inv
6845 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6846 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6847 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6848 ; GFX10-CU-NEXT:    s_endpgm
6849 ;
6850 ; SKIP-CACHE-INV-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6851 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6852 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6853 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6854 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
6855 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
6856 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
6857 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
6858 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
6859 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
6860 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6861 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
6862 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6863 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6864 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
6865 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
6866 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6867 ;
6868 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6869 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6870 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6871 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6872 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6873 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6874 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6875 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6876 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6877 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
6878 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6879 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6880 ;
6881 ; GFX90A-TGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6882 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6883 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6884 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6885 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
6886 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
6887 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6888 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
6889 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6890 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
6891 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
6892 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6893 ;
6894 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6895 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6896 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6897 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6898 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6899 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6900 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
6901 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6902 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6903 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6904 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
6905 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6906 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6907 ;
6908 ; GFX940-TGSPLIT-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6909 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6910 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
6911 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6912 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
6913 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
6914 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
6915 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6916 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
6917 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
6918 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
6919 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
6920 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6921 ;
6922 ; GFX11-WGP-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6923 ; GFX11-WGP:       ; %bb.0: ; %entry
6924 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6925 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6926 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6927 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6928 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6929 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
6930 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6931 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6932 ; GFX11-WGP-NEXT:    buffer_gl0_inv
6933 ; GFX11-WGP-NEXT:    buffer_gl1_inv
6934 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
6935 ; GFX11-WGP-NEXT:    s_endpgm
6936 ;
6937 ; GFX11-CU-LABEL: flat_agent_seq_cst_seq_cst_ret_cmpxchg:
6938 ; GFX11-CU:       ; %bb.0: ; %entry
6939 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
6940 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6941 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6942 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6943 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6944 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
6945 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
6946 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6947 ; GFX11-CU-NEXT:    buffer_gl0_inv
6948 ; GFX11-CU-NEXT:    buffer_gl1_inv
6949 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
6950 ; GFX11-CU-NEXT:    s_endpgm
6951     ptr %out, i32 %in, i32 %old) {
6952 entry:
6953   %gep = getelementptr i32, ptr %out, i32 4
6954   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent") seq_cst seq_cst
6955   %val0 = extractvalue { i32, i1 } %val, 0
6956   store i32 %val0, ptr %out, align 4
6957   ret void
6958 }
6959
6960 define amdgpu_kernel void @flat_agent_one_as_unordered_load(
6961 ; GFX7-LABEL: flat_agent_one_as_unordered_load:
6962 ; GFX7:       ; %bb.0: ; %entry
6963 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6964 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6965 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6966 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6967 ; GFX7-NEXT:    flat_load_dword v2, v[0:1]
6968 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6969 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6970 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6971 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
6972 ; GFX7-NEXT:    s_endpgm
6973 ;
6974 ; GFX10-WGP-LABEL: flat_agent_one_as_unordered_load:
6975 ; GFX10-WGP:       ; %bb.0: ; %entry
6976 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6977 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6978 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6979 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
6980 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1]
6981 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
6982 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
6983 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6984 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
6985 ; GFX10-WGP-NEXT:    s_endpgm
6986 ;
6987 ; GFX10-CU-LABEL: flat_agent_one_as_unordered_load:
6988 ; GFX10-CU:       ; %bb.0: ; %entry
6989 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6990 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6991 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6992 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
6993 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1]
6994 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
6995 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
6996 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6997 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
6998 ; GFX10-CU-NEXT:    s_endpgm
6999 ;
7000 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_unordered_load:
7001 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7002 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7003 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7004 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7005 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7006 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1]
7007 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7008 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7009 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7010 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7011 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7012 ;
7013 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_unordered_load:
7014 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7015 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7016 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7017 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7018 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7019 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
7020 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7021 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7022 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7023 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7024 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7025 ;
7026 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_unordered_load:
7027 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7028 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7029 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7030 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7031 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7032 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
7033 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7034 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7035 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7036 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7037 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7038 ;
7039 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_unordered_load:
7040 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7041 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7042 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7043 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7044 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7045 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
7046 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7047 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7048 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7049 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7050 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7051 ;
7052 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_unordered_load:
7053 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7054 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7055 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7056 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7057 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7058 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1]
7059 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7060 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7061 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7062 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7063 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7064 ;
7065 ; GFX11-WGP-LABEL: flat_agent_one_as_unordered_load:
7066 ; GFX11-WGP:       ; %bb.0: ; %entry
7067 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7068 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7069 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7070 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1]
7071 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7072 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7073 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7074 ; GFX11-WGP-NEXT:    s_endpgm
7075 ;
7076 ; GFX11-CU-LABEL: flat_agent_one_as_unordered_load:
7077 ; GFX11-CU:       ; %bb.0: ; %entry
7078 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7079 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7080 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7081 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1]
7082 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7083 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7084 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7085 ; GFX11-CU-NEXT:    s_endpgm
7086     ptr %in, ptr %out) {
7087 entry:
7088   %val = load atomic i32, ptr %in syncscope("agent-one-as") unordered, align 4
7089   store i32 %val, ptr %out
7090   ret void
7091 }
7092
7093 define amdgpu_kernel void @flat_agent_one_as_monotonic_load(
7094 ; GFX7-LABEL: flat_agent_one_as_monotonic_load:
7095 ; GFX7:       ; %bb.0: ; %entry
7096 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7097 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7098 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7099 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7100 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
7101 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
7102 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
7103 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7104 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7105 ; GFX7-NEXT:    s_endpgm
7106 ;
7107 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_load:
7108 ; GFX10-WGP:       ; %bb.0: ; %entry
7109 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7110 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7111 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7112 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7113 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7114 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
7115 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
7116 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7117 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7118 ; GFX10-WGP-NEXT:    s_endpgm
7119 ;
7120 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_load:
7121 ; GFX10-CU:       ; %bb.0: ; %entry
7122 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7123 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7124 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7125 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7126 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7127 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
7128 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
7129 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7130 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7131 ; GFX10-CU-NEXT:    s_endpgm
7132 ;
7133 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_load:
7134 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7135 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7136 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7137 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7138 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7139 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
7140 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7141 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7142 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7143 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7144 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7145 ;
7146 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_load:
7147 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7148 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7149 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7150 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7151 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7152 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7153 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7154 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7155 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7156 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7157 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7158 ;
7159 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_load:
7160 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7161 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7162 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7163 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7164 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7165 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7166 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7167 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7168 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7169 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7170 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7171 ;
7172 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_load:
7173 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7174 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7175 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7176 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7177 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7178 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7179 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7180 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7181 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7182 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7183 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7184 ;
7185 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_load:
7186 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7187 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7188 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7189 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7190 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7191 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7192 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7193 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7194 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7195 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7196 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7197 ;
7198 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_load:
7199 ; GFX11-WGP:       ; %bb.0: ; %entry
7200 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7201 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7202 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7203 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
7204 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7205 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7206 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7207 ; GFX11-WGP-NEXT:    s_endpgm
7208 ;
7209 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_load:
7210 ; GFX11-CU:       ; %bb.0: ; %entry
7211 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7212 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7213 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7214 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
7215 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7216 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
7217 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7218 ; GFX11-CU-NEXT:    s_endpgm
7219     ptr %in, ptr %out) {
7220 entry:
7221   %val = load atomic i32, ptr %in syncscope("agent-one-as") monotonic, align 4
7222   store i32 %val, ptr %out
7223   ret void
7224 }
7225
7226 define amdgpu_kernel void @flat_agent_one_as_acquire_load(
7227 ; GFX7-LABEL: flat_agent_one_as_acquire_load:
7228 ; GFX7:       ; %bb.0: ; %entry
7229 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7230 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7231 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7232 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7233 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
7234 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7235 ; GFX7-NEXT:    buffer_wbinvl1_vol
7236 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
7237 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
7238 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7239 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7240 ; GFX7-NEXT:    s_endpgm
7241 ;
7242 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_load:
7243 ; GFX10-WGP:       ; %bb.0: ; %entry
7244 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7245 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7246 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7247 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7248 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7249 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7250 ; GFX10-WGP-NEXT:    buffer_gl0_inv
7251 ; GFX10-WGP-NEXT:    buffer_gl1_inv
7252 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
7253 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
7254 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7255 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7256 ; GFX10-WGP-NEXT:    s_endpgm
7257 ;
7258 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_load:
7259 ; GFX10-CU:       ; %bb.0: ; %entry
7260 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7261 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7262 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7263 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7264 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7265 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7266 ; GFX10-CU-NEXT:    buffer_gl0_inv
7267 ; GFX10-CU-NEXT:    buffer_gl1_inv
7268 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
7269 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
7270 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7271 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7272 ; GFX10-CU-NEXT:    s_endpgm
7273 ;
7274 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_load:
7275 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7276 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7277 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7278 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7279 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7280 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
7281 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7282 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7283 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7284 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7285 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7286 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7287 ;
7288 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_load:
7289 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7290 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7291 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7292 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7293 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7294 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7295 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7296 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
7297 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7298 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7299 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7300 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7301 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7302 ;
7303 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_load:
7304 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7305 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7306 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7307 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7308 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7309 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7310 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7311 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
7312 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7313 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7314 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7315 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7316 ;
7317 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_load:
7318 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7319 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7320 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7321 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7322 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7323 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7324 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7325 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
7326 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7327 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7328 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7329 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7330 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7331 ;
7332 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_load:
7333 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7334 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7335 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7336 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7337 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7338 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7339 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7340 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
7341 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7342 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7343 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7344 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7345 ;
7346 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_load:
7347 ; GFX11-WGP:       ; %bb.0: ; %entry
7348 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7349 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7350 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7351 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
7352 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7353 ; GFX11-WGP-NEXT:    buffer_gl0_inv
7354 ; GFX11-WGP-NEXT:    buffer_gl1_inv
7355 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7356 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7357 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7358 ; GFX11-WGP-NEXT:    s_endpgm
7359 ;
7360 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_load:
7361 ; GFX11-CU:       ; %bb.0: ; %entry
7362 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7363 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7364 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7365 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
7366 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7367 ; GFX11-CU-NEXT:    buffer_gl0_inv
7368 ; GFX11-CU-NEXT:    buffer_gl1_inv
7369 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7370 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7371 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7372 ; GFX11-CU-NEXT:    s_endpgm
7373     ptr %in, ptr %out) {
7374 entry:
7375   %val = load atomic i32, ptr %in syncscope("agent-one-as") acquire, align 4
7376   store i32 %val, ptr %out
7377   ret void
7378 }
7379
7380 define amdgpu_kernel void @flat_agent_one_as_seq_cst_load(
7381 ; GFX7-LABEL: flat_agent_one_as_seq_cst_load:
7382 ; GFX7:       ; %bb.0: ; %entry
7383 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7384 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7385 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7386 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7387 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7388 ; GFX7-NEXT:    flat_load_dword v2, v[0:1] glc
7389 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7390 ; GFX7-NEXT:    buffer_wbinvl1_vol
7391 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
7392 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
7393 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7394 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7395 ; GFX7-NEXT:    s_endpgm
7396 ;
7397 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_load:
7398 ; GFX10-WGP:       ; %bb.0: ; %entry
7399 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7400 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7401 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7402 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7403 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7404 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7405 ; GFX10-WGP-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7406 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7407 ; GFX10-WGP-NEXT:    buffer_gl0_inv
7408 ; GFX10-WGP-NEXT:    buffer_gl1_inv
7409 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s2
7410 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s3
7411 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7412 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7413 ; GFX10-WGP-NEXT:    s_endpgm
7414 ;
7415 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_load:
7416 ; GFX10-CU:       ; %bb.0: ; %entry
7417 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7418 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7419 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7420 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7421 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7422 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7423 ; GFX10-CU-NEXT:    flat_load_dword v2, v[0:1] glc dlc
7424 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7425 ; GFX10-CU-NEXT:    buffer_gl0_inv
7426 ; GFX10-CU-NEXT:    buffer_gl1_inv
7427 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s2
7428 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s3
7429 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7430 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7431 ; GFX10-CU-NEXT:    s_endpgm
7432 ;
7433 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_load:
7434 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7435 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7436 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7437 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7438 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
7439 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7440 ; SKIP-CACHE-INV-NEXT:    flat_load_dword v2, v[0:1] glc
7441 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7442 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7443 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7444 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7445 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7446 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7447 ;
7448 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_load:
7449 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7450 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7451 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7452 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7453 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7454 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7455 ; GFX90A-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7456 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7457 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
7458 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7459 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7460 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7461 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7462 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7463 ;
7464 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_load:
7465 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7466 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7467 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7468 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7469 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7470 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7471 ; GFX90A-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] glc
7472 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7473 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
7474 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7475 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7476 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7477 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7478 ;
7479 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_load:
7480 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7481 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7482 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7483 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7484 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7485 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7486 ; GFX940-NOTTGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7487 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7488 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
7489 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7490 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7491 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7492 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7493 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7494 ;
7495 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_load:
7496 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7497 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
7498 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7499 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7500 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
7501 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7502 ; GFX940-TGSPLIT-NEXT:    flat_load_dword v2, v[0:1] sc1
7503 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7504 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
7505 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
7506 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s3
7507 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7508 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7509 ;
7510 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_load:
7511 ; GFX11-WGP:       ; %bb.0: ; %entry
7512 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7513 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7514 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7515 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7516 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7517 ; GFX11-WGP-NEXT:    flat_load_b32 v2, v[0:1] glc
7518 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7519 ; GFX11-WGP-NEXT:    buffer_gl0_inv
7520 ; GFX11-WGP-NEXT:    buffer_gl1_inv
7521 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7522 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7523 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7524 ; GFX11-WGP-NEXT:    s_endpgm
7525 ;
7526 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_load:
7527 ; GFX11-CU:       ; %bb.0: ; %entry
7528 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
7529 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7530 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7531 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7532 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7533 ; GFX11-CU-NEXT:    flat_load_b32 v2, v[0:1] glc
7534 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7535 ; GFX11-CU-NEXT:    buffer_gl0_inv
7536 ; GFX11-CU-NEXT:    buffer_gl1_inv
7537 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7538 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7539 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7540 ; GFX11-CU-NEXT:    s_endpgm
7541     ptr %in, ptr %out) {
7542 entry:
7543   %val = load atomic i32, ptr %in syncscope("agent-one-as") seq_cst, align 4
7544   store i32 %val, ptr %out
7545   ret void
7546 }
7547
7548 define amdgpu_kernel void @flat_agent_one_as_unordered_store(
7549 ; GFX7-LABEL: flat_agent_one_as_unordered_store:
7550 ; GFX7:       ; %bb.0: ; %entry
7551 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7552 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7553 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7554 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7555 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7556 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7557 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7558 ; GFX7-NEXT:    s_endpgm
7559 ;
7560 ; GFX10-WGP-LABEL: flat_agent_one_as_unordered_store:
7561 ; GFX10-WGP:       ; %bb.0: ; %entry
7562 ; GFX10-WGP-NEXT:    s_clause 0x1
7563 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7564 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7565 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7566 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7567 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7568 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
7569 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7570 ; GFX10-WGP-NEXT:    s_endpgm
7571 ;
7572 ; GFX10-CU-LABEL: flat_agent_one_as_unordered_store:
7573 ; GFX10-CU:       ; %bb.0: ; %entry
7574 ; GFX10-CU-NEXT:    s_clause 0x1
7575 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7576 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7577 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7578 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7580 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
7581 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7582 ; GFX10-CU-NEXT:    s_endpgm
7583 ;
7584 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_unordered_store:
7585 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7586 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
7587 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
7588 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7589 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7590 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7591 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
7592 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7593 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7594 ;
7595 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_unordered_store:
7596 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7597 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7598 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7599 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7600 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7601 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7602 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7603 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7604 ;
7605 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_unordered_store:
7606 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7607 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7608 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7609 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7610 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7611 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7612 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7613 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7614 ;
7615 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_unordered_store:
7616 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7617 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7618 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7619 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7620 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7621 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7622 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7623 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7624 ;
7625 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_unordered_store:
7626 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7627 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7628 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7629 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7630 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7631 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7632 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7633 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7634 ;
7635 ; GFX11-WGP-LABEL: flat_agent_one_as_unordered_store:
7636 ; GFX11-WGP:       ; %bb.0: ; %entry
7637 ; GFX11-WGP-NEXT:    s_clause 0x1
7638 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7639 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
7640 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7641 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7642 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
7643 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7644 ; GFX11-WGP-NEXT:    s_endpgm
7645 ;
7646 ; GFX11-CU-LABEL: flat_agent_one_as_unordered_store:
7647 ; GFX11-CU:       ; %bb.0: ; %entry
7648 ; GFX11-CU-NEXT:    s_clause 0x1
7649 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7650 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
7651 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7652 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7653 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
7654 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7655 ; GFX11-CU-NEXT:    s_endpgm
7656     i32 %in, ptr %out) {
7657 entry:
7658   store atomic i32 %in, ptr %out syncscope("agent-one-as") unordered, align 4
7659   ret void
7660 }
7661
7662 define amdgpu_kernel void @flat_agent_one_as_monotonic_store(
7663 ; GFX7-LABEL: flat_agent_one_as_monotonic_store:
7664 ; GFX7:       ; %bb.0: ; %entry
7665 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7666 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7667 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7668 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7669 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7670 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7671 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7672 ; GFX7-NEXT:    s_endpgm
7673 ;
7674 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_store:
7675 ; GFX10-WGP:       ; %bb.0: ; %entry
7676 ; GFX10-WGP-NEXT:    s_clause 0x1
7677 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7678 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7679 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7680 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7681 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7682 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
7683 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7684 ; GFX10-WGP-NEXT:    s_endpgm
7685 ;
7686 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_store:
7687 ; GFX10-CU:       ; %bb.0: ; %entry
7688 ; GFX10-CU-NEXT:    s_clause 0x1
7689 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7690 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7691 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7692 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7693 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7694 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
7695 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7696 ; GFX10-CU-NEXT:    s_endpgm
7697 ;
7698 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_store:
7699 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7700 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
7701 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
7702 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7703 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7704 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7705 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
7706 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7707 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7708 ;
7709 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_store:
7710 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7711 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7712 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7713 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7714 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7715 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7716 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7717 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7718 ;
7719 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_store:
7720 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7721 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7722 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7723 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7724 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7725 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7726 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7727 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7728 ;
7729 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_store:
7730 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7731 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7732 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7733 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7734 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7735 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7736 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7737 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7738 ;
7739 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_store:
7740 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7741 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7742 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7743 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7744 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7745 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7746 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7747 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7748 ;
7749 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_store:
7750 ; GFX11-WGP:       ; %bb.0: ; %entry
7751 ; GFX11-WGP-NEXT:    s_clause 0x1
7752 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7753 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
7754 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7755 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7756 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
7757 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7758 ; GFX11-WGP-NEXT:    s_endpgm
7759 ;
7760 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_store:
7761 ; GFX11-CU:       ; %bb.0: ; %entry
7762 ; GFX11-CU-NEXT:    s_clause 0x1
7763 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7764 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
7765 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7766 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7767 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
7768 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7769 ; GFX11-CU-NEXT:    s_endpgm
7770     i32 %in, ptr %out) {
7771 entry:
7772   store atomic i32 %in, ptr %out syncscope("agent-one-as") monotonic, align 4
7773   ret void
7774 }
7775
7776 define amdgpu_kernel void @flat_agent_one_as_release_store(
7777 ; GFX7-LABEL: flat_agent_one_as_release_store:
7778 ; GFX7:       ; %bb.0: ; %entry
7779 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7780 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7781 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7782 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7783 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7784 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7785 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7786 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7787 ; GFX7-NEXT:    s_endpgm
7788 ;
7789 ; GFX10-WGP-LABEL: flat_agent_one_as_release_store:
7790 ; GFX10-WGP:       ; %bb.0: ; %entry
7791 ; GFX10-WGP-NEXT:    s_clause 0x1
7792 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7793 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7794 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7795 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7796 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7797 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
7798 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7799 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7800 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7801 ; GFX10-WGP-NEXT:    s_endpgm
7802 ;
7803 ; GFX10-CU-LABEL: flat_agent_one_as_release_store:
7804 ; GFX10-CU:       ; %bb.0: ; %entry
7805 ; GFX10-CU-NEXT:    s_clause 0x1
7806 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7807 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7808 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7809 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7810 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7811 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
7812 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7813 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7814 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7815 ; GFX10-CU-NEXT:    s_endpgm
7816 ;
7817 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_store:
7818 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7819 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
7820 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
7821 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7822 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7823 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7824 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
7825 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7826 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7827 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7828 ;
7829 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_store:
7830 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7831 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7832 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7833 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7834 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7835 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7836 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7837 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7838 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7839 ;
7840 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_store:
7841 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7842 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7843 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7844 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7845 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7846 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7847 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7848 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7849 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7850 ;
7851 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_store:
7852 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7853 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7854 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7855 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7856 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7857 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7858 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
7859 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7860 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7861 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7862 ;
7863 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_store:
7864 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7865 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7866 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7867 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7868 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7869 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7870 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
7871 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7872 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7873 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7874 ;
7875 ; GFX11-WGP-LABEL: flat_agent_one_as_release_store:
7876 ; GFX11-WGP:       ; %bb.0: ; %entry
7877 ; GFX11-WGP-NEXT:    s_clause 0x1
7878 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7879 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
7880 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7881 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7882 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
7883 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
7884 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7885 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
7886 ; GFX11-WGP-NEXT:    s_endpgm
7887 ;
7888 ; GFX11-CU-LABEL: flat_agent_one_as_release_store:
7889 ; GFX11-CU:       ; %bb.0: ; %entry
7890 ; GFX11-CU-NEXT:    s_clause 0x1
7891 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
7892 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
7893 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7894 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7895 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
7896 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
7897 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7898 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
7899 ; GFX11-CU-NEXT:    s_endpgm
7900     i32 %in, ptr %out) {
7901 entry:
7902   store atomic i32 %in, ptr %out syncscope("agent-one-as") release, align 4
7903   ret void
7904 }
7905
7906 define amdgpu_kernel void @flat_agent_one_as_seq_cst_store(
7907 ; GFX7-LABEL: flat_agent_one_as_seq_cst_store:
7908 ; GFX7:       ; %bb.0: ; %entry
7909 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x2
7910 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x0
7911 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7912 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7913 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
7914 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
7915 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
7916 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
7917 ; GFX7-NEXT:    s_endpgm
7918 ;
7919 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_store:
7920 ; GFX10-WGP:       ; %bb.0: ; %entry
7921 ; GFX10-WGP-NEXT:    s_clause 0x1
7922 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7923 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x0
7924 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7925 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7926 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
7927 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
7928 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
7929 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
7930 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
7931 ; GFX10-WGP-NEXT:    s_endpgm
7932 ;
7933 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_store:
7934 ; GFX10-CU:       ; %bb.0: ; %entry
7935 ; GFX10-CU-NEXT:    s_clause 0x1
7936 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7937 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x0
7938 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7939 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7940 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
7941 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
7942 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
7943 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
7944 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
7945 ; GFX10-CU-NEXT:    s_endpgm
7946 ;
7947 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_store:
7948 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7949 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x2
7950 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x0
7951 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7952 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7953 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
7954 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
7955 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
7956 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
7957 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7958 ;
7959 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_store:
7960 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7961 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7962 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7963 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7964 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7965 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7966 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7967 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7968 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7969 ;
7970 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_store:
7971 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7972 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x8
7973 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
7974 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7975 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
7976 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
7977 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7978 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
7979 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7980 ;
7981 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_store:
7982 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7983 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7984 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7985 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7986 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7987 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
7988 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
7989 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
7990 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
7991 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7992 ;
7993 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_store:
7994 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7995 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x8
7996 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x0
7997 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7998 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
7999 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8000 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
8001 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8002 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
8003 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8004 ;
8005 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_store:
8006 ; GFX11-WGP:       ; %bb.0: ; %entry
8007 ; GFX11-WGP-NEXT:    s_clause 0x1
8008 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
8009 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x0
8010 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8011 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8012 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8013 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8014 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8015 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
8016 ; GFX11-WGP-NEXT:    s_endpgm
8017 ;
8018 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_store:
8019 ; GFX11-CU:       ; %bb.0: ; %entry
8020 ; GFX11-CU-NEXT:    s_clause 0x1
8021 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x8
8022 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x0
8023 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8024 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8025 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8026 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8027 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8028 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
8029 ; GFX11-CU-NEXT:    s_endpgm
8030     i32 %in, ptr %out) {
8031 entry:
8032   store atomic i32 %in, ptr %out syncscope("agent-one-as") seq_cst, align 4
8033   ret void
8034 }
8035
8036 define amdgpu_kernel void @flat_agent_one_as_monotonic_atomicrmw(
8037 ; GFX7-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8038 ; GFX7:       ; %bb.0: ; %entry
8039 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8040 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8041 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8042 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8043 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8044 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8045 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8046 ; GFX7-NEXT:    s_endpgm
8047 ;
8048 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8049 ; GFX10-WGP:       ; %bb.0: ; %entry
8050 ; GFX10-WGP-NEXT:    s_clause 0x1
8051 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8052 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8053 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8054 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8055 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8056 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8057 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
8058 ; GFX10-WGP-NEXT:    s_endpgm
8059 ;
8060 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8061 ; GFX10-CU:       ; %bb.0: ; %entry
8062 ; GFX10-CU-NEXT:    s_clause 0x1
8063 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8064 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8065 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8066 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8067 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8068 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8069 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
8070 ; GFX10-CU-NEXT:    s_endpgm
8071 ;
8072 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8073 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8074 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8075 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8076 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8077 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8078 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8079 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8080 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
8081 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8082 ;
8083 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8084 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8085 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8086 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8087 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8088 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8089 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8090 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8091 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8092 ;
8093 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8094 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8095 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8096 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8097 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8098 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8099 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8100 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8101 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8102 ;
8103 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8104 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8105 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8106 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8107 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8108 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8109 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8110 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8111 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8112 ;
8113 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8114 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8115 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8116 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8117 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8118 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8119 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8120 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8121 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8122 ;
8123 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8124 ; GFX11-WGP:       ; %bb.0: ; %entry
8125 ; GFX11-WGP-NEXT:    s_clause 0x1
8126 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8127 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8128 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8129 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8130 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8131 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8132 ; GFX11-WGP-NEXT:    s_endpgm
8133 ;
8134 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_atomicrmw:
8135 ; GFX11-CU:       ; %bb.0: ; %entry
8136 ; GFX11-CU-NEXT:    s_clause 0x1
8137 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8138 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8139 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8140 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8141 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8142 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8143 ; GFX11-CU-NEXT:    s_endpgm
8144     ptr %out, i32 %in) {
8145 entry:
8146   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") monotonic
8147   ret void
8148 }
8149
8150 define amdgpu_kernel void @flat_agent_one_as_acquire_atomicrmw(
8151 ; GFX7-LABEL: flat_agent_one_as_acquire_atomicrmw:
8152 ; GFX7:       ; %bb.0: ; %entry
8153 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8154 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8155 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8156 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8157 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8158 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8159 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8160 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8161 ; GFX7-NEXT:    buffer_wbinvl1_vol
8162 ; GFX7-NEXT:    s_endpgm
8163 ;
8164 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_atomicrmw:
8165 ; GFX10-WGP:       ; %bb.0: ; %entry
8166 ; GFX10-WGP-NEXT:    s_clause 0x1
8167 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8168 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8169 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8170 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8171 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8172 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8173 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
8174 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8175 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8176 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8177 ; GFX10-WGP-NEXT:    s_endpgm
8178 ;
8179 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_atomicrmw:
8180 ; GFX10-CU:       ; %bb.0: ; %entry
8181 ; GFX10-CU-NEXT:    s_clause 0x1
8182 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8183 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8184 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8185 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8186 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8187 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8188 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
8189 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8190 ; GFX10-CU-NEXT:    buffer_gl0_inv
8191 ; GFX10-CU-NEXT:    buffer_gl1_inv
8192 ; GFX10-CU-NEXT:    s_endpgm
8193 ;
8194 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_atomicrmw:
8195 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8196 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8197 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8198 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8199 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8200 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8201 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8202 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
8203 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8204 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8205 ;
8206 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_atomicrmw:
8207 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8208 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8209 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8210 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8211 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8212 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8213 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8214 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8215 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8216 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8217 ;
8218 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_atomicrmw:
8219 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8220 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8221 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8222 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8223 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8224 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8225 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8226 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8227 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8228 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8229 ;
8230 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_atomicrmw:
8231 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8232 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8233 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8234 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8235 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8236 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8237 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8238 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8239 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
8240 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8241 ;
8242 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_atomicrmw:
8243 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8244 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8245 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8246 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8247 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8248 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8249 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8250 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8251 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
8252 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8253 ;
8254 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_atomicrmw:
8255 ; GFX11-WGP:       ; %bb.0: ; %entry
8256 ; GFX11-WGP-NEXT:    s_clause 0x1
8257 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8258 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8259 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8260 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8261 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8262 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8263 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8264 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8265 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8266 ; GFX11-WGP-NEXT:    s_endpgm
8267 ;
8268 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_atomicrmw:
8269 ; GFX11-CU:       ; %bb.0: ; %entry
8270 ; GFX11-CU-NEXT:    s_clause 0x1
8271 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8272 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8273 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8274 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8275 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8276 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8277 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8278 ; GFX11-CU-NEXT:    buffer_gl0_inv
8279 ; GFX11-CU-NEXT:    buffer_gl1_inv
8280 ; GFX11-CU-NEXT:    s_endpgm
8281     ptr %out, i32 %in) {
8282 entry:
8283   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") acquire
8284   ret void
8285 }
8286
8287 define amdgpu_kernel void @flat_agent_one_as_release_atomicrmw(
8288 ; GFX7-LABEL: flat_agent_one_as_release_atomicrmw:
8289 ; GFX7:       ; %bb.0: ; %entry
8290 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8291 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8292 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8293 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8294 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8295 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8296 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8297 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8298 ; GFX7-NEXT:    s_endpgm
8299 ;
8300 ; GFX10-WGP-LABEL: flat_agent_one_as_release_atomicrmw:
8301 ; GFX10-WGP:       ; %bb.0: ; %entry
8302 ; GFX10-WGP-NEXT:    s_clause 0x1
8303 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8304 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8305 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8306 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8307 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8308 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8309 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8310 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8311 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
8312 ; GFX10-WGP-NEXT:    s_endpgm
8313 ;
8314 ; GFX10-CU-LABEL: flat_agent_one_as_release_atomicrmw:
8315 ; GFX10-CU:       ; %bb.0: ; %entry
8316 ; GFX10-CU-NEXT:    s_clause 0x1
8317 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8318 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8319 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8320 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8321 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8322 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8323 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8324 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8325 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
8326 ; GFX10-CU-NEXT:    s_endpgm
8327 ;
8328 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_atomicrmw:
8329 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8330 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8331 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8332 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8333 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8334 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8335 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8336 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8337 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
8338 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8339 ;
8340 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_atomicrmw:
8341 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8342 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8343 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8344 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8345 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8346 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8347 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8348 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8349 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8350 ;
8351 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_atomicrmw:
8352 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8353 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8354 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8355 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8356 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8357 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8358 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8359 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8360 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8361 ;
8362 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_atomicrmw:
8363 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8364 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8365 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8366 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8367 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8368 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8369 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
8370 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8371 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8372 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8373 ;
8374 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_atomicrmw:
8375 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8376 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8377 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8378 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8379 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8380 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8381 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
8382 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8383 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8384 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8385 ;
8386 ; GFX11-WGP-LABEL: flat_agent_one_as_release_atomicrmw:
8387 ; GFX11-WGP:       ; %bb.0: ; %entry
8388 ; GFX11-WGP-NEXT:    s_clause 0x1
8389 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8390 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8391 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8392 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8393 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8394 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8395 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8396 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8397 ; GFX11-WGP-NEXT:    s_endpgm
8398 ;
8399 ; GFX11-CU-LABEL: flat_agent_one_as_release_atomicrmw:
8400 ; GFX11-CU:       ; %bb.0: ; %entry
8401 ; GFX11-CU-NEXT:    s_clause 0x1
8402 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8403 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8404 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8405 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8406 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8407 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8408 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8409 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8410 ; GFX11-CU-NEXT:    s_endpgm
8411     ptr %out, i32 %in) {
8412 entry:
8413   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") release
8414   ret void
8415 }
8416
8417 define amdgpu_kernel void @flat_agent_one_as_acq_rel_atomicrmw(
8418 ; GFX7-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8419 ; GFX7:       ; %bb.0: ; %entry
8420 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8421 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8422 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8423 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8424 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8425 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8426 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8427 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8428 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8429 ; GFX7-NEXT:    buffer_wbinvl1_vol
8430 ; GFX7-NEXT:    s_endpgm
8431 ;
8432 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8433 ; GFX10-WGP:       ; %bb.0: ; %entry
8434 ; GFX10-WGP-NEXT:    s_clause 0x1
8435 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8436 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8437 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8438 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8439 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8440 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8441 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8442 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8443 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
8444 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8445 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8446 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8447 ; GFX10-WGP-NEXT:    s_endpgm
8448 ;
8449 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8450 ; GFX10-CU:       ; %bb.0: ; %entry
8451 ; GFX10-CU-NEXT:    s_clause 0x1
8452 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8453 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8454 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8455 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8456 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8457 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8458 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8459 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8460 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
8461 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8462 ; GFX10-CU-NEXT:    buffer_gl0_inv
8463 ; GFX10-CU-NEXT:    buffer_gl1_inv
8464 ; GFX10-CU-NEXT:    s_endpgm
8465 ;
8466 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8467 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8468 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8469 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8470 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8471 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8472 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8473 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8474 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8475 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
8476 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8477 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8478 ;
8479 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8480 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8481 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8482 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8483 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8484 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8485 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8486 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8487 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8488 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8489 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8490 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8491 ;
8492 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8493 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8494 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8495 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8496 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8497 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8498 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8499 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8500 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8501 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8502 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8503 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8504 ;
8505 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8506 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8507 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8508 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8509 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8510 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8511 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8512 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
8513 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8514 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8515 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8516 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
8517 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8518 ;
8519 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8520 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8521 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8522 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8523 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8524 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8525 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8526 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
8527 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8528 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8529 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8530 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
8531 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8532 ;
8533 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8534 ; GFX11-WGP:       ; %bb.0: ; %entry
8535 ; GFX11-WGP-NEXT:    s_clause 0x1
8536 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8537 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8538 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8539 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8540 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8541 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8542 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8543 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8544 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8545 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8546 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8547 ; GFX11-WGP-NEXT:    s_endpgm
8548 ;
8549 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_atomicrmw:
8550 ; GFX11-CU:       ; %bb.0: ; %entry
8551 ; GFX11-CU-NEXT:    s_clause 0x1
8552 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8553 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8554 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8555 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8556 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8557 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8558 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8559 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8560 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8561 ; GFX11-CU-NEXT:    buffer_gl0_inv
8562 ; GFX11-CU-NEXT:    buffer_gl1_inv
8563 ; GFX11-CU-NEXT:    s_endpgm
8564     ptr %out, i32 %in) {
8565 entry:
8566   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") acq_rel
8567   ret void
8568 }
8569
8570 define amdgpu_kernel void @flat_agent_one_as_seq_cst_atomicrmw(
8571 ; GFX7-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8572 ; GFX7:       ; %bb.0: ; %entry
8573 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8574 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8575 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8576 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8577 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8578 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8579 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8580 ; GFX7-NEXT:    flat_atomic_swap v[0:1], v2
8581 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8582 ; GFX7-NEXT:    buffer_wbinvl1_vol
8583 ; GFX7-NEXT:    s_endpgm
8584 ;
8585 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8586 ; GFX10-WGP:       ; %bb.0: ; %entry
8587 ; GFX10-WGP-NEXT:    s_clause 0x1
8588 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8589 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8590 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8591 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8592 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8593 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8594 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8595 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8596 ; GFX10-WGP-NEXT:    flat_atomic_swap v[0:1], v2
8597 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8598 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8599 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8600 ; GFX10-WGP-NEXT:    s_endpgm
8601 ;
8602 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8603 ; GFX10-CU:       ; %bb.0: ; %entry
8604 ; GFX10-CU-NEXT:    s_clause 0x1
8605 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8606 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8607 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8608 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8609 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8610 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8611 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8612 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8613 ; GFX10-CU-NEXT:    flat_atomic_swap v[0:1], v2
8614 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8615 ; GFX10-CU-NEXT:    buffer_gl0_inv
8616 ; GFX10-CU-NEXT:    buffer_gl1_inv
8617 ; GFX10-CU-NEXT:    s_endpgm
8618 ;
8619 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8620 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8621 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8622 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8623 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8624 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8625 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8626 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8627 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8628 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v[0:1], v2
8629 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8630 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8631 ;
8632 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8633 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8634 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8635 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8636 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8637 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8638 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8639 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8640 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8641 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8642 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8643 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8644 ;
8645 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8646 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8647 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8648 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8649 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8650 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8651 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8652 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8653 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8654 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8655 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8656 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8657 ;
8658 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8659 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8660 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8661 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8662 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8663 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8664 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8665 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
8666 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8667 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8668 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8669 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
8670 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8671 ;
8672 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8673 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8674 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8675 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8676 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8677 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8678 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8679 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
8680 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8681 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v[0:1], v2
8682 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8683 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
8684 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8685 ;
8686 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8687 ; GFX11-WGP:       ; %bb.0: ; %entry
8688 ; GFX11-WGP-NEXT:    s_clause 0x1
8689 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8690 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8691 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8692 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8693 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8694 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8695 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8696 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8697 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8698 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8699 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8700 ; GFX11-WGP-NEXT:    s_endpgm
8701 ;
8702 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_atomicrmw:
8703 ; GFX11-CU:       ; %bb.0: ; %entry
8704 ; GFX11-CU-NEXT:    s_clause 0x1
8705 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8706 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8707 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8708 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8709 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8710 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8711 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8712 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v[0:1], v2
8713 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8714 ; GFX11-CU-NEXT:    buffer_gl0_inv
8715 ; GFX11-CU-NEXT:    buffer_gl1_inv
8716 ; GFX11-CU-NEXT:    s_endpgm
8717     ptr %out, i32 %in) {
8718 entry:
8719   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") seq_cst
8720   ret void
8721 }
8722
8723 define amdgpu_kernel void @flat_agent_one_as_acquire_ret_atomicrmw(
8724 ; GFX7-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8725 ; GFX7:       ; %bb.0: ; %entry
8726 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8727 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8728 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8729 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8730 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8731 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8732 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8733 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8734 ; GFX7-NEXT:    buffer_wbinvl1_vol
8735 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8736 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
8737 ; GFX7-NEXT:    s_endpgm
8738 ;
8739 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8740 ; GFX10-WGP:       ; %bb.0: ; %entry
8741 ; GFX10-WGP-NEXT:    s_clause 0x1
8742 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8743 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8744 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8745 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8746 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8747 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8748 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8749 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8750 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8751 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8752 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8753 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
8754 ; GFX10-WGP-NEXT:    s_endpgm
8755 ;
8756 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8757 ; GFX10-CU:       ; %bb.0: ; %entry
8758 ; GFX10-CU-NEXT:    s_clause 0x1
8759 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8760 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8761 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8762 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8763 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8764 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8765 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8766 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8767 ; GFX10-CU-NEXT:    buffer_gl0_inv
8768 ; GFX10-CU-NEXT:    buffer_gl1_inv
8769 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8770 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
8771 ; GFX10-CU-NEXT:    s_endpgm
8772 ;
8773 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8774 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8775 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8776 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8777 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8778 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8779 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8780 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8781 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8782 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
8783 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
8784 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8785 ;
8786 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8787 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8788 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8789 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8790 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8791 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8792 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8793 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8794 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8795 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8796 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8797 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
8798 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8799 ;
8800 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8801 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8802 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8803 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8804 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8805 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8806 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8807 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8808 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8809 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8810 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
8811 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8812 ;
8813 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8814 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8815 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8816 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8817 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8818 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8819 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8820 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
8821 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8822 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
8823 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8824 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
8825 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8826 ;
8827 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8828 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8829 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8830 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8831 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8832 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8833 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8834 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
8835 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8836 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
8837 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
8838 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8839 ;
8840 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8841 ; GFX11-WGP:       ; %bb.0: ; %entry
8842 ; GFX11-WGP-NEXT:    s_clause 0x1
8843 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8844 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
8845 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8846 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8847 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
8848 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
8849 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
8850 ; GFX11-WGP-NEXT:    buffer_gl0_inv
8851 ; GFX11-WGP-NEXT:    buffer_gl1_inv
8852 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8853 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
8854 ; GFX11-WGP-NEXT:    s_endpgm
8855 ;
8856 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_ret_atomicrmw:
8857 ; GFX11-CU:       ; %bb.0: ; %entry
8858 ; GFX11-CU-NEXT:    s_clause 0x1
8859 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
8860 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
8861 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8862 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
8863 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
8864 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
8865 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
8866 ; GFX11-CU-NEXT:    buffer_gl0_inv
8867 ; GFX11-CU-NEXT:    buffer_gl1_inv
8868 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8869 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
8870 ; GFX11-CU-NEXT:    s_endpgm
8871     ptr %out, i32 %in) {
8872 entry:
8873   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") acquire
8874   store i32 %val, ptr %out, align 4
8875   ret void
8876 }
8877
8878 define amdgpu_kernel void @flat_agent_one_as_acq_rel_ret_atomicrmw(
8879 ; GFX7-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8880 ; GFX7:       ; %bb.0: ; %entry
8881 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8882 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
8883 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8884 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8885 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
8886 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
8887 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8888 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8889 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
8890 ; GFX7-NEXT:    buffer_wbinvl1_vol
8891 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8892 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
8893 ; GFX7-NEXT:    s_endpgm
8894 ;
8895 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8896 ; GFX10-WGP:       ; %bb.0: ; %entry
8897 ; GFX10-WGP-NEXT:    s_clause 0x1
8898 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8899 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
8900 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8901 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8902 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
8903 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
8904 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8905 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
8906 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8907 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
8908 ; GFX10-WGP-NEXT:    buffer_gl0_inv
8909 ; GFX10-WGP-NEXT:    buffer_gl1_inv
8910 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8911 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
8912 ; GFX10-WGP-NEXT:    s_endpgm
8913 ;
8914 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8915 ; GFX10-CU:       ; %bb.0: ; %entry
8916 ; GFX10-CU-NEXT:    s_clause 0x1
8917 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8918 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
8919 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8920 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8921 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
8922 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
8923 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8924 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
8925 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8926 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
8927 ; GFX10-CU-NEXT:    buffer_gl0_inv
8928 ; GFX10-CU-NEXT:    buffer_gl1_inv
8929 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8930 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
8931 ; GFX10-CU-NEXT:    s_endpgm
8932 ;
8933 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8934 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8935 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8936 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
8937 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8938 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8939 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
8940 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
8941 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
8942 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8943 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
8944 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
8945 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8946 ;
8947 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8948 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8949 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8950 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8951 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8952 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8953 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8954 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8955 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8956 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8957 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
8958 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8959 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
8960 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8961 ;
8962 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8963 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8964 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
8965 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8966 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8967 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
8968 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
8969 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8970 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
8971 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8972 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
8973 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
8974 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8975 ;
8976 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8977 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8978 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8979 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8980 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8981 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8982 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8983 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
8984 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8985 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
8986 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
8987 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
8988 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8989 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
8990 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8991 ;
8992 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
8993 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8994 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
8995 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
8996 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8997 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
8998 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
8999 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
9000 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9001 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
9002 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9003 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
9004 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
9005 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9006 ;
9007 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
9008 ; GFX11-WGP:       ; %bb.0: ; %entry
9009 ; GFX11-WGP-NEXT:    s_clause 0x1
9010 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
9011 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
9012 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9013 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9014 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
9015 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9016 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9017 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
9018 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9019 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9020 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9021 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9022 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
9023 ; GFX11-WGP-NEXT:    s_endpgm
9024 ;
9025 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_ret_atomicrmw:
9026 ; GFX11-CU:       ; %bb.0: ; %entry
9027 ; GFX11-CU-NEXT:    s_clause 0x1
9028 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
9029 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
9030 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9031 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9032 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
9033 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9034 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9035 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
9036 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9037 ; GFX11-CU-NEXT:    buffer_gl0_inv
9038 ; GFX11-CU-NEXT:    buffer_gl1_inv
9039 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9040 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
9041 ; GFX11-CU-NEXT:    s_endpgm
9042     ptr %out, i32 %in) {
9043 entry:
9044   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") acq_rel
9045   store i32 %val, ptr %out, align 4
9046   ret void
9047 }
9048
9049 define amdgpu_kernel void @flat_agent_one_as_seq_cst_ret_atomicrmw(
9050 ; GFX7-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9051 ; GFX7:       ; %bb.0: ; %entry
9052 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
9053 ; GFX7-NEXT:    s_load_dword s2, s[4:5], 0x2
9054 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9055 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9056 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9057 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9058 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9059 ; GFX7-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9060 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9061 ; GFX7-NEXT:    buffer_wbinvl1_vol
9062 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9063 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
9064 ; GFX7-NEXT:    s_endpgm
9065 ;
9066 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9067 ; GFX10-WGP:       ; %bb.0: ; %entry
9068 ; GFX10-WGP-NEXT:    s_clause 0x1
9069 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
9070 ; GFX10-WGP-NEXT:    s_load_dword s2, s[4:5], 0x8
9071 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9072 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9073 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9074 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9075 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9076 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9077 ; GFX10-WGP-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9078 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9079 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9080 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9081 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9082 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
9083 ; GFX10-WGP-NEXT:    s_endpgm
9084 ;
9085 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9086 ; GFX10-CU:       ; %bb.0: ; %entry
9087 ; GFX10-CU-NEXT:    s_clause 0x1
9088 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
9089 ; GFX10-CU-NEXT:    s_load_dword s2, s[4:5], 0x8
9090 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9091 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9092 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9093 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9094 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9095 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9096 ; GFX10-CU-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9097 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9098 ; GFX10-CU-NEXT:    buffer_gl0_inv
9099 ; GFX10-CU-NEXT:    buffer_gl1_inv
9100 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9101 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
9102 ; GFX10-CU-NEXT:    s_endpgm
9103 ;
9104 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9105 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9106 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
9107 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0x2
9108 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9109 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
9110 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s3
9111 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
9112 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9113 ; SKIP-CACHE-INV-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9114 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
9115 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
9116 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9117 ;
9118 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9119 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9120 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
9121 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
9122 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9123 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9124 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
9125 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9126 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9127 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9128 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9129 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9130 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
9131 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9132 ;
9133 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9134 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9135 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
9136 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
9137 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9138 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9139 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s2
9140 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9141 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 glc
9142 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9143 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9144 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
9145 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9146 ;
9147 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9148 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9149 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
9150 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
9151 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9152 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9153 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
9154 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
9155 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9156 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
9157 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9158 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
9159 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9160 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
9161 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9162 ;
9163 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9164 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9165 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x0
9166 ; GFX940-TGSPLIT-NEXT:    s_load_dword s4, s[0:1], 0x8
9167 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9168 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[2:3]
9169 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
9170 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
9171 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9172 ; GFX940-TGSPLIT-NEXT:    flat_atomic_swap v2, v[0:1], v2 sc0
9173 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9174 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
9175 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
9176 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9177 ;
9178 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9179 ; GFX11-WGP:       ; %bb.0: ; %entry
9180 ; GFX11-WGP-NEXT:    s_clause 0x1
9181 ; GFX11-WGP-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
9182 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[0:1], 0x8
9183 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9184 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9185 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
9186 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9187 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9188 ; GFX11-WGP-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
9189 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9190 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9191 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9192 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9193 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
9194 ; GFX11-WGP-NEXT:    s_endpgm
9195 ;
9196 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_ret_atomicrmw:
9197 ; GFX11-CU:       ; %bb.0: ; %entry
9198 ; GFX11-CU-NEXT:    s_clause 0x1
9199 ; GFX11-CU-NEXT:    s_load_b64 s[2:3], s[0:1], 0x0
9200 ; GFX11-CU-NEXT:    s_load_b32 s0, s[0:1], 0x8
9201 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9202 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
9203 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
9204 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9205 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9206 ; GFX11-CU-NEXT:    flat_atomic_swap_b32 v2, v[0:1], v2 glc
9207 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9208 ; GFX11-CU-NEXT:    buffer_gl0_inv
9209 ; GFX11-CU-NEXT:    buffer_gl1_inv
9210 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9211 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
9212 ; GFX11-CU-NEXT:    s_endpgm
9213     ptr %out, i32 %in) {
9214 entry:
9215   %val = atomicrmw volatile xchg ptr %out, i32 %in syncscope("agent-one-as") seq_cst
9216   store i32 %val, ptr %out, align 4
9217   ret void
9218 }
9219
9220 define amdgpu_kernel void @flat_agent_one_as_monotonic_monotonic_cmpxchg(
9221 ; GFX7-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9222 ; GFX7:       ; %bb.0: ; %entry
9223 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9224 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9225 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9226 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9227 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9228 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9229 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9230 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9231 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9232 ; GFX7-NEXT:    s_endpgm
9233 ;
9234 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9235 ; GFX10-WGP:       ; %bb.0: ; %entry
9236 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9237 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9238 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9239 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9240 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9241 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9242 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9243 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9244 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9245 ; GFX10-WGP-NEXT:    s_endpgm
9246 ;
9247 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9248 ; GFX10-CU:       ; %bb.0: ; %entry
9249 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9250 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9251 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9252 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9253 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9254 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9255 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9256 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9257 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9258 ; GFX10-CU-NEXT:    s_endpgm
9259 ;
9260 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9261 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9262 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9263 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9264 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9265 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9266 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9267 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9268 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9269 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9270 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9271 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9272 ;
9273 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9274 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9275 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9276 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9277 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9278 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9279 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9280 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9281 ;
9282 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9283 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9284 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9285 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9286 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9287 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9288 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9289 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9290 ;
9291 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9292 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9293 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9294 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9295 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9296 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9297 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9298 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9299 ;
9300 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9301 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9302 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9303 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9304 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9305 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9306 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9307 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9308 ;
9309 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9310 ; GFX11-WGP:       ; %bb.0: ; %entry
9311 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9312 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9313 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9314 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9315 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9316 ; GFX11-WGP-NEXT:    s_endpgm
9317 ;
9318 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_monotonic_cmpxchg:
9319 ; GFX11-CU:       ; %bb.0: ; %entry
9320 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9321 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9322 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9323 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9324 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9325 ; GFX11-CU-NEXT:    s_endpgm
9326     ptr %out, i32 %in, i32 %old) {
9327 entry:
9328   %gep = getelementptr i32, ptr %out, i32 4
9329   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic monotonic
9330   ret void
9331 }
9332
9333 define amdgpu_kernel void @flat_agent_one_as_acquire_monotonic_cmpxchg(
9334 ; GFX7-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9335 ; GFX7:       ; %bb.0: ; %entry
9336 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9337 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9338 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9339 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9340 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9341 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9342 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9343 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9344 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9345 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9346 ; GFX7-NEXT:    buffer_wbinvl1_vol
9347 ; GFX7-NEXT:    s_endpgm
9348 ;
9349 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9350 ; GFX10-WGP:       ; %bb.0: ; %entry
9351 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9352 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9353 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9354 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9355 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9356 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9357 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9358 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9359 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9360 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9361 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9362 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9363 ; GFX10-WGP-NEXT:    s_endpgm
9364 ;
9365 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9366 ; GFX10-CU:       ; %bb.0: ; %entry
9367 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9368 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9369 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9370 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9371 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9372 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9373 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9374 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9375 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9376 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9377 ; GFX10-CU-NEXT:    buffer_gl0_inv
9378 ; GFX10-CU-NEXT:    buffer_gl1_inv
9379 ; GFX10-CU-NEXT:    s_endpgm
9380 ;
9381 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9382 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9383 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9384 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9385 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9386 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9387 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9388 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9389 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9390 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9391 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9392 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9393 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9394 ;
9395 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9396 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9397 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9398 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9399 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9400 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9401 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9402 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9403 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9404 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9405 ;
9406 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9407 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9408 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9409 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9410 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9411 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9412 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9413 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9414 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9415 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9416 ;
9417 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9418 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9419 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9420 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9421 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9422 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9423 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9424 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9425 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
9426 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9427 ;
9428 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9429 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9430 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9431 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9432 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9433 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9434 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9435 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9436 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
9437 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9438 ;
9439 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9440 ; GFX11-WGP:       ; %bb.0: ; %entry
9441 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9442 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9443 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9444 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9445 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9446 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9447 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9448 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9449 ; GFX11-WGP-NEXT:    s_endpgm
9450 ;
9451 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_monotonic_cmpxchg:
9452 ; GFX11-CU:       ; %bb.0: ; %entry
9453 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9454 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9455 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9456 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9457 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9458 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9459 ; GFX11-CU-NEXT:    buffer_gl0_inv
9460 ; GFX11-CU-NEXT:    buffer_gl1_inv
9461 ; GFX11-CU-NEXT:    s_endpgm
9462     ptr %out, i32 %in, i32 %old) {
9463 entry:
9464   %gep = getelementptr i32, ptr %out, i32 4
9465   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire monotonic
9466   ret void
9467 }
9468
9469 define amdgpu_kernel void @flat_agent_one_as_release_monotonic_cmpxchg(
9470 ; GFX7-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9471 ; GFX7:       ; %bb.0: ; %entry
9472 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9473 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9474 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9475 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9476 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9477 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9478 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9479 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9480 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9481 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9482 ; GFX7-NEXT:    s_endpgm
9483 ;
9484 ; GFX10-WGP-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9485 ; GFX10-WGP:       ; %bb.0: ; %entry
9486 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9487 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9488 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9489 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9490 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9491 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9492 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9493 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9494 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9495 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9496 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9497 ; GFX10-WGP-NEXT:    s_endpgm
9498 ;
9499 ; GFX10-CU-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9500 ; GFX10-CU:       ; %bb.0: ; %entry
9501 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9502 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9503 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9504 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9505 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9506 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9507 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9508 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9509 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9510 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9511 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9512 ; GFX10-CU-NEXT:    s_endpgm
9513 ;
9514 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9515 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9516 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9517 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9518 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9519 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9520 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9521 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9522 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9523 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9524 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9525 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9526 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9527 ;
9528 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9529 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9530 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9531 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9532 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9533 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9534 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9535 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9536 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9537 ;
9538 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9539 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9540 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9541 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9542 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9543 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9544 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9545 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9546 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9547 ;
9548 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9549 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9550 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9551 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9552 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9553 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9554 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
9555 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9556 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9557 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9558 ;
9559 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9560 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9561 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9562 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9563 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9564 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9565 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
9566 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9567 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9568 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9569 ;
9570 ; GFX11-WGP-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9571 ; GFX11-WGP:       ; %bb.0: ; %entry
9572 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9573 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9574 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9575 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9576 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9577 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9578 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9579 ; GFX11-WGP-NEXT:    s_endpgm
9580 ;
9581 ; GFX11-CU-LABEL: flat_agent_one_as_release_monotonic_cmpxchg:
9582 ; GFX11-CU:       ; %bb.0: ; %entry
9583 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9584 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9585 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9586 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9587 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9588 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9589 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9590 ; GFX11-CU-NEXT:    s_endpgm
9591     ptr %out, i32 %in, i32 %old) {
9592 entry:
9593   %gep = getelementptr i32, ptr %out, i32 4
9594   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release monotonic
9595   ret void
9596 }
9597
9598 define amdgpu_kernel void @flat_agent_one_as_acq_rel_monotonic_cmpxchg(
9599 ; GFX7-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9600 ; GFX7:       ; %bb.0: ; %entry
9601 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9602 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9603 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9604 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9605 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9606 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9607 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9608 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9609 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9610 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9611 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9612 ; GFX7-NEXT:    buffer_wbinvl1_vol
9613 ; GFX7-NEXT:    s_endpgm
9614 ;
9615 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9616 ; GFX10-WGP:       ; %bb.0: ; %entry
9617 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9618 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9619 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9620 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9621 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9622 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9623 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9624 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9625 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9626 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9627 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9628 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9629 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9630 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9631 ; GFX10-WGP-NEXT:    s_endpgm
9632 ;
9633 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9634 ; GFX10-CU:       ; %bb.0: ; %entry
9635 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9636 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9637 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9638 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9639 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9640 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9641 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9642 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9643 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9644 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9645 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9646 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9647 ; GFX10-CU-NEXT:    buffer_gl0_inv
9648 ; GFX10-CU-NEXT:    buffer_gl1_inv
9649 ; GFX10-CU-NEXT:    s_endpgm
9650 ;
9651 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9652 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9653 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9654 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9655 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9656 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9657 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9658 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9659 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9660 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9661 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9662 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9663 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9664 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9665 ;
9666 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9667 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9668 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9669 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9670 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9671 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9672 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9673 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9674 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9675 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9676 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9677 ;
9678 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9679 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9680 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9681 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9682 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9683 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9684 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9685 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9686 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9687 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9688 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9689 ;
9690 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9691 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9692 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9693 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9694 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9695 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9696 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
9697 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9698 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9699 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9700 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
9701 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9702 ;
9703 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9704 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9705 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9706 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9707 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9708 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9709 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
9710 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9711 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9712 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9713 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
9714 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9715 ;
9716 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9717 ; GFX11-WGP:       ; %bb.0: ; %entry
9718 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9719 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9720 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9721 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9722 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9723 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9724 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9725 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9726 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9727 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9728 ; GFX11-WGP-NEXT:    s_endpgm
9729 ;
9730 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_monotonic_cmpxchg:
9731 ; GFX11-CU:       ; %bb.0: ; %entry
9732 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9733 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9734 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9735 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9736 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9737 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9738 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9739 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9740 ; GFX11-CU-NEXT:    buffer_gl0_inv
9741 ; GFX11-CU-NEXT:    buffer_gl1_inv
9742 ; GFX11-CU-NEXT:    s_endpgm
9743     ptr %out, i32 %in, i32 %old) {
9744 entry:
9745   %gep = getelementptr i32, ptr %out, i32 4
9746   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel monotonic
9747   ret void
9748 }
9749
9750 define amdgpu_kernel void @flat_agent_one_as_seq_cst_monotonic_cmpxchg(
9751 ; GFX7-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9752 ; GFX7:       ; %bb.0: ; %entry
9753 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9754 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9755 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9756 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9757 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9758 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9759 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9760 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9761 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9762 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9763 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9764 ; GFX7-NEXT:    buffer_wbinvl1_vol
9765 ; GFX7-NEXT:    s_endpgm
9766 ;
9767 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9768 ; GFX10-WGP:       ; %bb.0: ; %entry
9769 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9770 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9771 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9772 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9773 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9774 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9775 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9776 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9777 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
9778 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9779 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9780 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9781 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9782 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9783 ; GFX10-WGP-NEXT:    s_endpgm
9784 ;
9785 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9786 ; GFX10-CU:       ; %bb.0: ; %entry
9787 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9788 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9789 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9790 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9791 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9792 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9793 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9794 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9795 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
9796 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9797 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9798 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9799 ; GFX10-CU-NEXT:    buffer_gl0_inv
9800 ; GFX10-CU-NEXT:    buffer_gl1_inv
9801 ; GFX10-CU-NEXT:    s_endpgm
9802 ;
9803 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9804 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9805 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9806 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9807 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9808 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9809 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9810 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9811 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9812 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9813 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9814 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9815 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9816 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9817 ;
9818 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9819 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9820 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9821 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9822 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9823 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9824 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9825 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9826 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9827 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9828 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9829 ;
9830 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9831 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9832 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9833 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9834 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9835 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9836 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9837 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9838 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9839 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9840 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9841 ;
9842 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9843 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9844 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9845 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9846 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9847 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9848 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
9849 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9850 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9851 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9852 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
9853 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9854 ;
9855 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9856 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9857 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9858 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9859 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9860 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9861 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
9862 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9863 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9864 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9865 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
9866 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9867 ;
9868 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9869 ; GFX11-WGP:       ; %bb.0: ; %entry
9870 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9871 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9872 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9873 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9874 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
9875 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9876 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9877 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9878 ; GFX11-WGP-NEXT:    buffer_gl0_inv
9879 ; GFX11-WGP-NEXT:    buffer_gl1_inv
9880 ; GFX11-WGP-NEXT:    s_endpgm
9881 ;
9882 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_monotonic_cmpxchg:
9883 ; GFX11-CU:       ; %bb.0: ; %entry
9884 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
9885 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9886 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
9887 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
9888 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
9889 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9890 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
9891 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9892 ; GFX11-CU-NEXT:    buffer_gl0_inv
9893 ; GFX11-CU-NEXT:    buffer_gl1_inv
9894 ; GFX11-CU-NEXT:    s_endpgm
9895     ptr %out, i32 %in, i32 %old) {
9896 entry:
9897   %gep = getelementptr i32, ptr %out, i32 4
9898   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst monotonic
9899   ret void
9900 }
9901
9902 define amdgpu_kernel void @flat_agent_one_as_monotonic_acquire_cmpxchg(
9903 ; GFX7-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9904 ; GFX7:       ; %bb.0: ; %entry
9905 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9906 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9907 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
9908 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
9909 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
9910 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
9911 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
9912 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
9913 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9914 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
9915 ; GFX7-NEXT:    buffer_wbinvl1_vol
9916 ; GFX7-NEXT:    s_endpgm
9917 ;
9918 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9919 ; GFX10-WGP:       ; %bb.0: ; %entry
9920 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9921 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9922 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
9923 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
9924 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
9925 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
9926 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
9927 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
9928 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9929 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
9930 ; GFX10-WGP-NEXT:    buffer_gl0_inv
9931 ; GFX10-WGP-NEXT:    buffer_gl1_inv
9932 ; GFX10-WGP-NEXT:    s_endpgm
9933 ;
9934 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9935 ; GFX10-CU:       ; %bb.0: ; %entry
9936 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9937 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9938 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
9939 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
9940 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
9941 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
9942 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
9943 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
9944 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9945 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
9946 ; GFX10-CU-NEXT:    buffer_gl0_inv
9947 ; GFX10-CU-NEXT:    buffer_gl1_inv
9948 ; GFX10-CU-NEXT:    s_endpgm
9949 ;
9950 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9951 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9952 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9953 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9954 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
9955 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
9956 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
9957 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
9958 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
9959 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
9960 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
9961 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
9962 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9963 ;
9964 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9965 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9966 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9967 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9968 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9969 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9970 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9971 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9972 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
9973 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9974 ;
9975 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9976 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9977 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
9978 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9979 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
9980 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
9981 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9982 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9983 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
9984 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9985 ;
9986 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9987 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9988 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
9989 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9990 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
9991 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
9992 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
9993 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
9994 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
9995 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9996 ;
9997 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
9998 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9999 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10000 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10001 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10002 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10003 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10004 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10005 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10006 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10007 ;
10008 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
10009 ; GFX11-WGP:       ; %bb.0: ; %entry
10010 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10011 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10012 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10013 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10014 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10015 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10016 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10017 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10018 ; GFX11-WGP-NEXT:    s_endpgm
10019 ;
10020 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_acquire_cmpxchg:
10021 ; GFX11-CU:       ; %bb.0: ; %entry
10022 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10023 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10024 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10025 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10026 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10027 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10028 ; GFX11-CU-NEXT:    buffer_gl0_inv
10029 ; GFX11-CU-NEXT:    buffer_gl1_inv
10030 ; GFX11-CU-NEXT:    s_endpgm
10031     ptr %out, i32 %in, i32 %old) {
10032 entry:
10033   %gep = getelementptr i32, ptr %out, i32 4
10034   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic acquire
10035   ret void
10036 }
10037
10038 define amdgpu_kernel void @flat_agent_one_as_acquire_acquire_cmpxchg(
10039 ; GFX7-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10040 ; GFX7:       ; %bb.0: ; %entry
10041 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10042 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10043 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10044 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10045 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10046 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10047 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10048 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10049 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10050 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10051 ; GFX7-NEXT:    buffer_wbinvl1_vol
10052 ; GFX7-NEXT:    s_endpgm
10053 ;
10054 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10055 ; GFX10-WGP:       ; %bb.0: ; %entry
10056 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10057 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10058 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10059 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10060 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10061 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10062 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10063 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10064 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10065 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10066 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10067 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10068 ; GFX10-WGP-NEXT:    s_endpgm
10069 ;
10070 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10071 ; GFX10-CU:       ; %bb.0: ; %entry
10072 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10073 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10074 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10075 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10076 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10077 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10078 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10079 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10080 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10081 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10082 ; GFX10-CU-NEXT:    buffer_gl0_inv
10083 ; GFX10-CU-NEXT:    buffer_gl1_inv
10084 ; GFX10-CU-NEXT:    s_endpgm
10085 ;
10086 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10087 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10088 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10089 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10090 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10091 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10092 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10093 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10094 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10095 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10096 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10097 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10098 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10099 ;
10100 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10101 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10102 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10103 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10104 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10105 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10106 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10107 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10108 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10109 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10110 ;
10111 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10112 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10113 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10114 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10115 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10116 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10117 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10118 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10119 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10120 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10121 ;
10122 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10123 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10124 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10125 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10126 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10127 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10128 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10129 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10130 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10131 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10132 ;
10133 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10134 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10135 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10136 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10137 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10138 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10139 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10140 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10141 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10142 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10143 ;
10144 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10145 ; GFX11-WGP:       ; %bb.0: ; %entry
10146 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10147 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10148 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10149 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10150 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10151 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10152 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10153 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10154 ; GFX11-WGP-NEXT:    s_endpgm
10155 ;
10156 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_acquire_cmpxchg:
10157 ; GFX11-CU:       ; %bb.0: ; %entry
10158 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10159 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10160 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10161 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10162 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10163 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10164 ; GFX11-CU-NEXT:    buffer_gl0_inv
10165 ; GFX11-CU-NEXT:    buffer_gl1_inv
10166 ; GFX11-CU-NEXT:    s_endpgm
10167     ptr %out, i32 %in, i32 %old) {
10168 entry:
10169   %gep = getelementptr i32, ptr %out, i32 4
10170   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire acquire
10171   ret void
10172 }
10173
10174 define amdgpu_kernel void @flat_agent_one_as_release_acquire_cmpxchg(
10175 ; GFX7-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10176 ; GFX7:       ; %bb.0: ; %entry
10177 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10178 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10179 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10180 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10181 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10182 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10183 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10184 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10185 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10186 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10187 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10188 ; GFX7-NEXT:    buffer_wbinvl1_vol
10189 ; GFX7-NEXT:    s_endpgm
10190 ;
10191 ; GFX10-WGP-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10192 ; GFX10-WGP:       ; %bb.0: ; %entry
10193 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10194 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10195 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10196 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10197 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10198 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10199 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10200 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10201 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10202 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10203 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10204 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10205 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10206 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10207 ; GFX10-WGP-NEXT:    s_endpgm
10208 ;
10209 ; GFX10-CU-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10210 ; GFX10-CU:       ; %bb.0: ; %entry
10211 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10212 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10213 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10214 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10215 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10216 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10217 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10218 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10219 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10220 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10221 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10222 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10223 ; GFX10-CU-NEXT:    buffer_gl0_inv
10224 ; GFX10-CU-NEXT:    buffer_gl1_inv
10225 ; GFX10-CU-NEXT:    s_endpgm
10226 ;
10227 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10228 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10229 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10230 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10231 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10232 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10233 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10234 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10235 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10236 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10237 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10238 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10239 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10240 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10241 ;
10242 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10243 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10244 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10245 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10246 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10247 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10248 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10249 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10250 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10251 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10252 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10253 ;
10254 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10255 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10256 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10257 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10258 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10259 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10260 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10261 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10262 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10263 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10264 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10265 ;
10266 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10267 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10268 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10269 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10270 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10271 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10272 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
10273 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10274 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10275 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10276 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10277 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10278 ;
10279 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10280 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10281 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10282 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10283 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10284 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10285 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
10286 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10287 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10288 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10289 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10290 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10291 ;
10292 ; GFX11-WGP-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10293 ; GFX11-WGP:       ; %bb.0: ; %entry
10294 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10295 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10296 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10297 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10298 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10299 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10300 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10301 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10302 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10303 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10304 ; GFX11-WGP-NEXT:    s_endpgm
10305 ;
10306 ; GFX11-CU-LABEL: flat_agent_one_as_release_acquire_cmpxchg:
10307 ; GFX11-CU:       ; %bb.0: ; %entry
10308 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10309 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10310 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10311 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10312 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10313 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10314 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10315 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10316 ; GFX11-CU-NEXT:    buffer_gl0_inv
10317 ; GFX11-CU-NEXT:    buffer_gl1_inv
10318 ; GFX11-CU-NEXT:    s_endpgm
10319     ptr %out, i32 %in, i32 %old) {
10320 entry:
10321   %gep = getelementptr i32, ptr %out, i32 4
10322   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release acquire
10323   ret void
10324 }
10325
10326 define amdgpu_kernel void @flat_agent_one_as_acq_rel_acquire_cmpxchg(
10327 ; GFX7-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10328 ; GFX7:       ; %bb.0: ; %entry
10329 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10330 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10331 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10332 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10333 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10334 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10335 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10336 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10337 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10338 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10339 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10340 ; GFX7-NEXT:    buffer_wbinvl1_vol
10341 ; GFX7-NEXT:    s_endpgm
10342 ;
10343 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10344 ; GFX10-WGP:       ; %bb.0: ; %entry
10345 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10346 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10347 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10348 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10349 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10350 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10351 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10352 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10353 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10354 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10355 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10356 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10357 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10358 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10359 ; GFX10-WGP-NEXT:    s_endpgm
10360 ;
10361 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10362 ; GFX10-CU:       ; %bb.0: ; %entry
10363 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10364 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10365 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10366 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10367 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10368 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10369 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10370 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10371 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10372 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10373 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10374 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10375 ; GFX10-CU-NEXT:    buffer_gl0_inv
10376 ; GFX10-CU-NEXT:    buffer_gl1_inv
10377 ; GFX10-CU-NEXT:    s_endpgm
10378 ;
10379 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10380 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10381 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10382 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10383 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10384 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10385 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10386 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10387 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10388 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10389 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10390 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10391 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10392 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10393 ;
10394 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10395 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10396 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10397 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10398 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10399 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10400 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10401 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10402 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10403 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10404 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10405 ;
10406 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10407 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10408 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10409 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10410 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10411 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10412 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10413 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10414 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10415 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10416 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10417 ;
10418 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10419 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10420 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10421 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10422 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10423 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10424 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
10425 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10426 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10427 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10428 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10429 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10430 ;
10431 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10432 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10433 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10434 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10435 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10436 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10437 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
10438 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10439 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10440 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10441 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10442 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10443 ;
10444 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10445 ; GFX11-WGP:       ; %bb.0: ; %entry
10446 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10447 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10448 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10449 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10450 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10451 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10452 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10453 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10454 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10455 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10456 ; GFX11-WGP-NEXT:    s_endpgm
10457 ;
10458 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_acquire_cmpxchg:
10459 ; GFX11-CU:       ; %bb.0: ; %entry
10460 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10461 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10462 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10463 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10464 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10465 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10466 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10467 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10468 ; GFX11-CU-NEXT:    buffer_gl0_inv
10469 ; GFX11-CU-NEXT:    buffer_gl1_inv
10470 ; GFX11-CU-NEXT:    s_endpgm
10471     ptr %out, i32 %in, i32 %old) {
10472 entry:
10473   %gep = getelementptr i32, ptr %out, i32 4
10474   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel acquire
10475   ret void
10476 }
10477
10478 define amdgpu_kernel void @flat_agent_one_as_seq_cst_acquire_cmpxchg(
10479 ; GFX7-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10480 ; GFX7:       ; %bb.0: ; %entry
10481 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10482 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10483 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10484 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10485 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10486 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10487 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10488 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10489 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10490 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10491 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10492 ; GFX7-NEXT:    buffer_wbinvl1_vol
10493 ; GFX7-NEXT:    s_endpgm
10494 ;
10495 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10496 ; GFX10-WGP:       ; %bb.0: ; %entry
10497 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10498 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10499 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10500 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10501 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10502 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10503 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10504 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10505 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10506 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10507 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10508 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10509 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10510 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10511 ; GFX10-WGP-NEXT:    s_endpgm
10512 ;
10513 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10514 ; GFX10-CU:       ; %bb.0: ; %entry
10515 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10516 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10517 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10518 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10519 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10520 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10521 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10522 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10523 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10524 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10525 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10526 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10527 ; GFX10-CU-NEXT:    buffer_gl0_inv
10528 ; GFX10-CU-NEXT:    buffer_gl1_inv
10529 ; GFX10-CU-NEXT:    s_endpgm
10530 ;
10531 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10532 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10533 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10534 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10535 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10536 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10537 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10538 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10539 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10540 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10541 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10542 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10543 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10544 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10545 ;
10546 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10547 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10548 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10549 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10550 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10551 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10552 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10553 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10554 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10555 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10556 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10557 ;
10558 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10559 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10560 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10561 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10562 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10563 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10564 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10565 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10566 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10567 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10568 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10569 ;
10570 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10571 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10572 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10573 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10574 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10575 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10576 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
10577 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10578 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10579 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10580 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10581 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10582 ;
10583 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10584 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10585 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10586 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10587 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10588 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10589 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
10590 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10591 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10592 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10593 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10594 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10595 ;
10596 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10597 ; GFX11-WGP:       ; %bb.0: ; %entry
10598 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10599 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10600 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10601 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10602 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10603 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10604 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10605 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10606 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10607 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10608 ; GFX11-WGP-NEXT:    s_endpgm
10609 ;
10610 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_acquire_cmpxchg:
10611 ; GFX11-CU:       ; %bb.0: ; %entry
10612 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10613 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10614 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10615 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10616 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10617 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10618 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10619 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10620 ; GFX11-CU-NEXT:    buffer_gl0_inv
10621 ; GFX11-CU-NEXT:    buffer_gl1_inv
10622 ; GFX11-CU-NEXT:    s_endpgm
10623     ptr %out, i32 %in, i32 %old) {
10624 entry:
10625   %gep = getelementptr i32, ptr %out, i32 4
10626   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst acquire
10627   ret void
10628 }
10629
10630 define amdgpu_kernel void @flat_agent_one_as_monotonic_seq_cst_cmpxchg(
10631 ; GFX7-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10632 ; GFX7:       ; %bb.0: ; %entry
10633 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10634 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10635 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10636 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10637 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10638 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10639 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10640 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10641 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10642 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10643 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10644 ; GFX7-NEXT:    buffer_wbinvl1_vol
10645 ; GFX7-NEXT:    s_endpgm
10646 ;
10647 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10648 ; GFX10-WGP:       ; %bb.0: ; %entry
10649 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10650 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10651 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10652 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10654 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10655 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10656 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10657 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10658 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10659 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10660 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10661 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10662 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10663 ; GFX10-WGP-NEXT:    s_endpgm
10664 ;
10665 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10666 ; GFX10-CU:       ; %bb.0: ; %entry
10667 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10668 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10669 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10670 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10671 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10672 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10673 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10674 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10675 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10676 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10677 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10678 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10679 ; GFX10-CU-NEXT:    buffer_gl0_inv
10680 ; GFX10-CU-NEXT:    buffer_gl1_inv
10681 ; GFX10-CU-NEXT:    s_endpgm
10682 ;
10683 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10684 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10685 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10686 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10687 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10688 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10689 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10690 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10691 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10692 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10693 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10694 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10695 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10696 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10697 ;
10698 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10699 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10700 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10701 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10702 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10703 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10704 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10705 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10706 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10707 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10708 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10709 ;
10710 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10711 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10712 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10713 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10714 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10715 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10716 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10717 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10718 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10719 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10720 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10721 ;
10722 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10723 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10724 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10725 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10726 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10727 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10728 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
10729 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10730 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10731 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10732 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10733 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10734 ;
10735 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10736 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10737 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10738 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10739 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10740 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10741 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
10742 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10743 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10744 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10745 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10746 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10747 ;
10748 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10749 ; GFX11-WGP:       ; %bb.0: ; %entry
10750 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10751 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10752 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10753 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10754 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10755 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10756 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10757 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10758 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10759 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10760 ; GFX11-WGP-NEXT:    s_endpgm
10761 ;
10762 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_seq_cst_cmpxchg:
10763 ; GFX11-CU:       ; %bb.0: ; %entry
10764 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10765 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10766 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10767 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10768 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10769 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10770 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10771 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10772 ; GFX11-CU-NEXT:    buffer_gl0_inv
10773 ; GFX11-CU-NEXT:    buffer_gl1_inv
10774 ; GFX11-CU-NEXT:    s_endpgm
10775     ptr %out, i32 %in, i32 %old) {
10776 entry:
10777   %gep = getelementptr i32, ptr %out, i32 4
10778   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic seq_cst
10779   ret void
10780 }
10781
10782 define amdgpu_kernel void @flat_agent_one_as_acquire_seq_cst_cmpxchg(
10783 ; GFX7-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10784 ; GFX7:       ; %bb.0: ; %entry
10785 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10786 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10787 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10788 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10789 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10790 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10791 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10792 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10793 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10794 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10795 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10796 ; GFX7-NEXT:    buffer_wbinvl1_vol
10797 ; GFX7-NEXT:    s_endpgm
10798 ;
10799 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10800 ; GFX10-WGP:       ; %bb.0: ; %entry
10801 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10802 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10803 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10804 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10805 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10806 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10807 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10808 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10809 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10810 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10811 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10812 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10813 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10814 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10815 ; GFX10-WGP-NEXT:    s_endpgm
10816 ;
10817 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10818 ; GFX10-CU:       ; %bb.0: ; %entry
10819 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10820 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10821 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10822 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10823 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10824 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10825 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10826 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10827 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10828 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10829 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10830 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10831 ; GFX10-CU-NEXT:    buffer_gl0_inv
10832 ; GFX10-CU-NEXT:    buffer_gl1_inv
10833 ; GFX10-CU-NEXT:    s_endpgm
10834 ;
10835 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10836 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10837 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10838 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10839 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10840 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10841 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10842 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10843 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10844 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10845 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10846 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10847 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10848 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10849 ;
10850 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10851 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10852 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10853 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10854 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10855 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10856 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10857 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10858 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10859 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
10860 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10861 ;
10862 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10863 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10864 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10865 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10866 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
10867 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
10868 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10869 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10870 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10871 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
10872 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10873 ;
10874 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10875 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10876 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10877 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10878 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10879 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10880 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
10881 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10882 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10883 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10884 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
10885 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10886 ;
10887 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10888 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10889 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10890 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10891 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
10892 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
10893 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
10894 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10895 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
10896 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
10897 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
10898 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10899 ;
10900 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10901 ; GFX11-WGP:       ; %bb.0: ; %entry
10902 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10903 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10904 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10905 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10906 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
10907 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10908 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10909 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10910 ; GFX11-WGP-NEXT:    buffer_gl0_inv
10911 ; GFX11-WGP-NEXT:    buffer_gl1_inv
10912 ; GFX11-WGP-NEXT:    s_endpgm
10913 ;
10914 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_seq_cst_cmpxchg:
10915 ; GFX11-CU:       ; %bb.0: ; %entry
10916 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
10917 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10918 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
10919 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
10920 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
10921 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10922 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
10923 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10924 ; GFX11-CU-NEXT:    buffer_gl0_inv
10925 ; GFX11-CU-NEXT:    buffer_gl1_inv
10926 ; GFX11-CU-NEXT:    s_endpgm
10927     ptr %out, i32 %in, i32 %old) {
10928 entry:
10929   %gep = getelementptr i32, ptr %out, i32 4
10930   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire seq_cst
10931   ret void
10932 }
10933
10934 define amdgpu_kernel void @flat_agent_one_as_release_seq_cst_cmpxchg(
10935 ; GFX7-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
10936 ; GFX7:       ; %bb.0: ; %entry
10937 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10938 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10939 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
10940 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
10941 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
10942 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
10943 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
10944 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
10945 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10946 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10947 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
10948 ; GFX7-NEXT:    buffer_wbinvl1_vol
10949 ; GFX7-NEXT:    s_endpgm
10950 ;
10951 ; GFX10-WGP-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
10952 ; GFX10-WGP:       ; %bb.0: ; %entry
10953 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10954 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10955 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
10956 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
10957 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
10958 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
10959 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
10960 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
10961 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
10962 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10963 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10964 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
10965 ; GFX10-WGP-NEXT:    buffer_gl0_inv
10966 ; GFX10-WGP-NEXT:    buffer_gl1_inv
10967 ; GFX10-WGP-NEXT:    s_endpgm
10968 ;
10969 ; GFX10-CU-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
10970 ; GFX10-CU:       ; %bb.0: ; %entry
10971 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
10972 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10973 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
10974 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
10975 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
10976 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
10977 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
10978 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
10979 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
10980 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10981 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10982 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
10983 ; GFX10-CU-NEXT:    buffer_gl0_inv
10984 ; GFX10-CU-NEXT:    buffer_gl1_inv
10985 ; GFX10-CU-NEXT:    s_endpgm
10986 ;
10987 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
10988 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10989 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
10990 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10991 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
10992 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
10993 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10994 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
10995 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10996 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
10997 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
10998 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
10999 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11000 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11001 ;
11002 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11003 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11004 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11005 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11006 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11007 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11008 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11009 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11010 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11011 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11012 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11013 ;
11014 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11015 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11016 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11017 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11018 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11019 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11020 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11021 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11022 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11023 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11024 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11025 ;
11026 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11027 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11028 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11029 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11030 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11031 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11032 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
11033 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11034 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11035 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11036 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
11037 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11038 ;
11039 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11040 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11041 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11042 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11043 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11044 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11045 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
11046 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11047 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11048 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11049 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
11050 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11051 ;
11052 ; GFX11-WGP-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11053 ; GFX11-WGP:       ; %bb.0: ; %entry
11054 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11055 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11056 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11057 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11058 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11059 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11060 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11061 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11062 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11063 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11064 ; GFX11-WGP-NEXT:    s_endpgm
11065 ;
11066 ; GFX11-CU-LABEL: flat_agent_one_as_release_seq_cst_cmpxchg:
11067 ; GFX11-CU:       ; %bb.0: ; %entry
11068 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11069 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11070 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11071 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11072 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11073 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11074 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11075 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11076 ; GFX11-CU-NEXT:    buffer_gl0_inv
11077 ; GFX11-CU-NEXT:    buffer_gl1_inv
11078 ; GFX11-CU-NEXT:    s_endpgm
11079     ptr %out, i32 %in, i32 %old) {
11080 entry:
11081   %gep = getelementptr i32, ptr %out, i32 4
11082   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release seq_cst
11083   ret void
11084 }
11085
11086 define amdgpu_kernel void @flat_agent_one_as_acq_rel_seq_cst_cmpxchg(
11087 ; GFX7-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11088 ; GFX7:       ; %bb.0: ; %entry
11089 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11090 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11091 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
11092 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
11093 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11094 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11095 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11096 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11097 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11098 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11099 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11100 ; GFX7-NEXT:    buffer_wbinvl1_vol
11101 ; GFX7-NEXT:    s_endpgm
11102 ;
11103 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11104 ; GFX10-WGP:       ; %bb.0: ; %entry
11105 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11106 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11107 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
11108 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
11109 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11110 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11111 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11112 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11113 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11114 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11115 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11116 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11117 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11118 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11119 ; GFX10-WGP-NEXT:    s_endpgm
11120 ;
11121 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11122 ; GFX10-CU:       ; %bb.0: ; %entry
11123 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11124 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11125 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
11126 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
11127 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11128 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11129 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11130 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11131 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11132 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11133 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11134 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11135 ; GFX10-CU-NEXT:    buffer_gl0_inv
11136 ; GFX10-CU-NEXT:    buffer_gl1_inv
11137 ; GFX10-CU-NEXT:    s_endpgm
11138 ;
11139 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11140 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11141 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11142 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11143 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
11144 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
11145 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11146 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11147 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11148 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11149 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11150 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11151 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11152 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11153 ;
11154 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11155 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11156 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11157 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11158 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11159 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11160 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11161 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11162 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11163 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11164 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11165 ;
11166 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11167 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11168 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11169 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11170 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11171 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11172 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11173 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11174 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11175 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11176 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11177 ;
11178 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11179 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11180 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11181 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11182 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11183 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11184 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
11185 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11186 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11187 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11188 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
11189 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11190 ;
11191 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11192 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11193 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11194 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11195 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11196 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11197 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
11198 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11199 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11200 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11201 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
11202 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11203 ;
11204 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11205 ; GFX11-WGP:       ; %bb.0: ; %entry
11206 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11207 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11208 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11209 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11210 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11211 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11212 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11213 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11214 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11215 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11216 ; GFX11-WGP-NEXT:    s_endpgm
11217 ;
11218 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_seq_cst_cmpxchg:
11219 ; GFX11-CU:       ; %bb.0: ; %entry
11220 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11221 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11222 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11223 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11224 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11225 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11226 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11227 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11228 ; GFX11-CU-NEXT:    buffer_gl0_inv
11229 ; GFX11-CU-NEXT:    buffer_gl1_inv
11230 ; GFX11-CU-NEXT:    s_endpgm
11231     ptr %out, i32 %in, i32 %old) {
11232 entry:
11233   %gep = getelementptr i32, ptr %out, i32 4
11234   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel seq_cst
11235   ret void
11236 }
11237
11238 define amdgpu_kernel void @flat_agent_one_as_seq_cst_seq_cst_cmpxchg(
11239 ; GFX7-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11240 ; GFX7:       ; %bb.0: ; %entry
11241 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11242 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11243 ; GFX7-NEXT:    s_add_u32 s0, s0, 16
11244 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
11245 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11246 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11247 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11248 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11249 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11250 ; GFX7-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11251 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11252 ; GFX7-NEXT:    buffer_wbinvl1_vol
11253 ; GFX7-NEXT:    s_endpgm
11254 ;
11255 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11256 ; GFX10-WGP:       ; %bb.0: ; %entry
11257 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11258 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11259 ; GFX10-WGP-NEXT:    s_add_u32 s0, s0, 16
11260 ; GFX10-WGP-NEXT:    s_addc_u32 s1, s1, 0
11261 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11262 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11263 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11264 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11265 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11266 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11267 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11268 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11269 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11270 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11271 ; GFX10-WGP-NEXT:    s_endpgm
11272 ;
11273 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11274 ; GFX10-CU:       ; %bb.0: ; %entry
11275 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11276 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11277 ; GFX10-CU-NEXT:    s_add_u32 s0, s0, 16
11278 ; GFX10-CU-NEXT:    s_addc_u32 s1, s1, 0
11279 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11280 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11281 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11282 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11283 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11284 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11285 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11286 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11287 ; GFX10-CU-NEXT:    buffer_gl0_inv
11288 ; GFX10-CU-NEXT:    buffer_gl1_inv
11289 ; GFX10-CU-NEXT:    s_endpgm
11290 ;
11291 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11292 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11293 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11294 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11295 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s0, s0, 16
11296 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s1, s1, 0
11297 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11298 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11299 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11300 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11301 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11302 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3]
11303 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11304 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11305 ;
11306 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11307 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11308 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11309 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11310 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11311 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11312 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11313 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11314 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11315 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11316 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11317 ;
11318 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11319 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11320 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11321 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11322 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11323 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11324 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11325 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11326 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11327 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11328 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11329 ;
11330 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11331 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11332 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11333 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11334 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11335 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11336 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
11337 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11338 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11339 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11340 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
11341 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11342 ;
11343 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11344 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11345 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11346 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11347 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11348 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11349 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
11350 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11351 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v[0:1], v[2:3] offset:16
11352 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11353 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
11354 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11355 ;
11356 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11357 ; GFX11-WGP:       ; %bb.0: ; %entry
11358 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11359 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11360 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11361 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11362 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11363 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11364 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11365 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11366 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11367 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11368 ; GFX11-WGP-NEXT:    s_endpgm
11369 ;
11370 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_seq_cst_cmpxchg:
11371 ; GFX11-CU:       ; %bb.0: ; %entry
11372 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11373 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11374 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11375 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11376 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11377 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11378 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v[0:1], v[2:3] offset:16
11379 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11380 ; GFX11-CU-NEXT:    buffer_gl0_inv
11381 ; GFX11-CU-NEXT:    buffer_gl1_inv
11382 ; GFX11-CU-NEXT:    s_endpgm
11383     ptr %out, i32 %in, i32 %old) {
11384 entry:
11385   %gep = getelementptr i32, ptr %out, i32 4
11386   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst seq_cst
11387   ret void
11388 }
11389
11390 define amdgpu_kernel void @flat_agent_one_as_monotonic_monotonic_ret_cmpxchg(
11391 ; GFX7-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11392 ; GFX7:       ; %bb.0: ; %entry
11393 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11394 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11395 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11396 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11397 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11398 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11399 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11400 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11401 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11402 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11403 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11404 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11405 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11406 ; GFX7-NEXT:    s_endpgm
11407 ;
11408 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11409 ; GFX10-WGP:       ; %bb.0: ; %entry
11410 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11411 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11412 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
11413 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
11414 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
11415 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11416 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11417 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11418 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11419 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11420 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11421 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11422 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
11423 ; GFX10-WGP-NEXT:    s_endpgm
11424 ;
11425 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11426 ; GFX10-CU:       ; %bb.0: ; %entry
11427 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11428 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11429 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
11430 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
11431 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
11432 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11433 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11434 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11435 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11436 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11437 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11438 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11439 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
11440 ; GFX10-CU-NEXT:    s_endpgm
11441 ;
11442 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11443 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11444 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11445 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11446 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
11447 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
11448 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
11449 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11450 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
11451 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11452 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11453 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11454 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11455 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11456 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
11457 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11458 ;
11459 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11460 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11461 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11462 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11463 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11464 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11465 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11466 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11467 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11468 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11469 ;
11470 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11471 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11472 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11473 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11474 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11475 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11476 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11477 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11478 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11479 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11480 ;
11481 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11482 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11483 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11484 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11485 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11486 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11487 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11488 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11489 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11490 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11491 ;
11492 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11493 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11494 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11495 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11496 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11497 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11498 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11499 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11500 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11501 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11502 ;
11503 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11504 ; GFX11-WGP:       ; %bb.0: ; %entry
11505 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11506 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11507 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11508 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11509 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11510 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11511 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
11512 ; GFX11-WGP-NEXT:    s_endpgm
11513 ;
11514 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_monotonic_ret_cmpxchg:
11515 ; GFX11-CU:       ; %bb.0: ; %entry
11516 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11517 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11518 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11519 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11520 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11521 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11522 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
11523 ; GFX11-CU-NEXT:    s_endpgm
11524     ptr %out, i32 %in, i32 %old) {
11525 entry:
11526   %gep = getelementptr i32, ptr %out, i32 4
11527   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic monotonic
11528   %val0 = extractvalue { i32, i1 } %val, 0
11529   store i32 %val0, ptr %out, align 4
11530   ret void
11531 }
11532
11533 define amdgpu_kernel void @flat_agent_one_as_acquire_monotonic_ret_cmpxchg(
11534 ; GFX7-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11535 ; GFX7:       ; %bb.0: ; %entry
11536 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11537 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11538 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11539 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11540 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11541 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11542 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11543 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11544 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11545 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11546 ; GFX7-NEXT:    buffer_wbinvl1_vol
11547 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11548 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11549 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11550 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11551 ; GFX7-NEXT:    s_endpgm
11552 ;
11553 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11554 ; GFX10-WGP:       ; %bb.0: ; %entry
11555 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11556 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11557 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
11558 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
11559 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
11560 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11561 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11562 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11563 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11564 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11565 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11566 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11567 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11568 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11569 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11570 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
11571 ; GFX10-WGP-NEXT:    s_endpgm
11572 ;
11573 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11574 ; GFX10-CU:       ; %bb.0: ; %entry
11575 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11576 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11577 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
11578 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
11579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
11580 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11581 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11582 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11583 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11584 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11585 ; GFX10-CU-NEXT:    buffer_gl0_inv
11586 ; GFX10-CU-NEXT:    buffer_gl1_inv
11587 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11588 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11589 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11590 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
11591 ; GFX10-CU-NEXT:    s_endpgm
11592 ;
11593 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11594 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11595 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11596 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11597 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
11598 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
11599 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
11600 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11601 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
11602 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11603 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11604 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11605 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11606 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11607 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11608 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
11609 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11610 ;
11611 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11612 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11613 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11614 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11615 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11616 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11617 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11618 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11619 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11620 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11621 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11622 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11623 ;
11624 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11625 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11626 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11627 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11628 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11629 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11630 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11631 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11632 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11633 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11634 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11635 ;
11636 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11637 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11638 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11639 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11640 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11641 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11642 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11643 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11644 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
11645 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11646 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11647 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11648 ;
11649 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11650 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11651 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11652 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11653 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11654 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11655 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11656 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11657 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
11658 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11659 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11660 ;
11661 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11662 ; GFX11-WGP:       ; %bb.0: ; %entry
11663 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11664 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11665 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11666 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11667 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11668 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11669 ; GFX11-WGP-NEXT:    buffer_gl0_inv
11670 ; GFX11-WGP-NEXT:    buffer_gl1_inv
11671 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11672 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
11673 ; GFX11-WGP-NEXT:    s_endpgm
11674 ;
11675 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_monotonic_ret_cmpxchg:
11676 ; GFX11-CU:       ; %bb.0: ; %entry
11677 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11678 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11679 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11680 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11681 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11682 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11683 ; GFX11-CU-NEXT:    buffer_gl0_inv
11684 ; GFX11-CU-NEXT:    buffer_gl1_inv
11685 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11686 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
11687 ; GFX11-CU-NEXT:    s_endpgm
11688     ptr %out, i32 %in, i32 %old) {
11689 entry:
11690   %gep = getelementptr i32, ptr %out, i32 4
11691   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire monotonic
11692   %val0 = extractvalue { i32, i1 } %val, 0
11693   store i32 %val0, ptr %out, align 4
11694   ret void
11695 }
11696
11697 define amdgpu_kernel void @flat_agent_one_as_release_monotonic_ret_cmpxchg(
11698 ; GFX7-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11699 ; GFX7:       ; %bb.0: ; %entry
11700 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11701 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11702 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11703 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11704 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11705 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11706 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11707 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11708 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11709 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11710 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11711 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11712 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11713 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11714 ; GFX7-NEXT:    s_endpgm
11715 ;
11716 ; GFX10-WGP-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11717 ; GFX10-WGP:       ; %bb.0: ; %entry
11718 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11719 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11720 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
11721 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
11722 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
11723 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11724 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11725 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11726 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11727 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11728 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11729 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11730 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11731 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11732 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
11733 ; GFX10-WGP-NEXT:    s_endpgm
11734 ;
11735 ; GFX10-CU-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11736 ; GFX10-CU:       ; %bb.0: ; %entry
11737 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11738 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11739 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
11740 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
11741 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
11742 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11743 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11744 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11745 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11746 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11747 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11748 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11749 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11750 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11751 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
11752 ; GFX10-CU-NEXT:    s_endpgm
11753 ;
11754 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11755 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11756 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11757 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11758 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
11759 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
11760 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
11761 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11762 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
11763 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11764 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11765 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11766 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11767 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11768 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11769 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
11770 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11771 ;
11772 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11773 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11774 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11775 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11776 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11777 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11778 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11779 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11780 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11781 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11782 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11783 ;
11784 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11785 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11786 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11787 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11788 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11789 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11790 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11791 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11792 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11793 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11794 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11795 ;
11796 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11797 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11798 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11799 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11800 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11801 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11802 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
11803 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11804 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11805 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11806 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11807 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11808 ;
11809 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11810 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11811 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11812 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11813 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11814 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11815 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
11816 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11817 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11818 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11819 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11820 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11821 ;
11822 ; GFX11-WGP-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11823 ; GFX11-WGP:       ; %bb.0: ; %entry
11824 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11825 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11826 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11827 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11828 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
11829 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11830 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11831 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11832 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
11833 ; GFX11-WGP-NEXT:    s_endpgm
11834 ;
11835 ; GFX11-CU-LABEL: flat_agent_one_as_release_monotonic_ret_cmpxchg:
11836 ; GFX11-CU:       ; %bb.0: ; %entry
11837 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11838 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11839 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
11840 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
11841 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
11842 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11843 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
11844 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
11845 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
11846 ; GFX11-CU-NEXT:    s_endpgm
11847     ptr %out, i32 %in, i32 %old) {
11848 entry:
11849   %gep = getelementptr i32, ptr %out, i32 4
11850   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release monotonic
11851   %val0 = extractvalue { i32, i1 } %val, 0
11852   store i32 %val0, ptr %out, align 4
11853   ret void
11854 }
11855
11856 define amdgpu_kernel void @flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg(
11857 ; GFX7-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11858 ; GFX7:       ; %bb.0: ; %entry
11859 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11860 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11861 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
11862 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
11863 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
11864 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
11865 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11866 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
11867 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11868 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11869 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
11870 ; GFX7-NEXT:    buffer_wbinvl1_vol
11871 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
11872 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
11873 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11874 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
11875 ; GFX7-NEXT:    s_endpgm
11876 ;
11877 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11878 ; GFX10-WGP:       ; %bb.0: ; %entry
11879 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11880 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11881 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
11882 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
11883 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
11884 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
11885 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11886 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
11887 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11888 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
11889 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11890 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
11891 ; GFX10-WGP-NEXT:    buffer_gl0_inv
11892 ; GFX10-WGP-NEXT:    buffer_gl1_inv
11893 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
11894 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
11895 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11896 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
11897 ; GFX10-WGP-NEXT:    s_endpgm
11898 ;
11899 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11900 ; GFX10-CU:       ; %bb.0: ; %entry
11901 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11902 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11903 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
11904 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
11905 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
11906 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
11907 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11908 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
11909 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11910 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
11911 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11912 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
11913 ; GFX10-CU-NEXT:    buffer_gl0_inv
11914 ; GFX10-CU-NEXT:    buffer_gl1_inv
11915 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
11916 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
11917 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11918 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
11919 ; GFX10-CU-NEXT:    s_endpgm
11920 ;
11921 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11922 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11923 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11924 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11925 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
11926 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
11927 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
11928 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
11929 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
11930 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
11931 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11932 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
11933 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
11934 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
11935 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11936 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11937 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
11938 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11939 ;
11940 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11941 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11942 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11943 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11944 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11945 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11946 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11947 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11948 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11949 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
11950 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11951 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11952 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11953 ;
11954 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11955 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11956 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
11957 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11958 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
11959 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
11960 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11961 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
11962 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11963 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
11964 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
11965 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11966 ;
11967 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11968 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11969 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11970 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11971 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11972 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11973 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
11974 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11975 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11976 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11977 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
11978 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11979 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11980 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11981 ;
11982 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11983 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11984 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
11985 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11986 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
11987 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
11988 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
11989 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11990 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
11991 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
11992 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
11993 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
11994 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11995 ;
11996 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
11997 ; GFX11-WGP:       ; %bb.0: ; %entry
11998 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
11999 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12000 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12001 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12002 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12003 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12004 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12005 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12006 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12007 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12008 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12009 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12010 ; GFX11-WGP-NEXT:    s_endpgm
12011 ;
12012 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_monotonic_ret_cmpxchg:
12013 ; GFX11-CU:       ; %bb.0: ; %entry
12014 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12015 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12016 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12017 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12018 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12019 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12020 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12021 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12022 ; GFX11-CU-NEXT:    buffer_gl0_inv
12023 ; GFX11-CU-NEXT:    buffer_gl1_inv
12024 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12025 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12026 ; GFX11-CU-NEXT:    s_endpgm
12027     ptr %out, i32 %in, i32 %old) {
12028 entry:
12029   %gep = getelementptr i32, ptr %out, i32 4
12030   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel monotonic
12031   %val0 = extractvalue { i32, i1 } %val, 0
12032   store i32 %val0, ptr %out, align 4
12033   ret void
12034 }
12035
12036 define amdgpu_kernel void @flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg(
12037 ; GFX7-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12038 ; GFX7:       ; %bb.0: ; %entry
12039 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12040 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12041 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12042 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12043 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12044 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12045 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12046 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12047 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12048 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12049 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12050 ; GFX7-NEXT:    buffer_wbinvl1_vol
12051 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12052 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12053 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12054 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12055 ; GFX7-NEXT:    s_endpgm
12056 ;
12057 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12058 ; GFX10-WGP:       ; %bb.0: ; %entry
12059 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12060 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12061 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12062 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12063 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12064 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12065 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12066 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12067 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12068 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12069 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12070 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12071 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12072 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12073 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12074 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12075 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12076 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12077 ; GFX10-WGP-NEXT:    s_endpgm
12078 ;
12079 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12080 ; GFX10-CU:       ; %bb.0: ; %entry
12081 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12082 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12083 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12084 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12085 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12086 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12087 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12088 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12089 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12090 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12091 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12092 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12093 ; GFX10-CU-NEXT:    buffer_gl0_inv
12094 ; GFX10-CU-NEXT:    buffer_gl1_inv
12095 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12096 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12097 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12098 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12099 ; GFX10-CU-NEXT:    s_endpgm
12100 ;
12101 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12102 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12103 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12104 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12105 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12106 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12107 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12108 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12109 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12110 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12111 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12112 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12113 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12114 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12115 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12116 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12117 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12118 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12119 ;
12120 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12121 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12122 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12123 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12124 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12125 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12126 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12127 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12128 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12129 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12130 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12131 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12132 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12133 ;
12134 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12135 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12136 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12137 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12138 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12139 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12140 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12141 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12142 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12143 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12144 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12145 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12146 ;
12147 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12148 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12149 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12150 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12151 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12152 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12153 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
12154 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12155 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12156 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12157 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
12158 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12159 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12160 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12161 ;
12162 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12163 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12164 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12165 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12166 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12167 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12168 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
12169 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12170 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12171 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12172 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
12173 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12174 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12175 ;
12176 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12177 ; GFX11-WGP:       ; %bb.0: ; %entry
12178 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12179 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12180 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12181 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12182 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12183 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12184 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12185 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12186 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12187 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12188 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12189 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12190 ; GFX11-WGP-NEXT:    s_endpgm
12191 ;
12192 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_monotonic_ret_cmpxchg:
12193 ; GFX11-CU:       ; %bb.0: ; %entry
12194 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12195 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12196 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12197 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12198 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12199 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12200 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12201 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12202 ; GFX11-CU-NEXT:    buffer_gl0_inv
12203 ; GFX11-CU-NEXT:    buffer_gl1_inv
12204 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12205 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12206 ; GFX11-CU-NEXT:    s_endpgm
12207     ptr %out, i32 %in, i32 %old) {
12208 entry:
12209   %gep = getelementptr i32, ptr %out, i32 4
12210   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst monotonic
12211   %val0 = extractvalue { i32, i1 } %val, 0
12212   store i32 %val0, ptr %out, align 4
12213   ret void
12214 }
12215
12216 define amdgpu_kernel void @flat_agent_one_as_monotonic_acquire_ret_cmpxchg(
12217 ; GFX7-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12218 ; GFX7:       ; %bb.0: ; %entry
12219 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12220 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12221 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12222 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12223 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12224 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12225 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12226 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12227 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12228 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12229 ; GFX7-NEXT:    buffer_wbinvl1_vol
12230 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12231 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12232 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12233 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12234 ; GFX7-NEXT:    s_endpgm
12235 ;
12236 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12237 ; GFX10-WGP:       ; %bb.0: ; %entry
12238 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12239 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12240 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12241 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12242 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12243 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12244 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12245 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12246 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12247 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12248 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12249 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12250 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12251 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12252 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12253 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12254 ; GFX10-WGP-NEXT:    s_endpgm
12255 ;
12256 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12257 ; GFX10-CU:       ; %bb.0: ; %entry
12258 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12259 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12260 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12261 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12262 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12263 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12264 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12265 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12266 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12267 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12268 ; GFX10-CU-NEXT:    buffer_gl0_inv
12269 ; GFX10-CU-NEXT:    buffer_gl1_inv
12270 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12271 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12272 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12273 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12274 ; GFX10-CU-NEXT:    s_endpgm
12275 ;
12276 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12277 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12278 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12279 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12280 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12281 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12282 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12283 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12284 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12285 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12286 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12287 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12288 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12289 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12290 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12291 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12292 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12293 ;
12294 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12295 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12296 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12297 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12298 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12299 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12300 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12301 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12302 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12303 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12304 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12305 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12306 ;
12307 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12308 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12309 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12310 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12311 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12312 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12313 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12314 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12315 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12316 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12317 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12318 ;
12319 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12320 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12321 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12322 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12323 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12324 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12325 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12326 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12327 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
12328 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12329 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12330 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12331 ;
12332 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12333 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12334 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12335 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12336 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12337 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12338 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12339 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12340 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
12341 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12342 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12343 ;
12344 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12345 ; GFX11-WGP:       ; %bb.0: ; %entry
12346 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12347 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12348 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12349 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12350 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12351 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12352 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12353 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12354 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12355 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12356 ; GFX11-WGP-NEXT:    s_endpgm
12357 ;
12358 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_acquire_ret_cmpxchg:
12359 ; GFX11-CU:       ; %bb.0: ; %entry
12360 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12361 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12362 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12363 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12364 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12365 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12366 ; GFX11-CU-NEXT:    buffer_gl0_inv
12367 ; GFX11-CU-NEXT:    buffer_gl1_inv
12368 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12369 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12370 ; GFX11-CU-NEXT:    s_endpgm
12371     ptr %out, i32 %in, i32 %old) {
12372 entry:
12373   %gep = getelementptr i32, ptr %out, i32 4
12374   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic acquire
12375   %val0 = extractvalue { i32, i1 } %val, 0
12376   store i32 %val0, ptr %out, align 4
12377   ret void
12378 }
12379
12380 define amdgpu_kernel void @flat_agent_one_as_acquire_acquire_ret_cmpxchg(
12381 ; GFX7-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12382 ; GFX7:       ; %bb.0: ; %entry
12383 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12384 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12385 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12386 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12387 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12388 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12389 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12390 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12391 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12392 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12393 ; GFX7-NEXT:    buffer_wbinvl1_vol
12394 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12395 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12396 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12397 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12398 ; GFX7-NEXT:    s_endpgm
12399 ;
12400 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12401 ; GFX10-WGP:       ; %bb.0: ; %entry
12402 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12403 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12404 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12405 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12406 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12407 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12408 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12409 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12410 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12411 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12412 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12413 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12414 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12415 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12416 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12417 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12418 ; GFX10-WGP-NEXT:    s_endpgm
12419 ;
12420 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12421 ; GFX10-CU:       ; %bb.0: ; %entry
12422 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12423 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12424 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12425 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12426 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12427 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12428 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12429 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12430 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12431 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12432 ; GFX10-CU-NEXT:    buffer_gl0_inv
12433 ; GFX10-CU-NEXT:    buffer_gl1_inv
12434 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12435 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12436 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12437 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12438 ; GFX10-CU-NEXT:    s_endpgm
12439 ;
12440 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12441 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12442 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12443 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12444 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12445 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12446 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12447 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12448 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12449 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12450 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12451 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12452 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12453 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12454 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12455 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12456 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12457 ;
12458 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12459 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12460 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12461 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12462 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12463 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12464 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12465 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12466 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12467 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12468 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12469 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12470 ;
12471 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12472 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12473 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12474 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12475 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12476 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12477 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12478 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12479 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12480 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12481 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12482 ;
12483 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12484 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12485 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12486 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12487 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12488 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12489 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12490 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12491 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
12492 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12493 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12494 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12495 ;
12496 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12497 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12498 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12499 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12500 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12501 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12502 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12503 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12504 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
12505 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12506 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12507 ;
12508 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12509 ; GFX11-WGP:       ; %bb.0: ; %entry
12510 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12511 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12512 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12513 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12514 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12515 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12516 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12517 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12518 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12519 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12520 ; GFX11-WGP-NEXT:    s_endpgm
12521 ;
12522 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_acquire_ret_cmpxchg:
12523 ; GFX11-CU:       ; %bb.0: ; %entry
12524 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12525 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12526 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12527 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12528 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12529 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12530 ; GFX11-CU-NEXT:    buffer_gl0_inv
12531 ; GFX11-CU-NEXT:    buffer_gl1_inv
12532 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12533 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12534 ; GFX11-CU-NEXT:    s_endpgm
12535     ptr %out, i32 %in, i32 %old) {
12536 entry:
12537   %gep = getelementptr i32, ptr %out, i32 4
12538   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire acquire
12539   %val0 = extractvalue { i32, i1 } %val, 0
12540   store i32 %val0, ptr %out, align 4
12541   ret void
12542 }
12543
12544 define amdgpu_kernel void @flat_agent_one_as_release_acquire_ret_cmpxchg(
12545 ; GFX7-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12546 ; GFX7:       ; %bb.0: ; %entry
12547 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12548 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12549 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12550 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12551 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12552 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12553 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12554 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12555 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12556 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12557 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12558 ; GFX7-NEXT:    buffer_wbinvl1_vol
12559 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12560 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12561 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12562 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12563 ; GFX7-NEXT:    s_endpgm
12564 ;
12565 ; GFX10-WGP-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12566 ; GFX10-WGP:       ; %bb.0: ; %entry
12567 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12568 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12569 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12570 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12571 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12572 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12573 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12574 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12575 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12576 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12577 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12578 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12579 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12580 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12581 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12582 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12583 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12584 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12585 ; GFX10-WGP-NEXT:    s_endpgm
12586 ;
12587 ; GFX10-CU-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12588 ; GFX10-CU:       ; %bb.0: ; %entry
12589 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12590 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12591 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12592 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12593 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12594 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12595 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12596 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12597 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12598 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12599 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12600 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12601 ; GFX10-CU-NEXT:    buffer_gl0_inv
12602 ; GFX10-CU-NEXT:    buffer_gl1_inv
12603 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12604 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12605 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12606 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12607 ; GFX10-CU-NEXT:    s_endpgm
12608 ;
12609 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12610 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12611 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12612 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12613 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12614 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12615 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12616 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12617 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12618 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12619 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12620 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12621 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12622 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12623 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12624 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12625 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12626 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12627 ;
12628 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12629 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12630 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12631 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12632 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12633 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12634 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12635 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12636 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12637 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12638 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12639 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12640 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12641 ;
12642 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12643 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12644 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12645 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12646 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12647 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12648 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12649 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12650 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12651 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12652 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12653 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12654 ;
12655 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12656 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12657 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12658 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12659 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12660 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12661 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
12662 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12663 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12664 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12665 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
12666 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12667 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12668 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12669 ;
12670 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12671 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12672 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12673 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12674 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12675 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12676 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
12677 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12678 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12679 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12680 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
12681 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12682 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12683 ;
12684 ; GFX11-WGP-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12685 ; GFX11-WGP:       ; %bb.0: ; %entry
12686 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12687 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12688 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12689 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12690 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12691 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12692 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12693 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12694 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12695 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12696 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12697 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12698 ; GFX11-WGP-NEXT:    s_endpgm
12699 ;
12700 ; GFX11-CU-LABEL: flat_agent_one_as_release_acquire_ret_cmpxchg:
12701 ; GFX11-CU:       ; %bb.0: ; %entry
12702 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12703 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12704 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12705 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12706 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12707 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12708 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12709 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12710 ; GFX11-CU-NEXT:    buffer_gl0_inv
12711 ; GFX11-CU-NEXT:    buffer_gl1_inv
12712 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12713 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12714 ; GFX11-CU-NEXT:    s_endpgm
12715     ptr %out, i32 %in, i32 %old) {
12716 entry:
12717   %gep = getelementptr i32, ptr %out, i32 4
12718   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release acquire
12719   %val0 = extractvalue { i32, i1 } %val, 0
12720   store i32 %val0, ptr %out, align 4
12721   ret void
12722 }
12723
12724 define amdgpu_kernel void @flat_agent_one_as_acq_rel_acquire_ret_cmpxchg(
12725 ; GFX7-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12726 ; GFX7:       ; %bb.0: ; %entry
12727 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12728 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12729 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12730 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12731 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12732 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12733 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12734 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12735 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12736 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12737 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12738 ; GFX7-NEXT:    buffer_wbinvl1_vol
12739 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12740 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12741 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12742 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12743 ; GFX7-NEXT:    s_endpgm
12744 ;
12745 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12746 ; GFX10-WGP:       ; %bb.0: ; %entry
12747 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12748 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12749 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12750 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12751 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12752 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12753 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12754 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12755 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12756 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12757 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12758 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12759 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12760 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12761 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12762 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12763 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12764 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12765 ; GFX10-WGP-NEXT:    s_endpgm
12766 ;
12767 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12768 ; GFX10-CU:       ; %bb.0: ; %entry
12769 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12770 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12771 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12772 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12773 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12774 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12775 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12776 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12777 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12778 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12779 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12780 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12781 ; GFX10-CU-NEXT:    buffer_gl0_inv
12782 ; GFX10-CU-NEXT:    buffer_gl1_inv
12783 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12784 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12785 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12786 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12787 ; GFX10-CU-NEXT:    s_endpgm
12788 ;
12789 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12790 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12791 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12792 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12793 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12794 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12795 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12796 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12797 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12798 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12799 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12800 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12801 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12802 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12803 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12805 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12806 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12807 ;
12808 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12809 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12810 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12811 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12812 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12813 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12814 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12815 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12816 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12817 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12818 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12819 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12820 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12821 ;
12822 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12823 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12824 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12825 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12826 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12827 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12828 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12829 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12830 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12831 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
12832 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
12833 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12834 ;
12835 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12836 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12837 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12838 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12839 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12840 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12841 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
12842 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12843 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12844 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12845 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
12846 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12847 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12848 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12849 ;
12850 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12851 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12852 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12853 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12854 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
12855 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
12856 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
12857 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12858 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
12859 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12860 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
12861 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
12862 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12863 ;
12864 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12865 ; GFX11-WGP:       ; %bb.0: ; %entry
12866 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12867 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12868 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12869 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12870 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12871 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12872 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12873 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
12874 ; GFX11-WGP-NEXT:    buffer_gl0_inv
12875 ; GFX11-WGP-NEXT:    buffer_gl1_inv
12876 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12877 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
12878 ; GFX11-WGP-NEXT:    s_endpgm
12879 ;
12880 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_acquire_ret_cmpxchg:
12881 ; GFX11-CU:       ; %bb.0: ; %entry
12882 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
12883 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12884 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
12885 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
12886 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12887 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12888 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
12889 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
12890 ; GFX11-CU-NEXT:    buffer_gl0_inv
12891 ; GFX11-CU-NEXT:    buffer_gl1_inv
12892 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12893 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
12894 ; GFX11-CU-NEXT:    s_endpgm
12895     ptr %out, i32 %in, i32 %old) {
12896 entry:
12897   %gep = getelementptr i32, ptr %out, i32 4
12898   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel acquire
12899   %val0 = extractvalue { i32, i1 } %val, 0
12900   store i32 %val0, ptr %out, align 4
12901   ret void
12902 }
12903
12904 define amdgpu_kernel void @flat_agent_one_as_seq_cst_acquire_ret_cmpxchg(
12905 ; GFX7-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
12906 ; GFX7:       ; %bb.0: ; %entry
12907 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12908 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12909 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
12910 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
12911 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
12912 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
12913 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12914 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
12915 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12916 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12917 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
12918 ; GFX7-NEXT:    buffer_wbinvl1_vol
12919 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
12920 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
12921 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12922 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
12923 ; GFX7-NEXT:    s_endpgm
12924 ;
12925 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
12926 ; GFX10-WGP:       ; %bb.0: ; %entry
12927 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12928 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12929 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
12930 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
12931 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
12932 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
12933 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12934 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
12935 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12936 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
12937 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12938 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
12939 ; GFX10-WGP-NEXT:    buffer_gl0_inv
12940 ; GFX10-WGP-NEXT:    buffer_gl1_inv
12941 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
12942 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
12943 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12944 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
12945 ; GFX10-WGP-NEXT:    s_endpgm
12946 ;
12947 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
12948 ; GFX10-CU:       ; %bb.0: ; %entry
12949 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12950 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12951 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
12952 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
12953 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
12954 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
12955 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12956 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
12957 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12958 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
12959 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12960 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
12961 ; GFX10-CU-NEXT:    buffer_gl0_inv
12962 ; GFX10-CU-NEXT:    buffer_gl1_inv
12963 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
12964 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
12965 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12966 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
12967 ; GFX10-CU-NEXT:    s_endpgm
12968 ;
12969 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
12970 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12971 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
12972 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12973 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
12974 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
12975 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
12976 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
12977 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
12978 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
12979 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12980 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
12981 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
12982 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
12983 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12984 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12985 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
12986 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12987 ;
12988 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
12989 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12990 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
12991 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12992 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
12993 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
12994 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12995 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
12996 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
12997 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
12998 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12999 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13000 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13001 ;
13002 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
13003 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13004 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13005 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13006 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13007 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13008 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13009 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13010 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13011 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13012 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13013 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13014 ;
13015 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
13016 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13017 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13018 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13019 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13020 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13021 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13022 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13023 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13024 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13025 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13026 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13027 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13028 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13029 ;
13030 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
13031 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13032 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13033 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13034 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13035 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13036 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13037 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13038 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13039 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13040 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13041 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13042 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13043 ;
13044 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
13045 ; GFX11-WGP:       ; %bb.0: ; %entry
13046 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13047 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13048 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13049 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13050 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13051 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13052 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13053 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13054 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13055 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13056 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13057 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13058 ; GFX11-WGP-NEXT:    s_endpgm
13059 ;
13060 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_acquire_ret_cmpxchg:
13061 ; GFX11-CU:       ; %bb.0: ; %entry
13062 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13063 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13064 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13065 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13066 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13067 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13068 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13069 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13070 ; GFX11-CU-NEXT:    buffer_gl0_inv
13071 ; GFX11-CU-NEXT:    buffer_gl1_inv
13072 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13073 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13074 ; GFX11-CU-NEXT:    s_endpgm
13075     ptr %out, i32 %in, i32 %old) {
13076 entry:
13077   %gep = getelementptr i32, ptr %out, i32 4
13078   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst acquire
13079   %val0 = extractvalue { i32, i1 } %val, 0
13080   store i32 %val0, ptr %out, align 4
13081   ret void
13082 }
13083
13084 define amdgpu_kernel void @flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg(
13085 ; GFX7-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13086 ; GFX7:       ; %bb.0: ; %entry
13087 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13088 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13089 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13090 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13091 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13092 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13093 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13094 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13095 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13096 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13097 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13098 ; GFX7-NEXT:    buffer_wbinvl1_vol
13099 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13100 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13101 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13102 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13103 ; GFX7-NEXT:    s_endpgm
13104 ;
13105 ; GFX10-WGP-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13106 ; GFX10-WGP:       ; %bb.0: ; %entry
13107 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13108 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13109 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
13110 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
13111 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13112 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
13113 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13114 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
13115 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13116 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13117 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13118 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13119 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13120 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13121 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
13122 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
13123 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13124 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
13125 ; GFX10-WGP-NEXT:    s_endpgm
13126 ;
13127 ; GFX10-CU-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13128 ; GFX10-CU:       ; %bb.0: ; %entry
13129 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13130 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13131 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
13132 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
13133 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13134 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
13135 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13136 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
13137 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13138 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13139 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13140 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13141 ; GFX10-CU-NEXT:    buffer_gl0_inv
13142 ; GFX10-CU-NEXT:    buffer_gl1_inv
13143 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
13144 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
13145 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13146 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
13147 ; GFX10-CU-NEXT:    s_endpgm
13148 ;
13149 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13150 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13151 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13152 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13153 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
13154 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
13155 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
13156 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
13157 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
13158 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
13159 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13160 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13161 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13162 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13163 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13164 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13165 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
13166 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13167 ;
13168 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13169 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13170 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13171 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13172 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13173 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13174 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13175 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13176 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13177 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13178 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13179 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13180 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13181 ;
13182 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13183 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13184 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13185 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13186 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13187 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13188 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13189 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13190 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13191 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13192 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13193 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13194 ;
13195 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13196 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13197 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13198 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13199 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13200 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13201 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13202 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13203 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13204 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13205 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13206 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13207 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13208 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13209 ;
13210 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13211 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13212 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13213 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13214 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13215 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13216 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13217 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13218 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13219 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13220 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13221 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13222 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13223 ;
13224 ; GFX11-WGP-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13225 ; GFX11-WGP:       ; %bb.0: ; %entry
13226 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13227 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13228 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13229 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13230 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13231 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13232 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13233 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13234 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13235 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13236 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13237 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13238 ; GFX11-WGP-NEXT:    s_endpgm
13239 ;
13240 ; GFX11-CU-LABEL: flat_agent_one_as_monotonic_seq_cst_ret_cmpxchg:
13241 ; GFX11-CU:       ; %bb.0: ; %entry
13242 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13243 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13244 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13245 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13246 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13247 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13248 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13249 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13250 ; GFX11-CU-NEXT:    buffer_gl0_inv
13251 ; GFX11-CU-NEXT:    buffer_gl1_inv
13252 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13253 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13254 ; GFX11-CU-NEXT:    s_endpgm
13255     ptr %out, i32 %in, i32 %old) {
13256 entry:
13257   %gep = getelementptr i32, ptr %out, i32 4
13258   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") monotonic seq_cst
13259   %val0 = extractvalue { i32, i1 } %val, 0
13260   store i32 %val0, ptr %out, align 4
13261   ret void
13262 }
13263
13264 define amdgpu_kernel void @flat_agent_one_as_acquire_seq_cst_ret_cmpxchg(
13265 ; GFX7-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13266 ; GFX7:       ; %bb.0: ; %entry
13267 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13268 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13269 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13270 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13271 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13272 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13273 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13274 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13275 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13276 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13277 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13278 ; GFX7-NEXT:    buffer_wbinvl1_vol
13279 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13280 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13281 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13282 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13283 ; GFX7-NEXT:    s_endpgm
13284 ;
13285 ; GFX10-WGP-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13286 ; GFX10-WGP:       ; %bb.0: ; %entry
13287 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13288 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13289 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
13290 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
13291 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13292 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
13293 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13294 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
13295 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13296 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13297 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13298 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13299 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13300 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13301 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
13302 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
13303 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13304 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
13305 ; GFX10-WGP-NEXT:    s_endpgm
13306 ;
13307 ; GFX10-CU-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13308 ; GFX10-CU:       ; %bb.0: ; %entry
13309 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13310 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13311 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
13312 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
13313 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13314 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
13315 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13316 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
13317 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13318 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13319 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13320 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13321 ; GFX10-CU-NEXT:    buffer_gl0_inv
13322 ; GFX10-CU-NEXT:    buffer_gl1_inv
13323 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
13324 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
13325 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13326 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
13327 ; GFX10-CU-NEXT:    s_endpgm
13328 ;
13329 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13330 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13331 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13332 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13333 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
13334 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
13335 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
13336 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
13337 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
13338 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
13339 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13340 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13341 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13342 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13343 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13344 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13345 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
13346 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13347 ;
13348 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13349 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13350 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13351 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13352 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13353 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13354 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13355 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13356 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13357 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13358 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13359 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13360 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13361 ;
13362 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13363 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13364 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13365 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13366 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13367 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13369 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13370 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13371 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13372 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13373 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13374 ;
13375 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13376 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13377 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13378 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13379 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13380 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13381 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13382 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13383 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13384 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13385 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13386 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13387 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13388 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13389 ;
13390 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13391 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13392 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13393 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13394 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13395 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13396 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13397 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13398 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13399 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13400 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13401 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13402 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13403 ;
13404 ; GFX11-WGP-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13405 ; GFX11-WGP:       ; %bb.0: ; %entry
13406 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13407 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13408 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13409 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13410 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13411 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13412 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13413 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13414 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13415 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13416 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13417 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13418 ; GFX11-WGP-NEXT:    s_endpgm
13419 ;
13420 ; GFX11-CU-LABEL: flat_agent_one_as_acquire_seq_cst_ret_cmpxchg:
13421 ; GFX11-CU:       ; %bb.0: ; %entry
13422 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13423 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13424 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13425 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13426 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13427 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13428 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13429 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13430 ; GFX11-CU-NEXT:    buffer_gl0_inv
13431 ; GFX11-CU-NEXT:    buffer_gl1_inv
13432 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13433 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13434 ; GFX11-CU-NEXT:    s_endpgm
13435     ptr %out, i32 %in, i32 %old) {
13436 entry:
13437   %gep = getelementptr i32, ptr %out, i32 4
13438   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acquire seq_cst
13439   %val0 = extractvalue { i32, i1 } %val, 0
13440   store i32 %val0, ptr %out, align 4
13441   ret void
13442 }
13443
13444 define amdgpu_kernel void @flat_agent_one_as_release_seq_cst_ret_cmpxchg(
13445 ; GFX7-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13446 ; GFX7:       ; %bb.0: ; %entry
13447 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13448 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13449 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13450 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13451 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13452 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13453 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13454 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13455 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13456 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13457 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13458 ; GFX7-NEXT:    buffer_wbinvl1_vol
13459 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13460 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13461 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13462 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13463 ; GFX7-NEXT:    s_endpgm
13464 ;
13465 ; GFX10-WGP-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13466 ; GFX10-WGP:       ; %bb.0: ; %entry
13467 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13468 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13469 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
13470 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
13471 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13472 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
13473 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13474 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
13475 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13476 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13477 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13478 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13479 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13480 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13481 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
13482 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
13483 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13484 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
13485 ; GFX10-WGP-NEXT:    s_endpgm
13486 ;
13487 ; GFX10-CU-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13488 ; GFX10-CU:       ; %bb.0: ; %entry
13489 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13490 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13491 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
13492 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
13493 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13494 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
13495 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13496 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
13497 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13498 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13499 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13500 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13501 ; GFX10-CU-NEXT:    buffer_gl0_inv
13502 ; GFX10-CU-NEXT:    buffer_gl1_inv
13503 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
13504 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
13505 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13506 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
13507 ; GFX10-CU-NEXT:    s_endpgm
13508 ;
13509 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13510 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13511 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13512 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13513 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
13514 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
13515 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
13516 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
13517 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
13518 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
13519 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13520 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13521 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13522 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13523 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13524 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13525 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
13526 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13527 ;
13528 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13529 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13530 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13531 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13532 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13533 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13534 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13535 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13536 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13537 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13538 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13539 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13540 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13541 ;
13542 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13543 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13544 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13545 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13546 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13547 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13548 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13549 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13550 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13551 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13552 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13553 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13554 ;
13555 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13556 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13557 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13558 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13559 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13560 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13561 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13562 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13563 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13564 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13565 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13566 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13567 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13568 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13569 ;
13570 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13571 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13572 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13573 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13574 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13575 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13576 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13577 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13578 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13579 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13580 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13581 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13582 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13583 ;
13584 ; GFX11-WGP-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13585 ; GFX11-WGP:       ; %bb.0: ; %entry
13586 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13587 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13588 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13589 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13590 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13591 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13592 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13593 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13594 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13595 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13596 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13597 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13598 ; GFX11-WGP-NEXT:    s_endpgm
13599 ;
13600 ; GFX11-CU-LABEL: flat_agent_one_as_release_seq_cst_ret_cmpxchg:
13601 ; GFX11-CU:       ; %bb.0: ; %entry
13602 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13603 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13604 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13605 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13606 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13607 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13608 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13609 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13610 ; GFX11-CU-NEXT:    buffer_gl0_inv
13611 ; GFX11-CU-NEXT:    buffer_gl1_inv
13612 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13613 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13614 ; GFX11-CU-NEXT:    s_endpgm
13615     ptr %out, i32 %in, i32 %old) {
13616 entry:
13617   %gep = getelementptr i32, ptr %out, i32 4
13618   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") release seq_cst
13619   %val0 = extractvalue { i32, i1 } %val, 0
13620   store i32 %val0, ptr %out, align 4
13621   ret void
13622 }
13623
13624 define amdgpu_kernel void @flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg(
13625 ; GFX7-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13626 ; GFX7:       ; %bb.0: ; %entry
13627 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13628 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13629 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13630 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13631 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13632 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13633 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13634 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13635 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13636 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13637 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13638 ; GFX7-NEXT:    buffer_wbinvl1_vol
13639 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13640 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13641 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13642 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13643 ; GFX7-NEXT:    s_endpgm
13644 ;
13645 ; GFX10-WGP-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13646 ; GFX10-WGP:       ; %bb.0: ; %entry
13647 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13648 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13649 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
13650 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
13651 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13652 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
13653 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13654 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
13655 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13656 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13657 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13658 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13659 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13660 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13661 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
13662 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
13663 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13664 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
13665 ; GFX10-WGP-NEXT:    s_endpgm
13666 ;
13667 ; GFX10-CU-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13668 ; GFX10-CU:       ; %bb.0: ; %entry
13669 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13670 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13671 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
13672 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
13673 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13674 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
13675 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13676 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
13677 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13678 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13679 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13680 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13681 ; GFX10-CU-NEXT:    buffer_gl0_inv
13682 ; GFX10-CU-NEXT:    buffer_gl1_inv
13683 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
13684 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
13685 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13686 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
13687 ; GFX10-CU-NEXT:    s_endpgm
13688 ;
13689 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13690 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13691 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13692 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13693 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
13694 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
13695 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
13696 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
13697 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
13698 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
13699 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13700 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13701 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13702 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13703 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13704 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13705 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
13706 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13707 ;
13708 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13709 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13710 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13711 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13712 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13713 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13714 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13715 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13716 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13717 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13718 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13719 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13720 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13721 ;
13722 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13723 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13724 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13725 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13726 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13727 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13728 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13729 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13730 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13731 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13732 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13733 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13734 ;
13735 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13736 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13737 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13738 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13739 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13740 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13741 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13742 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13743 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13744 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13745 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13746 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13747 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13748 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13749 ;
13750 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13751 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13752 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13753 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13754 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13755 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13756 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13757 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13758 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13759 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13760 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13761 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13762 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13763 ;
13764 ; GFX11-WGP-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13765 ; GFX11-WGP:       ; %bb.0: ; %entry
13766 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13767 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13768 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13769 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13770 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13771 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13772 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13773 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13774 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13775 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13776 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13777 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13778 ; GFX11-WGP-NEXT:    s_endpgm
13779 ;
13780 ; GFX11-CU-LABEL: flat_agent_one_as_acq_rel_seq_cst_ret_cmpxchg:
13781 ; GFX11-CU:       ; %bb.0: ; %entry
13782 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13783 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13784 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13785 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13786 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13787 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13788 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13789 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13790 ; GFX11-CU-NEXT:    buffer_gl0_inv
13791 ; GFX11-CU-NEXT:    buffer_gl1_inv
13792 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13793 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13794 ; GFX11-CU-NEXT:    s_endpgm
13795     ptr %out, i32 %in, i32 %old) {
13796 entry:
13797   %gep = getelementptr i32, ptr %out, i32 4
13798   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") acq_rel seq_cst
13799   %val0 = extractvalue { i32, i1 } %val, 0
13800   store i32 %val0, ptr %out, align 4
13801   ret void
13802 }
13803
13804 define amdgpu_kernel void @flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg(
13805 ; GFX7-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13806 ; GFX7:       ; %bb.0: ; %entry
13807 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13808 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13809 ; GFX7-NEXT:    s_add_u32 s4, s0, 16
13810 ; GFX7-NEXT:    s_addc_u32 s5, s1, 0
13811 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13812 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
13813 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13814 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
13815 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13816 ; GFX7-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13817 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
13818 ; GFX7-NEXT:    buffer_wbinvl1_vol
13819 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
13820 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
13821 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13822 ; GFX7-NEXT:    flat_store_dword v[0:1], v2
13823 ; GFX7-NEXT:    s_endpgm
13824 ;
13825 ; GFX10-WGP-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13826 ; GFX10-WGP:       ; %bb.0: ; %entry
13827 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13828 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13829 ; GFX10-WGP-NEXT:    s_add_u32 s4, s0, 16
13830 ; GFX10-WGP-NEXT:    s_addc_u32 s5, s1, 0
13831 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13832 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s2
13833 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13834 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v3, s3
13835 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13836 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13837 ; GFX10-WGP-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13838 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0)
13839 ; GFX10-WGP-NEXT:    buffer_gl0_inv
13840 ; GFX10-WGP-NEXT:    buffer_gl1_inv
13841 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
13842 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
13843 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13844 ; GFX10-WGP-NEXT:    flat_store_dword v[0:1], v2
13845 ; GFX10-WGP-NEXT:    s_endpgm
13846 ;
13847 ; GFX10-CU-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13848 ; GFX10-CU:       ; %bb.0: ; %entry
13849 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13850 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13851 ; GFX10-CU-NEXT:    s_add_u32 s4, s0, 16
13852 ; GFX10-CU-NEXT:    s_addc_u32 s5, s1, 0
13853 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13854 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s2
13855 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13856 ; GFX10-CU-NEXT:    v_mov_b32_e32 v3, s3
13857 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13858 ; GFX10-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13859 ; GFX10-CU-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13860 ; GFX10-CU-NEXT:    s_waitcnt vmcnt(0)
13861 ; GFX10-CU-NEXT:    buffer_gl0_inv
13862 ; GFX10-CU-NEXT:    buffer_gl1_inv
13863 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
13864 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
13865 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13866 ; GFX10-CU-NEXT:    flat_store_dword v[0:1], v2
13867 ; GFX10-CU-NEXT:    s_endpgm
13868 ;
13869 ; SKIP-CACHE-INV-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13870 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13871 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13872 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13873 ; SKIP-CACHE-INV-NEXT:    s_add_u32 s4, s0, 16
13874 ; SKIP-CACHE-INV-NEXT:    s_addc_u32 s5, s1, 0
13875 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s4
13876 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s2
13877 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s5
13878 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v3, s3
13879 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13880 ; SKIP-CACHE-INV-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] glc
13881 ; SKIP-CACHE-INV-NEXT:    s_waitcnt vmcnt(0)
13882 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13883 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13884 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13885 ; SKIP-CACHE-INV-NEXT:    flat_store_dword v[0:1], v2
13886 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13887 ;
13888 ; GFX90A-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13889 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13890 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13891 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13892 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13893 ; GFX90A-NOTTGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13894 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13895 ; GFX90A-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13896 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13897 ; GFX90A-NOTTGSPLIT-NEXT:    buffer_wbinvl1_vol
13898 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13899 ; GFX90A-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13900 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13901 ;
13902 ; GFX90A-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13903 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13904 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
13905 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13906 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[0:1], s[0:1], s[0:1] op_sel:[0,1]
13907 ; GFX90A-TGSPLIT-NEXT:    v_pk_mov_b32 v[2:3], s[2:3], s[2:3] op_sel:[0,1]
13908 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13909 ; GFX90A-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 glc
13910 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13911 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
13912 ; GFX90A-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2
13913 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13914 ;
13915 ; GFX940-NOTTGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13916 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13917 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13918 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13919 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13920 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13921 ; GFX940-NOTTGSPLIT-NEXT:    buffer_wbl2 sc1
13922 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13923 ; GFX940-NOTTGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13924 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13925 ; GFX940-NOTTGSPLIT-NEXT:    buffer_inv sc1
13926 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13927 ; GFX940-NOTTGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13928 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13929 ;
13930 ; GFX940-TGSPLIT-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13931 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13932 ; GFX940-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x0
13933 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13934 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[0:1], s[0:1]
13935 ; GFX940-TGSPLIT-NEXT:    v_mov_b64_e32 v[2:3], s[2:3]
13936 ; GFX940-TGSPLIT-NEXT:    buffer_wbl2 sc1
13937 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13938 ; GFX940-TGSPLIT-NEXT:    flat_atomic_cmpswap v2, v[0:1], v[2:3] offset:16 sc0
13939 ; GFX940-TGSPLIT-NEXT:    s_waitcnt vmcnt(0)
13940 ; GFX940-TGSPLIT-NEXT:    buffer_inv sc1
13941 ; GFX940-TGSPLIT-NEXT:    flat_store_dword v[0:1], v2 sc0 sc1
13942 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13943 ;
13944 ; GFX11-WGP-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13945 ; GFX11-WGP:       ; %bb.0: ; %entry
13946 ; GFX11-WGP-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13947 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13948 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13949 ; GFX11-WGP-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13950 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13951 ; GFX11-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
13952 ; GFX11-WGP-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13953 ; GFX11-WGP-NEXT:    s_waitcnt vmcnt(0)
13954 ; GFX11-WGP-NEXT:    buffer_gl0_inv
13955 ; GFX11-WGP-NEXT:    buffer_gl1_inv
13956 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13957 ; GFX11-WGP-NEXT:    flat_store_b32 v[0:1], v2
13958 ; GFX11-WGP-NEXT:    s_endpgm
13959 ;
13960 ; GFX11-CU-LABEL: flat_agent_one_as_seq_cst_seq_cst_ret_cmpxchg:
13961 ; GFX11-CU:       ; %bb.0: ; %entry
13962 ; GFX11-CU-NEXT:    s_load_b128 s[0:3], s[0:1], 0x0
13963 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13964 ; GFX11-CU-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
13965 ; GFX11-CU-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
13966 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13967 ; GFX11-CU-NEXT:    s_waitcnt_vscnt null, 0x0
13968 ; GFX11-CU-NEXT:    flat_atomic_cmpswap_b32 v2, v[0:1], v[2:3] offset:16 glc
13969 ; GFX11-CU-NEXT:    s_waitcnt vmcnt(0)
13970 ; GFX11-CU-NEXT:    buffer_gl0_inv
13971 ; GFX11-CU-NEXT:    buffer_gl1_inv
13972 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13973 ; GFX11-CU-NEXT:    flat_store_b32 v[0:1], v2
13974 ; GFX11-CU-NEXT:    s_endpgm
13975     ptr %out, i32 %in, i32 %old) {
13976 entry:
13977   %gep = getelementptr i32, ptr %out, i32 4
13978   %val = cmpxchg volatile ptr %gep, i32 %old, i32 %in syncscope("agent-one-as") seq_cst seq_cst
13979   %val0 = extractvalue { i32, i1 } %val, 0
13980   store i32 %val0, ptr %out, align 4
13981   ret void
13982 }
13983