llvm/test/CodeGen/AMDGPU/memory-legalizer-local-system.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx600 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX6 %s
   3 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx700 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX7 %s
   4 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-WGP %s
   5 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx1010 -mattr=+cumode -verify-machineinstrs < %s | FileCheck --check-prefixes=GFX10-CU %s
   6 ; RUN: llc -mtriple=amdgcn-amd-amdpal -mcpu=gfx700 -amdgcn-skip-cache-invalidations -verify-machineinstrs < %s | FileCheck --check-prefixes=SKIP-CACHE-INV %s
   7 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-NOTTGSPLIT %s
   8 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -mcpu=gfx90a -mattr=+tgsplit -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX90A-TGSPLIT %s
   9
  10 define amdgpu_kernel void @local_system_unordered_load(
  11 ; GFX6-LABEL: local_system_unordered_load:
  12 ; GFX6:       ; %bb.0: ; %entry
  13 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
  14 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
  15 ; GFX6-NEXT:    s_mov_b32 m0, -1
  16 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  17 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
  18 ; GFX6-NEXT:    ds_read_b32 v0, v0
  19 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
  20 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  21 ; GFX6-NEXT:    ds_write_b32 v1, v0
  22 ; GFX6-NEXT:    s_endpgm
  23 ;
  24 ; GFX7-LABEL: local_system_unordered_load:
  25 ; GFX7:       ; %bb.0: ; %entry
  26 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  27 ; GFX7-NEXT:    s_mov_b32 m0, -1
  28 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  29 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
  30 ; GFX7-NEXT:    ds_read_b32 v0, v0
  31 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
  32 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  33 ; GFX7-NEXT:    ds_write_b32 v1, v0
  34 ; GFX7-NEXT:    s_endpgm
  35 ;
  36 ; GFX10-WGP-LABEL: local_system_unordered_load:
  37 ; GFX10-WGP:       ; %bb.0: ; %entry
  38 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  39 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  40 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
  41 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
  42 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
  43 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  44 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
  45 ; GFX10-WGP-NEXT:    s_endpgm
  46 ;
  47 ; GFX10-CU-LABEL: local_system_unordered_load:
  48 ; GFX10-CU:       ; %bb.0: ; %entry
  49 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  50 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  51 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
  52 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
  53 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
  54 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  55 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
  56 ; GFX10-CU-NEXT:    s_endpgm
  57 ;
  58 ; SKIP-CACHE-INV-LABEL: local_system_unordered_load:
  59 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
  60 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
  61 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
  62 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  63 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
  64 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
  65 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
  66 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  67 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
  68 ; SKIP-CACHE-INV-NEXT:    s_endpgm
  69 ;
  70 ; GFX90A-NOTTGSPLIT-LABEL: local_system_unordered_load:
  71 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
  72 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  73 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  74 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  75 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
  76 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  77 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  78 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
  79 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
  80 ;
  81 ; GFX90A-TGSPLIT-LABEL: local_system_unordered_load:
  82 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
  83 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
  84 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  85 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
  86 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
  87 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
  88 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  89 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
  90 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
  91     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
  92 entry:
  93   %val = load atomic i32, i32 addrspace(3)* %in unordered, align 4
  94   store i32 %val, i32 addrspace(3)* %out
  95   ret void
  96 }
  97
  98 define amdgpu_kernel void @local_system_monotonic_load(
  99 ; GFX6-LABEL: local_system_monotonic_load:
 100 ; GFX6:       ; %bb.0: ; %entry
 101 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 102 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 103 ; GFX6-NEXT:    s_mov_b32 m0, -1
 104 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 105 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 106 ; GFX6-NEXT:    ds_read_b32 v0, v0
 107 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 108 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 109 ; GFX6-NEXT:    ds_write_b32 v1, v0
 110 ; GFX6-NEXT:    s_endpgm
 111 ;
 112 ; GFX7-LABEL: local_system_monotonic_load:
 113 ; GFX7:       ; %bb.0: ; %entry
 114 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 115 ; GFX7-NEXT:    s_mov_b32 m0, -1
 116 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 117 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 118 ; GFX7-NEXT:    ds_read_b32 v0, v0
 119 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 120 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 121 ; GFX7-NEXT:    ds_write_b32 v1, v0
 122 ; GFX7-NEXT:    s_endpgm
 123 ;
 124 ; GFX10-WGP-LABEL: local_system_monotonic_load:
 125 ; GFX10-WGP:       ; %bb.0: ; %entry
 126 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 127 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 128 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 129 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 130 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 131 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 132 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 133 ; GFX10-WGP-NEXT:    s_endpgm
 134 ;
 135 ; GFX10-CU-LABEL: local_system_monotonic_load:
 136 ; GFX10-CU:       ; %bb.0: ; %entry
 137 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 138 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 139 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 140 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 141 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 142 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 143 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 144 ; GFX10-CU-NEXT:    s_endpgm
 145 ;
 146 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_load:
 147 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 148 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 149 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 150 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 151 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 152 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 153 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 154 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 155 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 156 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 157 ;
 158 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_load:
 159 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 160 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 161 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 162 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 163 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 164 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 165 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 166 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 167 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 168 ;
 169 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_load:
 170 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 171 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 172 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 173 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 174 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 175 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 176 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 177 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 178 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 179     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
 180 entry:
 181   %val = load atomic i32, i32 addrspace(3)* %in monotonic, align 4
 182   store i32 %val, i32 addrspace(3)* %out
 183   ret void
 184 }
 185
 186 define amdgpu_kernel void @local_system_acquire_load(
 187 ; GFX6-LABEL: local_system_acquire_load:
 188 ; GFX6:       ; %bb.0: ; %entry
 189 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 190 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 191 ; GFX6-NEXT:    s_mov_b32 m0, -1
 192 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 193 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 194 ; GFX6-NEXT:    ds_read_b32 v0, v0
 195 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 196 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 197 ; GFX6-NEXT:    ds_write_b32 v1, v0
 198 ; GFX6-NEXT:    s_endpgm
 199 ;
 200 ; GFX7-LABEL: local_system_acquire_load:
 201 ; GFX7:       ; %bb.0: ; %entry
 202 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 203 ; GFX7-NEXT:    s_mov_b32 m0, -1
 204 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 205 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 206 ; GFX7-NEXT:    ds_read_b32 v0, v0
 207 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 208 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 209 ; GFX7-NEXT:    ds_write_b32 v1, v0
 210 ; GFX7-NEXT:    s_endpgm
 211 ;
 212 ; GFX10-WGP-LABEL: local_system_acquire_load:
 213 ; GFX10-WGP:       ; %bb.0: ; %entry
 214 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 215 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 216 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 217 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 218 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 219 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 220 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 221 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 222 ; GFX10-WGP-NEXT:    s_endpgm
 223 ;
 224 ; GFX10-CU-LABEL: local_system_acquire_load:
 225 ; GFX10-CU:       ; %bb.0: ; %entry
 226 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 227 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 228 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 229 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 230 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 231 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 232 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 233 ; GFX10-CU-NEXT:    s_endpgm
 234 ;
 235 ; SKIP-CACHE-INV-LABEL: local_system_acquire_load:
 236 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 237 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 238 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 239 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 240 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 241 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 242 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 243 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 244 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 245 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 246 ;
 247 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_load:
 248 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 249 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 250 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 251 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 252 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 253 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 254 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 255 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 256 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 257 ;
 258 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_load:
 259 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 260 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 261 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 262 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 263 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 264 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 265 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 266 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 267 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 268 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 269     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
 270 entry:
 271   %val = load atomic i32, i32 addrspace(3)* %in acquire, align 4
 272   store i32 %val, i32 addrspace(3)* %out
 273   ret void
 274 }
 275
 276 define amdgpu_kernel void @local_system_seq_cst_load(
 277 ; GFX6-LABEL: local_system_seq_cst_load:
 278 ; GFX6:       ; %bb.0: ; %entry
 279 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 280 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 281 ; GFX6-NEXT:    s_mov_b32 m0, -1
 282 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 283 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 284 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 285 ; GFX6-NEXT:    ds_read_b32 v0, v0
 286 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 287 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 288 ; GFX6-NEXT:    ds_write_b32 v1, v0
 289 ; GFX6-NEXT:    s_endpgm
 290 ;
 291 ; GFX7-LABEL: local_system_seq_cst_load:
 292 ; GFX7:       ; %bb.0: ; %entry
 293 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 294 ; GFX7-NEXT:    s_mov_b32 m0, -1
 295 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 296 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 297 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 298 ; GFX7-NEXT:    ds_read_b32 v0, v0
 299 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 300 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 301 ; GFX7-NEXT:    ds_write_b32 v1, v0
 302 ; GFX7-NEXT:    s_endpgm
 303 ;
 304 ; GFX10-WGP-LABEL: local_system_seq_cst_load:
 305 ; GFX10-WGP:       ; %bb.0: ; %entry
 306 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 307 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 308 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 309 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 310 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 311 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 312 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
 313 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 314 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 315 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
 316 ; GFX10-WGP-NEXT:    s_endpgm
 317 ;
 318 ; GFX10-CU-LABEL: local_system_seq_cst_load:
 319 ; GFX10-CU:       ; %bb.0: ; %entry
 320 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 321 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 322 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 323 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 324 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 325 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
 326 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 327 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
 328 ; GFX10-CU-NEXT:    s_endpgm
 329 ;
 330 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_load:
 331 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 332 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 333 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 334 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 335 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 336 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 337 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
 338 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 339 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 340 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
 341 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 342 ;
 343 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_load:
 344 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 345 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 346 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 347 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 348 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 349 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
 350 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 351 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 352 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
 353 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 354 ;
 355 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_load:
 356 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 357 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 358 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 359 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 360 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 361 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
 362 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 363 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 364 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 365 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
 366 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 367     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
 368 entry:
 369   %val = load atomic i32, i32 addrspace(3)* %in seq_cst, align 4
 370   store i32 %val, i32 addrspace(3)* %out
 371   ret void
 372 }
 373
 374 define amdgpu_kernel void @local_system_unordered_store(
 375 ; GFX6-LABEL: local_system_unordered_store:
 376 ; GFX6:       ; %bb.0: ; %entry
 377 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 378 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 379 ; GFX6-NEXT:    s_mov_b32 m0, -1
 380 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 381 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 382 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 383 ; GFX6-NEXT:    ds_write_b32 v0, v1
 384 ; GFX6-NEXT:    s_endpgm
 385 ;
 386 ; GFX7-LABEL: local_system_unordered_store:
 387 ; GFX7:       ; %bb.0: ; %entry
 388 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 389 ; GFX7-NEXT:    s_mov_b32 m0, -1
 390 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 391 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 392 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 393 ; GFX7-NEXT:    ds_write_b32 v0, v1
 394 ; GFX7-NEXT:    s_endpgm
 395 ;
 396 ; GFX10-WGP-LABEL: local_system_unordered_store:
 397 ; GFX10-WGP:       ; %bb.0: ; %entry
 398 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 399 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 400 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 401 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 402 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 403 ; GFX10-WGP-NEXT:    s_endpgm
 404 ;
 405 ; GFX10-CU-LABEL: local_system_unordered_store:
 406 ; GFX10-CU:       ; %bb.0: ; %entry
 407 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 408 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 409 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 410 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 411 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 412 ; GFX10-CU-NEXT:    s_endpgm
 413 ;
 414 ; SKIP-CACHE-INV-LABEL: local_system_unordered_store:
 415 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 416 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 417 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 418 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 419 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 420 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 421 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 422 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 423 ;
 424 ; GFX90A-NOTTGSPLIT-LABEL: local_system_unordered_store:
 425 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 426 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 427 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 428 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 429 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 430 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 431 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 432 ;
 433 ; GFX90A-TGSPLIT-LABEL: local_system_unordered_store:
 434 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 435 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 436 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 437 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 438 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 439 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 440 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 441     i32 %in, i32 addrspace(3)* %out) {
 442 entry:
 443   store atomic i32 %in, i32 addrspace(3)* %out unordered, align 4
 444   ret void
 445 }
 446
 447 define amdgpu_kernel void @local_system_monotonic_store(
 448 ; GFX6-LABEL: local_system_monotonic_store:
 449 ; GFX6:       ; %bb.0: ; %entry
 450 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 451 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 452 ; GFX6-NEXT:    s_mov_b32 m0, -1
 453 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 454 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 455 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 456 ; GFX6-NEXT:    ds_write_b32 v0, v1
 457 ; GFX6-NEXT:    s_endpgm
 458 ;
 459 ; GFX7-LABEL: local_system_monotonic_store:
 460 ; GFX7:       ; %bb.0: ; %entry
 461 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 462 ; GFX7-NEXT:    s_mov_b32 m0, -1
 463 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 464 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 465 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 466 ; GFX7-NEXT:    ds_write_b32 v0, v1
 467 ; GFX7-NEXT:    s_endpgm
 468 ;
 469 ; GFX10-WGP-LABEL: local_system_monotonic_store:
 470 ; GFX10-WGP:       ; %bb.0: ; %entry
 471 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 472 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 473 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 474 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 475 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 476 ; GFX10-WGP-NEXT:    s_endpgm
 477 ;
 478 ; GFX10-CU-LABEL: local_system_monotonic_store:
 479 ; GFX10-CU:       ; %bb.0: ; %entry
 480 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 481 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 482 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 483 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 484 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 485 ; GFX10-CU-NEXT:    s_endpgm
 486 ;
 487 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_store:
 488 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 489 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 490 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 491 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 492 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 493 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 494 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 495 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 496 ;
 497 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_store:
 498 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 499 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 500 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 501 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 502 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 503 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 504 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 505 ;
 506 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_store:
 507 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 508 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 509 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 510 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 511 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 512 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 513 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 514     i32 %in, i32 addrspace(3)* %out) {
 515 entry:
 516   store atomic i32 %in, i32 addrspace(3)* %out monotonic, align 4
 517   ret void
 518 }
 519
 520 define amdgpu_kernel void @local_system_release_store(
 521 ; GFX6-LABEL: local_system_release_store:
 522 ; GFX6:       ; %bb.0: ; %entry
 523 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 524 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 525 ; GFX6-NEXT:    s_mov_b32 m0, -1
 526 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 527 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 528 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 529 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 530 ; GFX6-NEXT:    ds_write_b32 v0, v1
 531 ; GFX6-NEXT:    s_endpgm
 532 ;
 533 ; GFX7-LABEL: local_system_release_store:
 534 ; GFX7:       ; %bb.0: ; %entry
 535 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 536 ; GFX7-NEXT:    s_mov_b32 m0, -1
 537 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 538 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 539 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 540 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 541 ; GFX7-NEXT:    ds_write_b32 v0, v1
 542 ; GFX7-NEXT:    s_endpgm
 543 ;
 544 ; GFX10-WGP-LABEL: local_system_release_store:
 545 ; GFX10-WGP:       ; %bb.0: ; %entry
 546 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 547 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 548 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 549 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 550 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 551 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 552 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 553 ; GFX10-WGP-NEXT:    s_endpgm
 554 ;
 555 ; GFX10-CU-LABEL: local_system_release_store:
 556 ; GFX10-CU:       ; %bb.0: ; %entry
 557 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 558 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 559 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 560 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 561 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 562 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 563 ; GFX10-CU-NEXT:    s_endpgm
 564 ;
 565 ; SKIP-CACHE-INV-LABEL: local_system_release_store:
 566 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 567 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 568 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 569 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 570 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 571 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 572 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 573 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 574 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 575 ;
 576 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_store:
 577 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 578 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 579 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 580 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 581 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 582 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 583 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 584 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 585 ;
 586 ; GFX90A-TGSPLIT-LABEL: local_system_release_store:
 587 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 588 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 589 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 590 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 591 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 592 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 593 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 594 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 595     i32 %in, i32 addrspace(3)* %out) {
 596 entry:
 597   store atomic i32 %in, i32 addrspace(3)* %out release, align 4
 598   ret void
 599 }
 600
 601 define amdgpu_kernel void @local_system_seq_cst_store(
 602 ; GFX6-LABEL: local_system_seq_cst_store:
 603 ; GFX6:       ; %bb.0: ; %entry
 604 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 605 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 606 ; GFX6-NEXT:    s_mov_b32 m0, -1
 607 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 608 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
 609 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
 610 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 611 ; GFX6-NEXT:    ds_write_b32 v0, v1
 612 ; GFX6-NEXT:    s_endpgm
 613 ;
 614 ; GFX7-LABEL: local_system_seq_cst_store:
 615 ; GFX7:       ; %bb.0: ; %entry
 616 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 617 ; GFX7-NEXT:    s_mov_b32 m0, -1
 618 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 619 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
 620 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
 621 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 622 ; GFX7-NEXT:    ds_write_b32 v0, v1
 623 ; GFX7-NEXT:    s_endpgm
 624 ;
 625 ; GFX10-WGP-LABEL: local_system_seq_cst_store:
 626 ; GFX10-WGP:       ; %bb.0: ; %entry
 627 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 628 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 629 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
 630 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
 631 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 632 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 633 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 634 ; GFX10-WGP-NEXT:    s_endpgm
 635 ;
 636 ; GFX10-CU-LABEL: local_system_seq_cst_store:
 637 ; GFX10-CU:       ; %bb.0: ; %entry
 638 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 639 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 640 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
 641 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
 642 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 643 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 644 ; GFX10-CU-NEXT:    s_endpgm
 645 ;
 646 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_store:
 647 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 648 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 649 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 650 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 651 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 652 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 653 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 654 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 655 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 656 ;
 657 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_store:
 658 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 659 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 660 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 661 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 662 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 663 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 664 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 665 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 666 ;
 667 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_store:
 668 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 669 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 670 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 671 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 672 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 673 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 674 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 675 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 676     i32 %in, i32 addrspace(3)* %out) {
 677 entry:
 678   store atomic i32 %in, i32 addrspace(3)* %out seq_cst, align 4
 679   ret void
 680 }
 681
 682 define amdgpu_kernel void @local_system_monotonic_atomicrmw(
 683 ; GFX6-LABEL: local_system_monotonic_atomicrmw:
 684 ; GFX6:       ; %bb.0: ; %entry
 685 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 686 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 687 ; GFX6-NEXT:    s_mov_b32 m0, -1
 688 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 689 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 690 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 691 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 692 ; GFX6-NEXT:    s_endpgm
 693 ;
 694 ; GFX7-LABEL: local_system_monotonic_atomicrmw:
 695 ; GFX7:       ; %bb.0: ; %entry
 696 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 697 ; GFX7-NEXT:    s_mov_b32 m0, -1
 698 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 699 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 700 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 701 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 702 ; GFX7-NEXT:    s_endpgm
 703 ;
 704 ; GFX10-WGP-LABEL: local_system_monotonic_atomicrmw:
 705 ; GFX10-WGP:       ; %bb.0: ; %entry
 706 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 707 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 708 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 709 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 710 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 711 ; GFX10-WGP-NEXT:    s_endpgm
 712 ;
 713 ; GFX10-CU-LABEL: local_system_monotonic_atomicrmw:
 714 ; GFX10-CU:       ; %bb.0: ; %entry
 715 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 716 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 717 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 718 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 719 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 720 ; GFX10-CU-NEXT:    s_endpgm
 721 ;
 722 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_atomicrmw:
 723 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 724 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 725 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 726 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 727 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 728 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 729 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 730 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 731 ;
 732 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_atomicrmw:
 733 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 734 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 735 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 736 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 737 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 738 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 739 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 740 ;
 741 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_atomicrmw:
 742 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 743 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 744 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 745 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 746 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 747 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 748 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 749     i32 addrspace(3)* %out, i32 %in) {
 750 entry:
 751   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in monotonic
 752   ret void
 753 }
 754
 755 define amdgpu_kernel void @local_system_acquire_atomicrmw(
 756 ; GFX6-LABEL: local_system_acquire_atomicrmw:
 757 ; GFX6:       ; %bb.0: ; %entry
 758 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 759 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 760 ; GFX6-NEXT:    s_mov_b32 m0, -1
 761 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 762 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 763 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 764 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 765 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 766 ; GFX6-NEXT:    s_endpgm
 767 ;
 768 ; GFX7-LABEL: local_system_acquire_atomicrmw:
 769 ; GFX7:       ; %bb.0: ; %entry
 770 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 771 ; GFX7-NEXT:    s_mov_b32 m0, -1
 772 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 773 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 774 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 775 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 776 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 777 ; GFX7-NEXT:    s_endpgm
 778 ;
 779 ; GFX10-WGP-LABEL: local_system_acquire_atomicrmw:
 780 ; GFX10-WGP:       ; %bb.0: ; %entry
 781 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 782 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 783 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 784 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 785 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 786 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 787 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 788 ; GFX10-WGP-NEXT:    s_endpgm
 789 ;
 790 ; GFX10-CU-LABEL: local_system_acquire_atomicrmw:
 791 ; GFX10-CU:       ; %bb.0: ; %entry
 792 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 793 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 794 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 795 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 796 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 797 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 798 ; GFX10-CU-NEXT:    s_endpgm
 799 ;
 800 ; SKIP-CACHE-INV-LABEL: local_system_acquire_atomicrmw:
 801 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 802 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 803 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 805 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 806 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 807 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 808 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 809 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 810 ;
 811 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_atomicrmw:
 812 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 813 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 814 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 815 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 816 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 817 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 818 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 819 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 820 ;
 821 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_atomicrmw:
 822 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 823 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 824 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 825 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 826 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 827 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 828 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 829 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 830     i32 addrspace(3)* %out, i32 %in) {
 831 entry:
 832   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in acquire
 833   ret void
 834 }
 835
 836 define amdgpu_kernel void @local_system_release_atomicrmw(
 837 ; GFX6-LABEL: local_system_release_atomicrmw:
 838 ; GFX6:       ; %bb.0: ; %entry
 839 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 840 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 841 ; GFX6-NEXT:    s_mov_b32 m0, -1
 842 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 843 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 844 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 845 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 846 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 847 ; GFX6-NEXT:    s_endpgm
 848 ;
 849 ; GFX7-LABEL: local_system_release_atomicrmw:
 850 ; GFX7:       ; %bb.0: ; %entry
 851 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 852 ; GFX7-NEXT:    s_mov_b32 m0, -1
 853 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 854 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 855 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 856 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 857 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 858 ; GFX7-NEXT:    s_endpgm
 859 ;
 860 ; GFX10-WGP-LABEL: local_system_release_atomicrmw:
 861 ; GFX10-WGP:       ; %bb.0: ; %entry
 862 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 863 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 864 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 865 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 866 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 867 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 868 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 869 ; GFX10-WGP-NEXT:    s_endpgm
 870 ;
 871 ; GFX10-CU-LABEL: local_system_release_atomicrmw:
 872 ; GFX10-CU:       ; %bb.0: ; %entry
 873 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 874 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 875 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 876 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 877 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 878 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 879 ; GFX10-CU-NEXT:    s_endpgm
 880 ;
 881 ; SKIP-CACHE-INV-LABEL: local_system_release_atomicrmw:
 882 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 883 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 884 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 885 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 886 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 887 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 888 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 889 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 890 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 891 ;
 892 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_atomicrmw:
 893 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 894 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 895 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 896 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 897 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 898 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 899 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 900 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 901 ;
 902 ; GFX90A-TGSPLIT-LABEL: local_system_release_atomicrmw:
 903 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 904 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 905 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 906 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 907 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 908 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 909 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 910 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 911     i32 addrspace(3)* %out, i32 %in) {
 912 entry:
 913   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in release
 914   ret void
 915 }
 916
 917 define amdgpu_kernel void @local_system_acq_rel_atomicrmw(
 918 ; GFX6-LABEL: local_system_acq_rel_atomicrmw:
 919 ; GFX6:       ; %bb.0: ; %entry
 920 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
 921 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
 922 ; GFX6-NEXT:    s_mov_b32 m0, -1
 923 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 924 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
 925 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
 926 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 927 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 928 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 929 ; GFX6-NEXT:    s_endpgm
 930 ;
 931 ; GFX7-LABEL: local_system_acq_rel_atomicrmw:
 932 ; GFX7:       ; %bb.0: ; %entry
 933 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 934 ; GFX7-NEXT:    s_mov_b32 m0, -1
 935 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 936 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 937 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 938 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 939 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 940 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 941 ; GFX7-NEXT:    s_endpgm
 942 ;
 943 ; GFX10-WGP-LABEL: local_system_acq_rel_atomicrmw:
 944 ; GFX10-WGP:       ; %bb.0: ; %entry
 945 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 946 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 947 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
 948 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
 949 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 950 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
 951 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 952 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 953 ; GFX10-WGP-NEXT:    buffer_gl0_inv
 954 ; GFX10-WGP-NEXT:    s_endpgm
 955 ;
 956 ; GFX10-CU-LABEL: local_system_acq_rel_atomicrmw:
 957 ; GFX10-CU:       ; %bb.0: ; %entry
 958 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 959 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 960 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
 961 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
 962 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 963 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 964 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 965 ; GFX10-CU-NEXT:    s_endpgm
 966 ;
 967 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_atomicrmw:
 968 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 969 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
 970 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 971 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 972 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 973 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
 974 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 975 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 976 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 977 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 978 ;
 979 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_atomicrmw:
 980 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 981 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 982 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 983 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 984 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 985 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 986 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 987 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 988 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 989 ;
 990 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_atomicrmw:
 991 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 992 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
 993 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 994 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 995 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
 996 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 997 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
 998 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
 999 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1000     i32 addrspace(3)* %out, i32 %in) {
1001 entry:
1002   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in acq_rel
1003   ret void
1004 }
1005
1006 define amdgpu_kernel void @local_system_seq_cst_atomicrmw(
1007 ; GFX6-LABEL: local_system_seq_cst_atomicrmw:
1008 ; GFX6:       ; %bb.0: ; %entry
1009 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
1010 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
1011 ; GFX6-NEXT:    s_mov_b32 m0, -1
1012 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1013 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1014 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1015 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1016 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1017 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1018 ; GFX6-NEXT:    s_endpgm
1019 ;
1020 ; GFX7-LABEL: local_system_seq_cst_atomicrmw:
1021 ; GFX7:       ; %bb.0: ; %entry
1022 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1023 ; GFX7-NEXT:    s_mov_b32 m0, -1
1024 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1025 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1026 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1027 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1028 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1029 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1030 ; GFX7-NEXT:    s_endpgm
1031 ;
1032 ; GFX10-WGP-LABEL: local_system_seq_cst_atomicrmw:
1033 ; GFX10-WGP:       ; %bb.0: ; %entry
1034 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1035 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1036 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1037 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1038 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1039 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1040 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1041 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1042 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1043 ; GFX10-WGP-NEXT:    s_endpgm
1044 ;
1045 ; GFX10-CU-LABEL: local_system_seq_cst_atomicrmw:
1046 ; GFX10-CU:       ; %bb.0: ; %entry
1047 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1048 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1049 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1050 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1051 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1052 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1053 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1054 ; GFX10-CU-NEXT:    s_endpgm
1055 ;
1056 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_atomicrmw:
1057 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1058 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
1059 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1060 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1061 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1062 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1063 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1064 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1065 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1066 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1067 ;
1068 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_atomicrmw:
1069 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1070 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1071 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1072 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1073 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1074 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1075 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1076 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1077 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1078 ;
1079 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_atomicrmw:
1080 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1081 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1082 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1083 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1084 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1085 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1086 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1087 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1088 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1089     i32 addrspace(3)* %out, i32 %in) {
1090 entry:
1091   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in seq_cst
1092   ret void
1093 }
1094
1095 define amdgpu_kernel void @local_system_acquire_ret_atomicrmw(
1096 ; GFX6-LABEL: local_system_acquire_ret_atomicrmw:
1097 ; GFX6:       ; %bb.0: ; %entry
1098 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
1099 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
1100 ; GFX6-NEXT:    s_mov_b32 m0, -1
1101 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1102 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1103 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1104 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1105 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1106 ; GFX6-NEXT:    ds_write_b32 v0, v1
1107 ; GFX6-NEXT:    s_endpgm
1108 ;
1109 ; GFX7-LABEL: local_system_acquire_ret_atomicrmw:
1110 ; GFX7:       ; %bb.0: ; %entry
1111 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1112 ; GFX7-NEXT:    s_mov_b32 m0, -1
1113 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1114 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1115 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1116 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1117 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1118 ; GFX7-NEXT:    ds_write_b32 v0, v1
1119 ; GFX7-NEXT:    s_endpgm
1120 ;
1121 ; GFX10-WGP-LABEL: local_system_acquire_ret_atomicrmw:
1122 ; GFX10-WGP:       ; %bb.0: ; %entry
1123 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1124 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1125 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1126 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1127 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1128 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1129 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1130 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1131 ; GFX10-WGP-NEXT:    s_endpgm
1132 ;
1133 ; GFX10-CU-LABEL: local_system_acquire_ret_atomicrmw:
1134 ; GFX10-CU:       ; %bb.0: ; %entry
1135 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1136 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1137 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1138 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1139 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1140 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1141 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1142 ; GFX10-CU-NEXT:    s_endpgm
1143 ;
1144 ; SKIP-CACHE-INV-LABEL: local_system_acquire_ret_atomicrmw:
1145 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1146 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
1147 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1148 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1149 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1150 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1151 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1152 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1153 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1154 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1155 ;
1156 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_ret_atomicrmw:
1157 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1158 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1159 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1160 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1161 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1162 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1163 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1164 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1165 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1166 ;
1167 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_ret_atomicrmw:
1168 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1169 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1170 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1171 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1172 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1173 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1174 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1175 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1176 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1177 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1178     i32 addrspace(3)* %out, i32 %in) {
1179 entry:
1180   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in acquire
1181   store i32 %val, i32 addrspace(3)* %out, align 4
1182   ret void
1183 }
1184
1185 define amdgpu_kernel void @local_system_acq_rel_ret_atomicrmw(
1186 ; GFX6-LABEL: local_system_acq_rel_ret_atomicrmw:
1187 ; GFX6:       ; %bb.0: ; %entry
1188 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
1189 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
1190 ; GFX6-NEXT:    s_mov_b32 m0, -1
1191 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1192 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1193 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1194 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1195 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1196 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1197 ; GFX6-NEXT:    ds_write_b32 v0, v1
1198 ; GFX6-NEXT:    s_endpgm
1199 ;
1200 ; GFX7-LABEL: local_system_acq_rel_ret_atomicrmw:
1201 ; GFX7:       ; %bb.0: ; %entry
1202 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1203 ; GFX7-NEXT:    s_mov_b32 m0, -1
1204 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1205 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1206 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1207 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1208 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1209 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1210 ; GFX7-NEXT:    ds_write_b32 v0, v1
1211 ; GFX7-NEXT:    s_endpgm
1212 ;
1213 ; GFX10-WGP-LABEL: local_system_acq_rel_ret_atomicrmw:
1214 ; GFX10-WGP:       ; %bb.0: ; %entry
1215 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1216 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1217 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1218 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1219 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1220 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1221 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1222 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1223 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1224 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1225 ; GFX10-WGP-NEXT:    s_endpgm
1226 ;
1227 ; GFX10-CU-LABEL: local_system_acq_rel_ret_atomicrmw:
1228 ; GFX10-CU:       ; %bb.0: ; %entry
1229 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1230 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1231 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1232 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1233 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1234 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1235 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1236 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1237 ; GFX10-CU-NEXT:    s_endpgm
1238 ;
1239 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_ret_atomicrmw:
1240 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1241 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
1242 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1243 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1244 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1245 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1246 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1247 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1248 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1249 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1250 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1251 ;
1252 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_ret_atomicrmw:
1253 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1254 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1255 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1256 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1257 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1258 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1259 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1260 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1261 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1262 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1263 ;
1264 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_ret_atomicrmw:
1265 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1266 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1267 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1268 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1269 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1270 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1271 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1272 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1273 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1274 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1275 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1276     i32 addrspace(3)* %out, i32 %in) {
1277 entry:
1278   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in acq_rel
1279   store i32 %val, i32 addrspace(3)* %out, align 4
1280   ret void
1281 }
1282
1283 define amdgpu_kernel void @local_system_seq_cst_ret_atomicrmw(
1284 ; GFX6-LABEL: local_system_seq_cst_ret_atomicrmw:
1285 ; GFX6:       ; %bb.0: ; %entry
1286 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
1287 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
1288 ; GFX6-NEXT:    s_mov_b32 m0, -1
1289 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1290 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
1291 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1292 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1293 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1294 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1295 ; GFX6-NEXT:    ds_write_b32 v0, v1
1296 ; GFX6-NEXT:    s_endpgm
1297 ;
1298 ; GFX7-LABEL: local_system_seq_cst_ret_atomicrmw:
1299 ; GFX7:       ; %bb.0: ; %entry
1300 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1301 ; GFX7-NEXT:    s_mov_b32 m0, -1
1302 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1303 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1304 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1305 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1306 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1307 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1308 ; GFX7-NEXT:    ds_write_b32 v0, v1
1309 ; GFX7-NEXT:    s_endpgm
1310 ;
1311 ; GFX10-WGP-LABEL: local_system_seq_cst_ret_atomicrmw:
1312 ; GFX10-WGP:       ; %bb.0: ; %entry
1313 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1314 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1315 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1316 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
1317 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1318 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1319 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1320 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1321 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1322 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1323 ; GFX10-WGP-NEXT:    s_endpgm
1324 ;
1325 ; GFX10-CU-LABEL: local_system_seq_cst_ret_atomicrmw:
1326 ; GFX10-CU:       ; %bb.0: ; %entry
1327 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1328 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1329 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1330 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
1331 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1332 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1333 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1334 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1335 ; GFX10-CU-NEXT:    s_endpgm
1336 ;
1337 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_ret_atomicrmw:
1338 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1339 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
1340 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1341 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1342 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
1343 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
1344 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1345 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1346 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1347 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1348 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1349 ;
1350 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_ret_atomicrmw:
1351 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1352 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1353 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1354 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1355 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1356 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1357 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1358 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1359 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1360 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1361 ;
1362 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_ret_atomicrmw:
1363 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1364 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
1365 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1366 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1367 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
1368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1369 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1370 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1371 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1372 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1373 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1374     i32 addrspace(3)* %out, i32 %in) {
1375 entry:
1376   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in seq_cst
1377   store i32 %val, i32 addrspace(3)* %out, align 4
1378   ret void
1379 }
1380
1381 define amdgpu_kernel void @local_system_monotonic_monotonic_cmpxchg(
1382 ; GFX6-LABEL: local_system_monotonic_monotonic_cmpxchg:
1383 ; GFX6:       ; %bb.0: ; %entry
1384 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1385 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1386 ; GFX6-NEXT:    s_mov_b32 m0, -1
1387 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1388 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1389 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1390 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1391 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1392 ; GFX6-NEXT:    s_endpgm
1393 ;
1394 ; GFX7-LABEL: local_system_monotonic_monotonic_cmpxchg:
1395 ; GFX7:       ; %bb.0: ; %entry
1396 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1397 ; GFX7-NEXT:    s_mov_b32 m0, -1
1398 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1399 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1400 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1401 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1402 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1403 ; GFX7-NEXT:    s_endpgm
1404 ;
1405 ; GFX10-WGP-LABEL: local_system_monotonic_monotonic_cmpxchg:
1406 ; GFX10-WGP:       ; %bb.0: ; %entry
1407 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1408 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1409 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1410 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1411 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1412 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1413 ; GFX10-WGP-NEXT:    s_endpgm
1414 ;
1415 ; GFX10-CU-LABEL: local_system_monotonic_monotonic_cmpxchg:
1416 ; GFX10-CU:       ; %bb.0: ; %entry
1417 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1418 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1419 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1420 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1421 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1422 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1423 ; GFX10-CU-NEXT:    s_endpgm
1424 ;
1425 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_monotonic_cmpxchg:
1426 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1427 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1428 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1429 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1430 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1431 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1432 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1433 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1434 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1435 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1436 ;
1437 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_monotonic_cmpxchg:
1438 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1439 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1440 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1441 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1442 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1443 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1444 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1445 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1446 ;
1447 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_monotonic_cmpxchg:
1448 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1449 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1450 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1451 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1452 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1453 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1454 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1455 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1456     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1457 entry:
1458   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1459   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic monotonic
1460   ret void
1461 }
1462
1463 define amdgpu_kernel void @local_system_acquire_monotonic_cmpxchg(
1464 ; GFX6-LABEL: local_system_acquire_monotonic_cmpxchg:
1465 ; GFX6:       ; %bb.0: ; %entry
1466 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1467 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1468 ; GFX6-NEXT:    s_mov_b32 m0, -1
1469 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1470 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1471 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1472 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1473 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1474 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1475 ; GFX6-NEXT:    s_endpgm
1476 ;
1477 ; GFX7-LABEL: local_system_acquire_monotonic_cmpxchg:
1478 ; GFX7:       ; %bb.0: ; %entry
1479 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1480 ; GFX7-NEXT:    s_mov_b32 m0, -1
1481 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1482 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1483 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1484 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1485 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1486 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1487 ; GFX7-NEXT:    s_endpgm
1488 ;
1489 ; GFX10-WGP-LABEL: local_system_acquire_monotonic_cmpxchg:
1490 ; GFX10-WGP:       ; %bb.0: ; %entry
1491 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1492 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1493 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1494 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1495 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1496 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1497 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1498 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1499 ; GFX10-WGP-NEXT:    s_endpgm
1500 ;
1501 ; GFX10-CU-LABEL: local_system_acquire_monotonic_cmpxchg:
1502 ; GFX10-CU:       ; %bb.0: ; %entry
1503 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1504 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1505 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1506 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1507 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1508 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1509 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1510 ; GFX10-CU-NEXT:    s_endpgm
1511 ;
1512 ; SKIP-CACHE-INV-LABEL: local_system_acquire_monotonic_cmpxchg:
1513 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1514 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1515 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1516 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1517 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1518 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1519 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1520 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1521 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1522 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1523 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1524 ;
1525 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_monotonic_cmpxchg:
1526 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1527 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1528 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1529 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1530 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1531 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1532 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1533 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1534 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1535 ;
1536 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_monotonic_cmpxchg:
1537 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1538 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1539 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1540 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1541 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1542 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1543 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1544 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1545 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1546     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1547 entry:
1548   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1549   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire monotonic
1550   ret void
1551 }
1552
1553 define amdgpu_kernel void @local_system_release_monotonic_cmpxchg(
1554 ; GFX6-LABEL: local_system_release_monotonic_cmpxchg:
1555 ; GFX6:       ; %bb.0: ; %entry
1556 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1557 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1558 ; GFX6-NEXT:    s_mov_b32 m0, -1
1559 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1560 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1561 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1562 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1563 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1564 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1565 ; GFX6-NEXT:    s_endpgm
1566 ;
1567 ; GFX7-LABEL: local_system_release_monotonic_cmpxchg:
1568 ; GFX7:       ; %bb.0: ; %entry
1569 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1570 ; GFX7-NEXT:    s_mov_b32 m0, -1
1571 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1572 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1573 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1574 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1575 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1576 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1577 ; GFX7-NEXT:    s_endpgm
1578 ;
1579 ; GFX10-WGP-LABEL: local_system_release_monotonic_cmpxchg:
1580 ; GFX10-WGP:       ; %bb.0: ; %entry
1581 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1582 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1583 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1584 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1585 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1586 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1587 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1588 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1589 ; GFX10-WGP-NEXT:    s_endpgm
1590 ;
1591 ; GFX10-CU-LABEL: local_system_release_monotonic_cmpxchg:
1592 ; GFX10-CU:       ; %bb.0: ; %entry
1593 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1594 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1595 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1596 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1597 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1598 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1599 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1600 ; GFX10-CU-NEXT:    s_endpgm
1601 ;
1602 ; SKIP-CACHE-INV-LABEL: local_system_release_monotonic_cmpxchg:
1603 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1604 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1605 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1606 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1607 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1608 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1609 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1610 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1611 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1612 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1613 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1614 ;
1615 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_monotonic_cmpxchg:
1616 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1617 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1618 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1619 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1620 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1621 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1622 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1623 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1624 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1625 ;
1626 ; GFX90A-TGSPLIT-LABEL: local_system_release_monotonic_cmpxchg:
1627 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1628 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1629 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1630 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1631 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1632 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1633 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1634 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1635 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1636     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1637 entry:
1638   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1639   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release monotonic
1640   ret void
1641 }
1642
1643 define amdgpu_kernel void @local_system_acq_rel_monotonic_cmpxchg(
1644 ; GFX6-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1645 ; GFX6:       ; %bb.0: ; %entry
1646 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1647 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1648 ; GFX6-NEXT:    s_mov_b32 m0, -1
1649 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1650 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1651 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1652 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1653 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1654 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1655 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1656 ; GFX6-NEXT:    s_endpgm
1657 ;
1658 ; GFX7-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1659 ; GFX7:       ; %bb.0: ; %entry
1660 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1661 ; GFX7-NEXT:    s_mov_b32 m0, -1
1662 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1663 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1664 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1665 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1666 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1667 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1668 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1669 ; GFX7-NEXT:    s_endpgm
1670 ;
1671 ; GFX10-WGP-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1672 ; GFX10-WGP:       ; %bb.0: ; %entry
1673 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1674 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1675 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1676 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1677 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1678 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1679 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1680 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1681 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1682 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1683 ; GFX10-WGP-NEXT:    s_endpgm
1684 ;
1685 ; GFX10-CU-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1686 ; GFX10-CU:       ; %bb.0: ; %entry
1687 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1688 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1689 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1690 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1691 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1692 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1693 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1694 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1695 ; GFX10-CU-NEXT:    s_endpgm
1696 ;
1697 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1698 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1699 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1700 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1701 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1702 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1703 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1704 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1705 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1706 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1707 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1708 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1709 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1710 ;
1711 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1712 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1713 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1714 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1715 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1716 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1717 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1718 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1719 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1720 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1721 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1722 ;
1723 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_monotonic_cmpxchg:
1724 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1725 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1726 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1727 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1728 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1729 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1730 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1731 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1732 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1733 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1734     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1735 entry:
1736   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1737   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel monotonic
1738   ret void
1739 }
1740
1741 define amdgpu_kernel void @local_system_seq_cst_monotonic_cmpxchg(
1742 ; GFX6-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1743 ; GFX6:       ; %bb.0: ; %entry
1744 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1745 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1746 ; GFX6-NEXT:    s_mov_b32 m0, -1
1747 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1748 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1749 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1750 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1751 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1752 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1753 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1754 ; GFX6-NEXT:    s_endpgm
1755 ;
1756 ; GFX7-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1757 ; GFX7:       ; %bb.0: ; %entry
1758 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1759 ; GFX7-NEXT:    s_mov_b32 m0, -1
1760 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1761 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1762 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1763 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1764 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1765 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1766 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1767 ; GFX7-NEXT:    s_endpgm
1768 ;
1769 ; GFX10-WGP-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1770 ; GFX10-WGP:       ; %bb.0: ; %entry
1771 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1772 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1773 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1774 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1775 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1776 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1777 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
1778 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1779 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1780 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1781 ; GFX10-WGP-NEXT:    s_endpgm
1782 ;
1783 ; GFX10-CU-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1784 ; GFX10-CU:       ; %bb.0: ; %entry
1785 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1786 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1787 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1788 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1789 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1790 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1791 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1792 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1793 ; GFX10-CU-NEXT:    s_endpgm
1794 ;
1795 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1796 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1797 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1798 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1799 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1800 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1801 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1802 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1803 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1804 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1805 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1806 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1807 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1808 ;
1809 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1810 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1811 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1812 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1813 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1814 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1815 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1816 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1817 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1818 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1819 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1820 ;
1821 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_monotonic_cmpxchg:
1822 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1823 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1824 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1825 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1826 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1827 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1828 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1829 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1830 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1831 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1832     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1833 entry:
1834   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1835   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst monotonic
1836   ret void
1837 }
1838
1839 define amdgpu_kernel void @local_system_monotonic_acquire_cmpxchg(
1840 ; GFX6-LABEL: local_system_monotonic_acquire_cmpxchg:
1841 ; GFX6:       ; %bb.0: ; %entry
1842 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1843 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1844 ; GFX6-NEXT:    s_mov_b32 m0, -1
1845 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1846 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1847 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1848 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1849 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1850 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1851 ; GFX6-NEXT:    s_endpgm
1852 ;
1853 ; GFX7-LABEL: local_system_monotonic_acquire_cmpxchg:
1854 ; GFX7:       ; %bb.0: ; %entry
1855 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1856 ; GFX7-NEXT:    s_mov_b32 m0, -1
1857 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1858 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1859 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1860 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1861 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1862 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1863 ; GFX7-NEXT:    s_endpgm
1864 ;
1865 ; GFX10-WGP-LABEL: local_system_monotonic_acquire_cmpxchg:
1866 ; GFX10-WGP:       ; %bb.0: ; %entry
1867 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1868 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1869 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1870 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1871 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1872 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1873 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1874 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1875 ; GFX10-WGP-NEXT:    s_endpgm
1876 ;
1877 ; GFX10-CU-LABEL: local_system_monotonic_acquire_cmpxchg:
1878 ; GFX10-CU:       ; %bb.0: ; %entry
1879 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1880 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1881 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1882 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1883 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1884 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1885 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1886 ; GFX10-CU-NEXT:    s_endpgm
1887 ;
1888 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_acquire_cmpxchg:
1889 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1890 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1891 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1892 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1893 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1894 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1895 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1896 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1897 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1898 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1899 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1900 ;
1901 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_acquire_cmpxchg:
1902 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1903 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1904 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1905 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1906 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1907 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1908 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1909 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1910 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1911 ;
1912 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_acquire_cmpxchg:
1913 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1914 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1915 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1916 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1917 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1918 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1919 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1920 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
1921 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1922     i32 addrspace(3)* %out, i32 %in, i32 %old) {
1923 entry:
1924   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
1925   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic acquire
1926   ret void
1927 }
1928
1929 define amdgpu_kernel void @local_system_acquire_acquire_cmpxchg(
1930 ; GFX6-LABEL: local_system_acquire_acquire_cmpxchg:
1931 ; GFX6:       ; %bb.0: ; %entry
1932 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
1933 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
1934 ; GFX6-NEXT:    s_mov_b32 m0, -1
1935 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1936 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
1937 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
1938 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
1939 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1940 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1941 ; GFX6-NEXT:    s_endpgm
1942 ;
1943 ; GFX7-LABEL: local_system_acquire_acquire_cmpxchg:
1944 ; GFX7:       ; %bb.0: ; %entry
1945 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1946 ; GFX7-NEXT:    s_mov_b32 m0, -1
1947 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1948 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1949 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
1950 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
1951 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1952 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1953 ; GFX7-NEXT:    s_endpgm
1954 ;
1955 ; GFX10-WGP-LABEL: local_system_acquire_acquire_cmpxchg:
1956 ; GFX10-WGP:       ; %bb.0: ; %entry
1957 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1958 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1959 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
1960 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
1961 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
1962 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1963 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1964 ; GFX10-WGP-NEXT:    buffer_gl0_inv
1965 ; GFX10-WGP-NEXT:    s_endpgm
1966 ;
1967 ; GFX10-CU-LABEL: local_system_acquire_acquire_cmpxchg:
1968 ; GFX10-CU:       ; %bb.0: ; %entry
1969 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1970 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1971 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
1972 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
1973 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
1974 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1975 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1976 ; GFX10-CU-NEXT:    s_endpgm
1977 ;
1978 ; SKIP-CACHE-INV-LABEL: local_system_acquire_acquire_cmpxchg:
1979 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1980 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
1981 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
1982 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1983 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1984 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
1985 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1986 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
1987 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1988 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1989 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1990 ;
1991 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_acquire_cmpxchg:
1992 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1993 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
1994 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1995 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
1996 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
1997 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
1998 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
1999 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2000 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2001 ;
2002 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_acquire_cmpxchg:
2003 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2004 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2005 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2006 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2007 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2008 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2009 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2010 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2011 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2012     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2013 entry:
2014   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2015   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire acquire
2016   ret void
2017 }
2018
2019 define amdgpu_kernel void @local_system_release_acquire_cmpxchg(
2020 ; GFX6-LABEL: local_system_release_acquire_cmpxchg:
2021 ; GFX6:       ; %bb.0: ; %entry
2022 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2023 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2024 ; GFX6-NEXT:    s_mov_b32 m0, -1
2025 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2026 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2027 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2028 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2029 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2030 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2031 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2032 ; GFX6-NEXT:    s_endpgm
2033 ;
2034 ; GFX7-LABEL: local_system_release_acquire_cmpxchg:
2035 ; GFX7:       ; %bb.0: ; %entry
2036 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2037 ; GFX7-NEXT:    s_mov_b32 m0, -1
2038 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2039 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2040 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2041 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2042 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2043 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2044 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2045 ; GFX7-NEXT:    s_endpgm
2046 ;
2047 ; GFX10-WGP-LABEL: local_system_release_acquire_cmpxchg:
2048 ; GFX10-WGP:       ; %bb.0: ; %entry
2049 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2050 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2051 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2052 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2053 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2054 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2055 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2056 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2057 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2058 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2059 ; GFX10-WGP-NEXT:    s_endpgm
2060 ;
2061 ; GFX10-CU-LABEL: local_system_release_acquire_cmpxchg:
2062 ; GFX10-CU:       ; %bb.0: ; %entry
2063 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2064 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2065 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2066 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2067 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2068 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2069 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2070 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2071 ; GFX10-CU-NEXT:    s_endpgm
2072 ;
2073 ; SKIP-CACHE-INV-LABEL: local_system_release_acquire_cmpxchg:
2074 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2075 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2076 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2077 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2078 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2079 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2080 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2081 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2082 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2083 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2084 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2085 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2086 ;
2087 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_acquire_cmpxchg:
2088 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2089 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2090 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2091 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2092 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2093 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2094 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2095 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2096 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2097 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2098 ;
2099 ; GFX90A-TGSPLIT-LABEL: local_system_release_acquire_cmpxchg:
2100 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2101 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2102 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2103 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2104 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2105 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2106 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2107 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2108 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2109 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2110     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2111 entry:
2112   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2113   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release acquire
2114   ret void
2115 }
2116
2117 define amdgpu_kernel void @local_system_acq_rel_acquire_cmpxchg(
2118 ; GFX6-LABEL: local_system_acq_rel_acquire_cmpxchg:
2119 ; GFX6:       ; %bb.0: ; %entry
2120 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2121 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2122 ; GFX6-NEXT:    s_mov_b32 m0, -1
2123 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2124 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2125 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2126 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2127 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2128 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2129 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2130 ; GFX6-NEXT:    s_endpgm
2131 ;
2132 ; GFX7-LABEL: local_system_acq_rel_acquire_cmpxchg:
2133 ; GFX7:       ; %bb.0: ; %entry
2134 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2135 ; GFX7-NEXT:    s_mov_b32 m0, -1
2136 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2137 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2138 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2139 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2140 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2141 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2142 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2143 ; GFX7-NEXT:    s_endpgm
2144 ;
2145 ; GFX10-WGP-LABEL: local_system_acq_rel_acquire_cmpxchg:
2146 ; GFX10-WGP:       ; %bb.0: ; %entry
2147 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2148 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2149 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2150 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2151 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2152 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2153 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2154 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2155 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2156 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2157 ; GFX10-WGP-NEXT:    s_endpgm
2158 ;
2159 ; GFX10-CU-LABEL: local_system_acq_rel_acquire_cmpxchg:
2160 ; GFX10-CU:       ; %bb.0: ; %entry
2161 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2162 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2163 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2164 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2165 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2166 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2167 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2168 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2169 ; GFX10-CU-NEXT:    s_endpgm
2170 ;
2171 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_acquire_cmpxchg:
2172 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2173 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2174 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2175 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2176 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2177 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2178 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2179 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2180 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2181 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2182 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2183 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2184 ;
2185 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_acquire_cmpxchg:
2186 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2187 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2188 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2189 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2190 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2191 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2192 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2193 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2194 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2195 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2196 ;
2197 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_acquire_cmpxchg:
2198 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2199 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2200 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2201 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2202 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2203 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2204 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2205 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2206 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2207 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2208     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2209 entry:
2210   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2211   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel acquire
2212   ret void
2213 }
2214
2215 define amdgpu_kernel void @local_system_seq_cst_acquire_cmpxchg(
2216 ; GFX6-LABEL: local_system_seq_cst_acquire_cmpxchg:
2217 ; GFX6:       ; %bb.0: ; %entry
2218 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2219 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2220 ; GFX6-NEXT:    s_mov_b32 m0, -1
2221 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2222 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2223 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2224 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2225 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2226 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2227 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2228 ; GFX6-NEXT:    s_endpgm
2229 ;
2230 ; GFX7-LABEL: local_system_seq_cst_acquire_cmpxchg:
2231 ; GFX7:       ; %bb.0: ; %entry
2232 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2233 ; GFX7-NEXT:    s_mov_b32 m0, -1
2234 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2235 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2236 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2237 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2238 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2239 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2240 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2241 ; GFX7-NEXT:    s_endpgm
2242 ;
2243 ; GFX10-WGP-LABEL: local_system_seq_cst_acquire_cmpxchg:
2244 ; GFX10-WGP:       ; %bb.0: ; %entry
2245 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2246 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2247 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2248 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2249 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2250 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2251 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2252 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2253 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2254 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2255 ; GFX10-WGP-NEXT:    s_endpgm
2256 ;
2257 ; GFX10-CU-LABEL: local_system_seq_cst_acquire_cmpxchg:
2258 ; GFX10-CU:       ; %bb.0: ; %entry
2259 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2260 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2261 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2262 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2263 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2264 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2265 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2266 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2267 ; GFX10-CU-NEXT:    s_endpgm
2268 ;
2269 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_acquire_cmpxchg:
2270 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2271 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2272 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2273 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2274 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2275 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2276 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2277 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2278 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2279 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2280 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2281 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2282 ;
2283 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_acquire_cmpxchg:
2284 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2285 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2286 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2287 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2288 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2289 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2290 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2291 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2292 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2293 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2294 ;
2295 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_acquire_cmpxchg:
2296 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2297 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2298 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2299 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2300 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2301 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2302 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2303 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2304 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2305 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2306     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2307 entry:
2308   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2309   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst acquire
2310   ret void
2311 }
2312
2313 define amdgpu_kernel void @local_system_monotonic_seq_cst_cmpxchg(
2314 ; GFX6-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2315 ; GFX6:       ; %bb.0: ; %entry
2316 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2317 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2318 ; GFX6-NEXT:    s_mov_b32 m0, -1
2319 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2320 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2321 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2322 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2323 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2324 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2325 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2326 ; GFX6-NEXT:    s_endpgm
2327 ;
2328 ; GFX7-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2329 ; GFX7:       ; %bb.0: ; %entry
2330 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2331 ; GFX7-NEXT:    s_mov_b32 m0, -1
2332 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2333 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2334 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2335 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2336 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2337 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2338 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2339 ; GFX7-NEXT:    s_endpgm
2340 ;
2341 ; GFX10-WGP-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2342 ; GFX10-WGP:       ; %bb.0: ; %entry
2343 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2344 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2345 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2346 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2347 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2348 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2349 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2350 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2351 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2352 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2353 ; GFX10-WGP-NEXT:    s_endpgm
2354 ;
2355 ; GFX10-CU-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2356 ; GFX10-CU:       ; %bb.0: ; %entry
2357 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2358 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2359 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2360 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2361 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2362 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2363 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2364 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2365 ; GFX10-CU-NEXT:    s_endpgm
2366 ;
2367 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2368 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2369 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2370 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2371 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2372 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2373 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2374 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2375 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2376 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2377 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2378 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2379 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2380 ;
2381 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2382 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2383 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2384 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2385 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2386 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2388 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2389 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2390 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2391 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2392 ;
2393 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_seq_cst_cmpxchg:
2394 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2395 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2396 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2397 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2398 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2399 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2400 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2401 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2402 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2403 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2404     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2405 entry:
2406   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2407   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic seq_cst
2408   ret void
2409 }
2410
2411 define amdgpu_kernel void @local_system_acquire_seq_cst_cmpxchg(
2412 ; GFX6-LABEL: local_system_acquire_seq_cst_cmpxchg:
2413 ; GFX6:       ; %bb.0: ; %entry
2414 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2415 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2416 ; GFX6-NEXT:    s_mov_b32 m0, -1
2417 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2418 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2419 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2420 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2421 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2422 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2423 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2424 ; GFX6-NEXT:    s_endpgm
2425 ;
2426 ; GFX7-LABEL: local_system_acquire_seq_cst_cmpxchg:
2427 ; GFX7:       ; %bb.0: ; %entry
2428 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2429 ; GFX7-NEXT:    s_mov_b32 m0, -1
2430 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2431 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2432 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2433 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2434 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2435 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2436 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2437 ; GFX7-NEXT:    s_endpgm
2438 ;
2439 ; GFX10-WGP-LABEL: local_system_acquire_seq_cst_cmpxchg:
2440 ; GFX10-WGP:       ; %bb.0: ; %entry
2441 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2442 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2443 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2444 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2445 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2446 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2447 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2448 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2449 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2450 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2451 ; GFX10-WGP-NEXT:    s_endpgm
2452 ;
2453 ; GFX10-CU-LABEL: local_system_acquire_seq_cst_cmpxchg:
2454 ; GFX10-CU:       ; %bb.0: ; %entry
2455 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2456 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2457 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2458 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2459 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2460 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2461 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2462 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2463 ; GFX10-CU-NEXT:    s_endpgm
2464 ;
2465 ; SKIP-CACHE-INV-LABEL: local_system_acquire_seq_cst_cmpxchg:
2466 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2467 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2468 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2469 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2470 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2471 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2472 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2473 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2474 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2475 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2476 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2477 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2478 ;
2479 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_seq_cst_cmpxchg:
2480 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2481 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2482 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2483 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2484 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2485 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2486 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2487 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2488 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2489 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2490 ;
2491 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_seq_cst_cmpxchg:
2492 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2493 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2494 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2495 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2496 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2497 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2498 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2499 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2500 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2501 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2502     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2503 entry:
2504   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2505   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire seq_cst
2506   ret void
2507 }
2508
2509 define amdgpu_kernel void @local_system_release_seq_cst_cmpxchg(
2510 ; GFX6-LABEL: local_system_release_seq_cst_cmpxchg:
2511 ; GFX6:       ; %bb.0: ; %entry
2512 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2513 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2514 ; GFX6-NEXT:    s_mov_b32 m0, -1
2515 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2516 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2517 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2518 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2519 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2520 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2521 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2522 ; GFX6-NEXT:    s_endpgm
2523 ;
2524 ; GFX7-LABEL: local_system_release_seq_cst_cmpxchg:
2525 ; GFX7:       ; %bb.0: ; %entry
2526 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2527 ; GFX7-NEXT:    s_mov_b32 m0, -1
2528 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2529 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2530 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2531 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2532 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2533 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2534 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2535 ; GFX7-NEXT:    s_endpgm
2536 ;
2537 ; GFX10-WGP-LABEL: local_system_release_seq_cst_cmpxchg:
2538 ; GFX10-WGP:       ; %bb.0: ; %entry
2539 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2540 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2541 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2542 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2544 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2545 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2546 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2547 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2548 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2549 ; GFX10-WGP-NEXT:    s_endpgm
2550 ;
2551 ; GFX10-CU-LABEL: local_system_release_seq_cst_cmpxchg:
2552 ; GFX10-CU:       ; %bb.0: ; %entry
2553 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2554 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2555 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2558 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2559 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2560 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2561 ; GFX10-CU-NEXT:    s_endpgm
2562 ;
2563 ; SKIP-CACHE-INV-LABEL: local_system_release_seq_cst_cmpxchg:
2564 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2565 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2566 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2567 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2568 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2569 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2570 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2571 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2572 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2573 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2574 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2575 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2576 ;
2577 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_seq_cst_cmpxchg:
2578 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2579 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2580 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2581 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2582 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2583 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2584 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2585 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2586 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2587 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2588 ;
2589 ; GFX90A-TGSPLIT-LABEL: local_system_release_seq_cst_cmpxchg:
2590 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2591 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2592 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2593 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2594 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2595 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2596 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2597 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2598 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2599 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2600     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2601 entry:
2602   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2603   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release seq_cst
2604   ret void
2605 }
2606
2607 define amdgpu_kernel void @local_system_acq_rel_seq_cst_cmpxchg(
2608 ; GFX6-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2609 ; GFX6:       ; %bb.0: ; %entry
2610 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2611 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2612 ; GFX6-NEXT:    s_mov_b32 m0, -1
2613 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2614 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2615 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2616 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2617 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2618 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2619 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2620 ; GFX6-NEXT:    s_endpgm
2621 ;
2622 ; GFX7-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2623 ; GFX7:       ; %bb.0: ; %entry
2624 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2625 ; GFX7-NEXT:    s_mov_b32 m0, -1
2626 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2627 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2628 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2629 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2630 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2631 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2632 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2633 ; GFX7-NEXT:    s_endpgm
2634 ;
2635 ; GFX10-WGP-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2636 ; GFX10-WGP:       ; %bb.0: ; %entry
2637 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2638 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2639 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2640 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2641 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2642 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2643 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2644 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2645 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2646 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2647 ; GFX10-WGP-NEXT:    s_endpgm
2648 ;
2649 ; GFX10-CU-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2650 ; GFX10-CU:       ; %bb.0: ; %entry
2651 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2652 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2653 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2654 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2655 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2656 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2657 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2658 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2659 ; GFX10-CU-NEXT:    s_endpgm
2660 ;
2661 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2662 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2663 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2664 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2665 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2666 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2667 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2668 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2669 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2670 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2671 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2672 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2673 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2674 ;
2675 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2676 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2677 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2678 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2679 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2680 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2681 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2682 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2683 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2684 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2685 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2686 ;
2687 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_seq_cst_cmpxchg:
2688 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2689 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2690 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2691 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2692 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2693 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2694 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2695 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2696 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2697 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2698     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2699 entry:
2700   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2701   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel seq_cst
2702   ret void
2703 }
2704
2705 define amdgpu_kernel void @local_system_seq_cst_seq_cst_cmpxchg(
2706 ; GFX6-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2707 ; GFX6:       ; %bb.0: ; %entry
2708 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2709 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2710 ; GFX6-NEXT:    s_mov_b32 m0, -1
2711 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2712 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2713 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2714 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2715 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2716 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2717 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2718 ; GFX6-NEXT:    s_endpgm
2719 ;
2720 ; GFX7-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2721 ; GFX7:       ; %bb.0: ; %entry
2722 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2723 ; GFX7-NEXT:    s_mov_b32 m0, -1
2724 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2725 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2726 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2727 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2728 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2729 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2730 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2731 ; GFX7-NEXT:    s_endpgm
2732 ;
2733 ; GFX10-WGP-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2734 ; GFX10-WGP:       ; %bb.0: ; %entry
2735 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2736 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2737 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2738 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2739 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2740 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2741 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
2742 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2743 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2744 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2745 ; GFX10-WGP-NEXT:    s_endpgm
2746 ;
2747 ; GFX10-CU-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2748 ; GFX10-CU:       ; %bb.0: ; %entry
2749 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2750 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2751 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2752 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2753 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2754 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2755 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2756 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2757 ; GFX10-CU-NEXT:    s_endpgm
2758 ;
2759 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2760 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2761 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2762 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2763 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2764 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2765 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2766 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2767 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2768 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2769 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2770 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2771 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2772 ;
2773 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2774 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2775 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2776 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2777 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2778 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2779 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2780 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2781 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2782 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2783 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2784 ;
2785 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_seq_cst_cmpxchg:
2786 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2787 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2788 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2789 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2790 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2791 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2792 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
2793 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2794 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2795 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2796     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2797 entry:
2798   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2799   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst seq_cst
2800   ret void
2801 }
2802
2803 define amdgpu_kernel void @local_system_monotonic_monotonic_ret_cmpxchg(
2804 ; GFX6-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2805 ; GFX6:       ; %bb.0: ; %entry
2806 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2807 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2808 ; GFX6-NEXT:    s_mov_b32 m0, -1
2809 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2810 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2811 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2812 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2813 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2814 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2815 ; GFX6-NEXT:    ds_write_b32 v0, v1
2816 ; GFX6-NEXT:    s_endpgm
2817 ;
2818 ; GFX7-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2819 ; GFX7:       ; %bb.0: ; %entry
2820 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2821 ; GFX7-NEXT:    s_mov_b32 m0, -1
2822 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2823 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2824 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2825 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2826 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2827 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2828 ; GFX7-NEXT:    ds_write_b32 v0, v1
2829 ; GFX7-NEXT:    s_endpgm
2830 ;
2831 ; GFX10-WGP-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2832 ; GFX10-WGP:       ; %bb.0: ; %entry
2833 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2834 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2835 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2836 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2837 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2838 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2839 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2840 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
2841 ; GFX10-WGP-NEXT:    s_endpgm
2842 ;
2843 ; GFX10-CU-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2844 ; GFX10-CU:       ; %bb.0: ; %entry
2845 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2846 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2847 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2848 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2849 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2850 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2851 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2852 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
2853 ; GFX10-CU-NEXT:    s_endpgm
2854 ;
2855 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2856 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2857 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2858 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2859 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2860 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2861 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2862 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2863 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2864 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2865 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2866 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
2867 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2868 ;
2869 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2870 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2871 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2872 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2873 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2874 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2875 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2876 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2877 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2878 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2879 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2880 ;
2881 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_monotonic_ret_cmpxchg:
2882 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2883 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2884 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2885 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2886 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2887 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2888 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2889 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2890 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2891 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2892     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2893 entry:
2894   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2895   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic monotonic
2896   %val0 = extractvalue { i32, i1 } %val, 0
2897   store i32 %val0, i32 addrspace(3)* %out, align 4
2898   ret void
2899 }
2900
2901 define amdgpu_kernel void @local_system_acquire_monotonic_ret_cmpxchg(
2902 ; GFX6-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2903 ; GFX6:       ; %bb.0: ; %entry
2904 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
2905 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
2906 ; GFX6-NEXT:    s_mov_b32 m0, -1
2907 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2908 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
2909 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
2910 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
2911 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2912 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2913 ; GFX6-NEXT:    ds_write_b32 v0, v1
2914 ; GFX6-NEXT:    s_endpgm
2915 ;
2916 ; GFX7-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2917 ; GFX7:       ; %bb.0: ; %entry
2918 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2919 ; GFX7-NEXT:    s_mov_b32 m0, -1
2920 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2921 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2922 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
2923 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
2924 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2925 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2926 ; GFX7-NEXT:    ds_write_b32 v0, v1
2927 ; GFX7-NEXT:    s_endpgm
2928 ;
2929 ; GFX10-WGP-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2930 ; GFX10-WGP:       ; %bb.0: ; %entry
2931 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2932 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2933 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
2934 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
2935 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
2936 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2937 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2938 ; GFX10-WGP-NEXT:    buffer_gl0_inv
2939 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
2940 ; GFX10-WGP-NEXT:    s_endpgm
2941 ;
2942 ; GFX10-CU-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2943 ; GFX10-CU:       ; %bb.0: ; %entry
2944 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2945 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2946 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
2947 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
2948 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
2949 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2950 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2951 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
2952 ; GFX10-CU-NEXT:    s_endpgm
2953 ;
2954 ; SKIP-CACHE-INV-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2955 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2956 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
2957 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
2958 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2959 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2960 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2961 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
2962 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
2963 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2964 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2965 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
2966 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2967 ;
2968 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2969 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2970 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2971 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2972 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2973 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2974 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2975 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2976 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2977 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2978 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2979 ;
2980 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_monotonic_ret_cmpxchg:
2981 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2982 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
2983 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2984 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2985 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
2986 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
2987 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
2988 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
2989 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2990 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2991 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2992     i32 addrspace(3)* %out, i32 %in, i32 %old) {
2993 entry:
2994   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
2995   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire monotonic
2996   %val0 = extractvalue { i32, i1 } %val, 0
2997   store i32 %val0, i32 addrspace(3)* %out, align 4
2998   ret void
2999 }
3000
3001 define amdgpu_kernel void @local_system_release_monotonic_ret_cmpxchg(
3002 ; GFX6-LABEL: local_system_release_monotonic_ret_cmpxchg:
3003 ; GFX6:       ; %bb.0: ; %entry
3004 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3005 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3006 ; GFX6-NEXT:    s_mov_b32 m0, -1
3007 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3008 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3009 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3010 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3011 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3012 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3013 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3014 ; GFX6-NEXT:    ds_write_b32 v0, v1
3015 ; GFX6-NEXT:    s_endpgm
3016 ;
3017 ; GFX7-LABEL: local_system_release_monotonic_ret_cmpxchg:
3018 ; GFX7:       ; %bb.0: ; %entry
3019 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3020 ; GFX7-NEXT:    s_mov_b32 m0, -1
3021 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3022 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3023 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3024 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3025 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3026 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3027 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3028 ; GFX7-NEXT:    ds_write_b32 v0, v1
3029 ; GFX7-NEXT:    s_endpgm
3030 ;
3031 ; GFX10-WGP-LABEL: local_system_release_monotonic_ret_cmpxchg:
3032 ; GFX10-WGP:       ; %bb.0: ; %entry
3033 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3034 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3035 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3036 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3037 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3038 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3039 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3040 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3041 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3042 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3043 ; GFX10-WGP-NEXT:    s_endpgm
3044 ;
3045 ; GFX10-CU-LABEL: local_system_release_monotonic_ret_cmpxchg:
3046 ; GFX10-CU:       ; %bb.0: ; %entry
3047 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3048 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3049 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3050 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3051 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3052 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3053 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3054 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3055 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3056 ; GFX10-CU-NEXT:    s_endpgm
3057 ;
3058 ; SKIP-CACHE-INV-LABEL: local_system_release_monotonic_ret_cmpxchg:
3059 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3060 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3061 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3062 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3063 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3064 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3065 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3066 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3067 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3068 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3069 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3070 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3071 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3072 ;
3073 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_monotonic_ret_cmpxchg:
3074 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3075 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3076 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3077 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3078 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3079 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3080 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3081 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3082 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3083 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3084 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3085 ;
3086 ; GFX90A-TGSPLIT-LABEL: local_system_release_monotonic_ret_cmpxchg:
3087 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3088 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3089 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3090 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3091 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3092 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3093 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3094 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3095 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3096 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3097 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3098     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3099 entry:
3100   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3101   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release monotonic
3102   %val0 = extractvalue { i32, i1 } %val, 0
3103   store i32 %val0, i32 addrspace(3)* %out, align 4
3104   ret void
3105 }
3106
3107 define amdgpu_kernel void @local_system_acq_rel_monotonic_ret_cmpxchg(
3108 ; GFX6-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3109 ; GFX6:       ; %bb.0: ; %entry
3110 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3111 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3112 ; GFX6-NEXT:    s_mov_b32 m0, -1
3113 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3114 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3115 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3116 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3117 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3118 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3119 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3120 ; GFX6-NEXT:    ds_write_b32 v0, v1
3121 ; GFX6-NEXT:    s_endpgm
3122 ;
3123 ; GFX7-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3124 ; GFX7:       ; %bb.0: ; %entry
3125 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3126 ; GFX7-NEXT:    s_mov_b32 m0, -1
3127 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3128 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3129 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3130 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3131 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3132 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3133 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3134 ; GFX7-NEXT:    ds_write_b32 v0, v1
3135 ; GFX7-NEXT:    s_endpgm
3136 ;
3137 ; GFX10-WGP-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3138 ; GFX10-WGP:       ; %bb.0: ; %entry
3139 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3140 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3141 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3142 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3143 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3144 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3145 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3146 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3147 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3148 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3149 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3150 ; GFX10-WGP-NEXT:    s_endpgm
3151 ;
3152 ; GFX10-CU-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3153 ; GFX10-CU:       ; %bb.0: ; %entry
3154 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3155 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3156 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3157 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3158 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3159 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3160 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3161 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3162 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3163 ; GFX10-CU-NEXT:    s_endpgm
3164 ;
3165 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3166 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3167 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3168 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3169 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3170 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3172 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3173 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3174 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3175 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3176 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3177 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3178 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3179 ;
3180 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3181 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3182 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3183 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3184 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3185 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3186 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3187 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3188 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3189 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3190 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3191 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3192 ;
3193 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_monotonic_ret_cmpxchg:
3194 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3195 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3196 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3197 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3198 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3199 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3200 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3201 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3202 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3203 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3204 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3205 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3206     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3207 entry:
3208   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3209   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel monotonic
3210   %val0 = extractvalue { i32, i1 } %val, 0
3211   store i32 %val0, i32 addrspace(3)* %out, align 4
3212   ret void
3213 }
3214
3215 define amdgpu_kernel void @local_system_seq_cst_monotonic_ret_cmpxchg(
3216 ; GFX6-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3217 ; GFX6:       ; %bb.0: ; %entry
3218 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3219 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3220 ; GFX6-NEXT:    s_mov_b32 m0, -1
3221 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3222 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3223 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3224 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3225 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3226 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3227 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3228 ; GFX6-NEXT:    ds_write_b32 v0, v1
3229 ; GFX6-NEXT:    s_endpgm
3230 ;
3231 ; GFX7-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3232 ; GFX7:       ; %bb.0: ; %entry
3233 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3234 ; GFX7-NEXT:    s_mov_b32 m0, -1
3235 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3236 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3237 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3238 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3239 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3240 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3241 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3242 ; GFX7-NEXT:    ds_write_b32 v0, v1
3243 ; GFX7-NEXT:    s_endpgm
3244 ;
3245 ; GFX10-WGP-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3246 ; GFX10-WGP:       ; %bb.0: ; %entry
3247 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3248 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3249 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3250 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3251 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3252 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3253 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3254 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3255 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3256 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3257 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3258 ; GFX10-WGP-NEXT:    s_endpgm
3259 ;
3260 ; GFX10-CU-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3261 ; GFX10-CU:       ; %bb.0: ; %entry
3262 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3263 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3264 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3265 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3266 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3267 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3268 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3269 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3270 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3271 ; GFX10-CU-NEXT:    s_endpgm
3272 ;
3273 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3274 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3275 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3276 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3277 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3278 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3279 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3280 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3281 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3282 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3283 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3284 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3285 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3286 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3287 ;
3288 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3289 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3290 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3291 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3292 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3293 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3294 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3295 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3296 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3297 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3298 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3299 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3300 ;
3301 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_monotonic_ret_cmpxchg:
3302 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3303 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3304 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3305 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3306 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3307 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3308 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3309 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3310 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3311 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3312 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3313 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3314     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3315 entry:
3316   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3317   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst monotonic
3318   %val0 = extractvalue { i32, i1 } %val, 0
3319   store i32 %val0, i32 addrspace(3)* %out, align 4
3320   ret void
3321 }
3322
3323 define amdgpu_kernel void @local_system_monotonic_acquire_ret_cmpxchg(
3324 ; GFX6-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3325 ; GFX6:       ; %bb.0: ; %entry
3326 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3327 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3328 ; GFX6-NEXT:    s_mov_b32 m0, -1
3329 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3330 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3331 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3332 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3333 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3334 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3335 ; GFX6-NEXT:    ds_write_b32 v0, v1
3336 ; GFX6-NEXT:    s_endpgm
3337 ;
3338 ; GFX7-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3339 ; GFX7:       ; %bb.0: ; %entry
3340 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3341 ; GFX7-NEXT:    s_mov_b32 m0, -1
3342 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3343 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3344 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3345 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3346 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3347 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3348 ; GFX7-NEXT:    ds_write_b32 v0, v1
3349 ; GFX7-NEXT:    s_endpgm
3350 ;
3351 ; GFX10-WGP-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3352 ; GFX10-WGP:       ; %bb.0: ; %entry
3353 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3354 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3355 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3356 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3357 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3358 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3359 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3360 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3361 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3362 ; GFX10-WGP-NEXT:    s_endpgm
3363 ;
3364 ; GFX10-CU-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3365 ; GFX10-CU:       ; %bb.0: ; %entry
3366 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3367 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3368 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3369 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3370 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3371 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3372 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3373 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3374 ; GFX10-CU-NEXT:    s_endpgm
3375 ;
3376 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3377 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3378 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3379 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3380 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3381 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3382 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3383 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3384 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3385 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3386 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3387 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3388 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3389 ;
3390 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3391 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3392 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3393 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3394 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3395 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3396 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3397 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3398 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3399 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3400 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3401 ;
3402 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_acquire_ret_cmpxchg:
3403 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3404 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3405 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3406 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3407 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3408 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3409 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3410 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3411 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3412 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3413 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3414     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3415 entry:
3416   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3417   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic acquire
3418   %val0 = extractvalue { i32, i1 } %val, 0
3419   store i32 %val0, i32 addrspace(3)* %out, align 4
3420   ret void
3421 }
3422
3423 define amdgpu_kernel void @local_system_acquire_acquire_ret_cmpxchg(
3424 ; GFX6-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3425 ; GFX6:       ; %bb.0: ; %entry
3426 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3427 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3428 ; GFX6-NEXT:    s_mov_b32 m0, -1
3429 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3430 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3431 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3432 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3433 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3434 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3435 ; GFX6-NEXT:    ds_write_b32 v0, v1
3436 ; GFX6-NEXT:    s_endpgm
3437 ;
3438 ; GFX7-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3439 ; GFX7:       ; %bb.0: ; %entry
3440 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3441 ; GFX7-NEXT:    s_mov_b32 m0, -1
3442 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3443 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3444 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3445 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3446 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3447 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3448 ; GFX7-NEXT:    ds_write_b32 v0, v1
3449 ; GFX7-NEXT:    s_endpgm
3450 ;
3451 ; GFX10-WGP-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3452 ; GFX10-WGP:       ; %bb.0: ; %entry
3453 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3454 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3455 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3456 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3457 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3458 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3459 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3460 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3461 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3462 ; GFX10-WGP-NEXT:    s_endpgm
3463 ;
3464 ; GFX10-CU-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3465 ; GFX10-CU:       ; %bb.0: ; %entry
3466 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3467 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3468 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3469 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3470 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3471 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3472 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3473 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3474 ; GFX10-CU-NEXT:    s_endpgm
3475 ;
3476 ; SKIP-CACHE-INV-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3477 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3478 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3479 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3480 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3481 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3482 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3483 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3484 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3485 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3486 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3487 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3488 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3489 ;
3490 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3491 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3492 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3493 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3494 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3495 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3496 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3497 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3498 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3499 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3500 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3501 ;
3502 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_acquire_ret_cmpxchg:
3503 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3504 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3505 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3506 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3507 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3508 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3509 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3510 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3511 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3512 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3513 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3514     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3515 entry:
3516   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3517   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire acquire
3518   %val0 = extractvalue { i32, i1 } %val, 0
3519   store i32 %val0, i32 addrspace(3)* %out, align 4
3520   ret void
3521 }
3522
3523 define amdgpu_kernel void @local_system_release_acquire_ret_cmpxchg(
3524 ; GFX6-LABEL: local_system_release_acquire_ret_cmpxchg:
3525 ; GFX6:       ; %bb.0: ; %entry
3526 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3527 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3528 ; GFX6-NEXT:    s_mov_b32 m0, -1
3529 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3530 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3531 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3532 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3533 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3534 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3535 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3536 ; GFX6-NEXT:    ds_write_b32 v0, v1
3537 ; GFX6-NEXT:    s_endpgm
3538 ;
3539 ; GFX7-LABEL: local_system_release_acquire_ret_cmpxchg:
3540 ; GFX7:       ; %bb.0: ; %entry
3541 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3542 ; GFX7-NEXT:    s_mov_b32 m0, -1
3543 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3544 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3545 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3546 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3547 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3548 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3549 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3550 ; GFX7-NEXT:    ds_write_b32 v0, v1
3551 ; GFX7-NEXT:    s_endpgm
3552 ;
3553 ; GFX10-WGP-LABEL: local_system_release_acquire_ret_cmpxchg:
3554 ; GFX10-WGP:       ; %bb.0: ; %entry
3555 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3556 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3557 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3558 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3559 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3560 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3561 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3562 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3563 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3564 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3565 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3566 ; GFX10-WGP-NEXT:    s_endpgm
3567 ;
3568 ; GFX10-CU-LABEL: local_system_release_acquire_ret_cmpxchg:
3569 ; GFX10-CU:       ; %bb.0: ; %entry
3570 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3571 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3572 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3573 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3574 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3575 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3576 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3577 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3578 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3579 ; GFX10-CU-NEXT:    s_endpgm
3580 ;
3581 ; SKIP-CACHE-INV-LABEL: local_system_release_acquire_ret_cmpxchg:
3582 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3583 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3584 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3585 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3586 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3587 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3588 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3589 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3590 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3591 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3592 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3593 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3594 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3595 ;
3596 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_acquire_ret_cmpxchg:
3597 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3598 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3599 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3600 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3601 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3602 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3603 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3604 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3605 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3606 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3607 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3608 ;
3609 ; GFX90A-TGSPLIT-LABEL: local_system_release_acquire_ret_cmpxchg:
3610 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3611 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3612 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3613 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3614 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3615 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3616 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3617 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3618 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3619 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3620 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3621 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3622     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3623 entry:
3624   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3625   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release acquire
3626   %val0 = extractvalue { i32, i1 } %val, 0
3627   store i32 %val0, i32 addrspace(3)* %out, align 4
3628   ret void
3629 }
3630
3631 define amdgpu_kernel void @local_system_acq_rel_acquire_ret_cmpxchg(
3632 ; GFX6-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3633 ; GFX6:       ; %bb.0: ; %entry
3634 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3635 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3636 ; GFX6-NEXT:    s_mov_b32 m0, -1
3637 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3638 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3639 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3640 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3641 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3642 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3643 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3644 ; GFX6-NEXT:    ds_write_b32 v0, v1
3645 ; GFX6-NEXT:    s_endpgm
3646 ;
3647 ; GFX7-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3648 ; GFX7:       ; %bb.0: ; %entry
3649 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3650 ; GFX7-NEXT:    s_mov_b32 m0, -1
3651 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3652 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3653 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3654 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3655 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3656 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3657 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3658 ; GFX7-NEXT:    ds_write_b32 v0, v1
3659 ; GFX7-NEXT:    s_endpgm
3660 ;
3661 ; GFX10-WGP-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3662 ; GFX10-WGP:       ; %bb.0: ; %entry
3663 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3664 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3665 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3666 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3667 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3668 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3669 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3670 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3671 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3672 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3673 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3674 ; GFX10-WGP-NEXT:    s_endpgm
3675 ;
3676 ; GFX10-CU-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3677 ; GFX10-CU:       ; %bb.0: ; %entry
3678 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3679 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3680 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3681 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3682 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3683 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3684 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3685 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3686 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3687 ; GFX10-CU-NEXT:    s_endpgm
3688 ;
3689 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3690 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3691 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3692 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3693 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3694 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3695 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3696 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3697 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3698 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3699 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3700 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3701 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3702 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3703 ;
3704 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3705 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3706 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3707 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3708 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3709 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3710 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3711 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3712 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3713 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3714 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3715 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3716 ;
3717 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_acquire_ret_cmpxchg:
3718 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3719 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3720 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3721 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3722 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3723 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3724 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3725 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3726 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3727 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3728 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3729 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3730     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3731 entry:
3732   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3733   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel acquire
3734   %val0 = extractvalue { i32, i1 } %val, 0
3735   store i32 %val0, i32 addrspace(3)* %out, align 4
3736   ret void
3737 }
3738
3739 define amdgpu_kernel void @local_system_seq_cst_acquire_ret_cmpxchg(
3740 ; GFX6-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3741 ; GFX6:       ; %bb.0: ; %entry
3742 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3743 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3744 ; GFX6-NEXT:    s_mov_b32 m0, -1
3745 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3746 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3747 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3748 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3749 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3750 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3751 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3752 ; GFX6-NEXT:    ds_write_b32 v0, v1
3753 ; GFX6-NEXT:    s_endpgm
3754 ;
3755 ; GFX7-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3756 ; GFX7:       ; %bb.0: ; %entry
3757 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3758 ; GFX7-NEXT:    s_mov_b32 m0, -1
3759 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3760 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3761 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3762 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3763 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3764 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3765 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3766 ; GFX7-NEXT:    ds_write_b32 v0, v1
3767 ; GFX7-NEXT:    s_endpgm
3768 ;
3769 ; GFX10-WGP-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3770 ; GFX10-WGP:       ; %bb.0: ; %entry
3771 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3772 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3773 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3774 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3775 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3776 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3777 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3778 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3779 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3780 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3781 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3782 ; GFX10-WGP-NEXT:    s_endpgm
3783 ;
3784 ; GFX10-CU-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3785 ; GFX10-CU:       ; %bb.0: ; %entry
3786 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3787 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3788 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3789 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3790 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3791 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3792 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3793 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3794 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3795 ; GFX10-CU-NEXT:    s_endpgm
3796 ;
3797 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3798 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3799 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3800 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3801 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3802 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3803 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3804 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3805 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3806 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3807 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3808 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3809 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3810 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3811 ;
3812 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3813 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3814 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3815 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3816 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3817 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3818 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3819 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3820 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3821 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3822 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3823 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3824 ;
3825 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_acquire_ret_cmpxchg:
3826 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3827 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3828 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3829 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3830 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3831 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3832 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3833 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3834 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3835 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3836 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3837 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3838     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3839 entry:
3840   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3841   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst acquire
3842   %val0 = extractvalue { i32, i1 } %val, 0
3843   store i32 %val0, i32 addrspace(3)* %out, align 4
3844   ret void
3845 }
3846
3847 define amdgpu_kernel void @local_system_monotonic_seq_cst_ret_cmpxchg(
3848 ; GFX6-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3849 ; GFX6:       ; %bb.0: ; %entry
3850 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3851 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3852 ; GFX6-NEXT:    s_mov_b32 m0, -1
3853 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3854 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3855 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3856 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3857 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3858 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3859 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3860 ; GFX6-NEXT:    ds_write_b32 v0, v1
3861 ; GFX6-NEXT:    s_endpgm
3862 ;
3863 ; GFX7-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3864 ; GFX7:       ; %bb.0: ; %entry
3865 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3866 ; GFX7-NEXT:    s_mov_b32 m0, -1
3867 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3868 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3869 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3870 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3871 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3872 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3873 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3874 ; GFX7-NEXT:    ds_write_b32 v0, v1
3875 ; GFX7-NEXT:    s_endpgm
3876 ;
3877 ; GFX10-WGP-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3878 ; GFX10-WGP:       ; %bb.0: ; %entry
3879 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3880 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3881 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3882 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3883 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3884 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3885 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3886 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3887 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3888 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3889 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3890 ; GFX10-WGP-NEXT:    s_endpgm
3891 ;
3892 ; GFX10-CU-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3893 ; GFX10-CU:       ; %bb.0: ; %entry
3894 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3895 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3896 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
3897 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
3898 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
3899 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3900 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3901 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3902 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
3903 ; GFX10-CU-NEXT:    s_endpgm
3904 ;
3905 ; SKIP-CACHE-INV-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3906 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3907 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
3908 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
3909 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3910 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3911 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3912 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
3913 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
3914 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3915 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3916 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3917 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
3918 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3919 ;
3920 ; GFX90A-NOTTGSPLIT-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3921 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3922 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3923 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3924 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3925 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3926 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3927 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3928 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3929 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3930 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
3931 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3932 ;
3933 ; GFX90A-TGSPLIT-LABEL: local_system_monotonic_seq_cst_ret_cmpxchg:
3934 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3935 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3936 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3937 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
3938 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
3939 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
3940 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3941 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3942 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
3943 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3944 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
3945 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3946     i32 addrspace(3)* %out, i32 %in, i32 %old) {
3947 entry:
3948   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
3949   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in monotonic seq_cst
3950   %val0 = extractvalue { i32, i1 } %val, 0
3951   store i32 %val0, i32 addrspace(3)* %out, align 4
3952   ret void
3953 }
3954
3955 define amdgpu_kernel void @local_system_acquire_seq_cst_ret_cmpxchg(
3956 ; GFX6-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
3957 ; GFX6:       ; %bb.0: ; %entry
3958 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
3959 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
3960 ; GFX6-NEXT:    s_mov_b32 m0, -1
3961 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3962 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
3963 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
3964 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
3965 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3966 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3967 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3968 ; GFX6-NEXT:    ds_write_b32 v0, v1
3969 ; GFX6-NEXT:    s_endpgm
3970 ;
3971 ; GFX7-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
3972 ; GFX7:       ; %bb.0: ; %entry
3973 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3974 ; GFX7-NEXT:    s_mov_b32 m0, -1
3975 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3976 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3977 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
3978 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
3979 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3980 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3981 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3982 ; GFX7-NEXT:    ds_write_b32 v0, v1
3983 ; GFX7-NEXT:    s_endpgm
3984 ;
3985 ; GFX10-WGP-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
3986 ; GFX10-WGP:       ; %bb.0: ; %entry
3987 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
3988 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3989 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
3990 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
3991 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
3992 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3993 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
3994 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
3995 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3996 ; GFX10-WGP-NEXT:    buffer_gl0_inv
3997 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
3998 ; GFX10-WGP-NEXT:    s_endpgm
3999 ;
4000 ; GFX10-CU-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
4001 ; GFX10-CU:       ; %bb.0: ; %entry
4002 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4003 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4004 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4005 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4006 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4007 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4008 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4009 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4010 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4011 ; GFX10-CU-NEXT:    s_endpgm
4012 ;
4013 ; SKIP-CACHE-INV-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
4014 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4015 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
4016 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
4017 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4018 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4019 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4020 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4021 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
4022 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4023 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4024 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4025 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4026 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4027 ;
4028 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
4029 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4030 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4031 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4032 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4033 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4034 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4035 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4036 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4037 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4038 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4039 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4040 ;
4041 ; GFX90A-TGSPLIT-LABEL: local_system_acquire_seq_cst_ret_cmpxchg:
4042 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4043 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4044 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4045 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4046 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4047 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4048 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4049 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4050 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4051 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4052 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4053 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4054     i32 addrspace(3)* %out, i32 %in, i32 %old) {
4055 entry:
4056   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
4057   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acquire seq_cst
4058   %val0 = extractvalue { i32, i1 } %val, 0
4059   store i32 %val0, i32 addrspace(3)* %out, align 4
4060   ret void
4061 }
4062
4063 define amdgpu_kernel void @local_system_release_seq_cst_ret_cmpxchg(
4064 ; GFX6-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4065 ; GFX6:       ; %bb.0: ; %entry
4066 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4067 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4068 ; GFX6-NEXT:    s_mov_b32 m0, -1
4069 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4070 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4071 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4072 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4073 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4074 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4075 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4076 ; GFX6-NEXT:    ds_write_b32 v0, v1
4077 ; GFX6-NEXT:    s_endpgm
4078 ;
4079 ; GFX7-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4080 ; GFX7:       ; %bb.0: ; %entry
4081 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4082 ; GFX7-NEXT:    s_mov_b32 m0, -1
4083 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4084 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4085 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4086 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4087 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4088 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4089 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4090 ; GFX7-NEXT:    ds_write_b32 v0, v1
4091 ; GFX7-NEXT:    s_endpgm
4092 ;
4093 ; GFX10-WGP-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4094 ; GFX10-WGP:       ; %bb.0: ; %entry
4095 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4096 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4097 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4098 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4099 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4100 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4101 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4102 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4103 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4104 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4105 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4106 ; GFX10-WGP-NEXT:    s_endpgm
4107 ;
4108 ; GFX10-CU-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4109 ; GFX10-CU:       ; %bb.0: ; %entry
4110 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4111 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4112 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4113 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4114 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4115 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4116 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4117 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4118 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4119 ; GFX10-CU-NEXT:    s_endpgm
4120 ;
4121 ; SKIP-CACHE-INV-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4122 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4123 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
4124 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
4125 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4126 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4127 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4128 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4129 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
4130 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4131 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4132 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4133 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4134 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4135 ;
4136 ; GFX90A-NOTTGSPLIT-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4137 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4138 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4139 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4140 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4141 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4142 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4143 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4144 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4145 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4146 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4147 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4148 ;
4149 ; GFX90A-TGSPLIT-LABEL: local_system_release_seq_cst_ret_cmpxchg:
4150 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4151 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4152 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4153 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4154 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4155 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4156 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4157 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4158 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4159 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4160 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4161 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4162     i32 addrspace(3)* %out, i32 %in, i32 %old) {
4163 entry:
4164   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
4165   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in release seq_cst
4166   %val0 = extractvalue { i32, i1 } %val, 0
4167   store i32 %val0, i32 addrspace(3)* %out, align 4
4168   ret void
4169 }
4170
4171 define amdgpu_kernel void @local_system_acq_rel_seq_cst_ret_cmpxchg(
4172 ; GFX6-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4173 ; GFX6:       ; %bb.0: ; %entry
4174 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4175 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4176 ; GFX6-NEXT:    s_mov_b32 m0, -1
4177 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4178 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4179 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4180 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4181 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4182 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4183 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4184 ; GFX6-NEXT:    ds_write_b32 v0, v1
4185 ; GFX6-NEXT:    s_endpgm
4186 ;
4187 ; GFX7-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4188 ; GFX7:       ; %bb.0: ; %entry
4189 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4190 ; GFX7-NEXT:    s_mov_b32 m0, -1
4191 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4192 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4193 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4194 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4195 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4196 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4197 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4198 ; GFX7-NEXT:    ds_write_b32 v0, v1
4199 ; GFX7-NEXT:    s_endpgm
4200 ;
4201 ; GFX10-WGP-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4202 ; GFX10-WGP:       ; %bb.0: ; %entry
4203 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4204 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4205 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4206 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4207 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4208 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4209 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4210 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4211 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4212 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4213 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4214 ; GFX10-WGP-NEXT:    s_endpgm
4215 ;
4216 ; GFX10-CU-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4217 ; GFX10-CU:       ; %bb.0: ; %entry
4218 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4219 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4220 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4221 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4222 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4223 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4224 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4225 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4226 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4227 ; GFX10-CU-NEXT:    s_endpgm
4228 ;
4229 ; SKIP-CACHE-INV-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4230 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4231 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
4232 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
4233 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4234 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4235 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4236 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4237 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
4238 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4239 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4240 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4241 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4242 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4243 ;
4244 ; GFX90A-NOTTGSPLIT-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4245 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4246 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4247 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4248 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4249 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4250 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4251 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4252 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4253 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4254 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4255 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4256 ;
4257 ; GFX90A-TGSPLIT-LABEL: local_system_acq_rel_seq_cst_ret_cmpxchg:
4258 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4259 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4260 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4261 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4262 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4263 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4264 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4265 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4266 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4267 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4268 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4269 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4270     i32 addrspace(3)* %out, i32 %in, i32 %old) {
4271 entry:
4272   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
4273   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in acq_rel seq_cst
4274   %val0 = extractvalue { i32, i1 } %val, 0
4275   store i32 %val0, i32 addrspace(3)* %out, align 4
4276   ret void
4277 }
4278
4279 define amdgpu_kernel void @local_system_seq_cst_seq_cst_ret_cmpxchg(
4280 ; GFX6-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4281 ; GFX6:       ; %bb.0: ; %entry
4282 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
4283 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
4284 ; GFX6-NEXT:    s_mov_b32 m0, -1
4285 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4286 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
4287 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4288 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
4289 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4290 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4291 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4292 ; GFX6-NEXT:    ds_write_b32 v0, v1
4293 ; GFX6-NEXT:    s_endpgm
4294 ;
4295 ; GFX7-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4296 ; GFX7:       ; %bb.0: ; %entry
4297 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4298 ; GFX7-NEXT:    s_mov_b32 m0, -1
4299 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4300 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4301 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
4302 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
4303 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4304 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4305 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4306 ; GFX7-NEXT:    ds_write_b32 v0, v1
4307 ; GFX7-NEXT:    s_endpgm
4308 ;
4309 ; GFX10-WGP-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4310 ; GFX10-WGP:       ; %bb.0: ; %entry
4311 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4312 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4313 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4314 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
4315 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
4316 ; GFX10-WGP-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4317 ; GFX10-WGP-NEXT:    s_waitcnt_vscnt null, 0x0
4318 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4319 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4320 ; GFX10-WGP-NEXT:    buffer_gl0_inv
4321 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4322 ; GFX10-WGP-NEXT:    s_endpgm
4323 ;
4324 ; GFX10-CU-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4325 ; GFX10-CU:       ; %bb.0: ; %entry
4326 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4327 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4328 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4329 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
4330 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
4331 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4332 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4333 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4334 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4335 ; GFX10-CU-NEXT:    s_endpgm
4336 ;
4337 ; SKIP-CACHE-INV-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4338 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4339 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
4340 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
4341 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4342 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4343 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4344 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4345 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
4346 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4347 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4348 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4349 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4350 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4351 ;
4352 ; GFX90A-NOTTGSPLIT-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4353 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4354 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4355 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4356 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4357 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4358 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4359 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4360 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4361 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4362 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4363 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4364 ;
4365 ; GFX90A-TGSPLIT-LABEL: local_system_seq_cst_seq_cst_ret_cmpxchg:
4366 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4367 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
4368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4369 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4370 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
4371 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
4372 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4373 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
4374 ; GFX90A-TGSPLIT-NEXT:    buffer_wbinvl1_vol
4375 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4376 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4377 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4378     i32 addrspace(3)* %out, i32 %in, i32 %old) {
4379 entry:
4380   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
4381   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in seq_cst seq_cst
4382   %val0 = extractvalue { i32, i1 } %val, 0
4383   store i32 %val0, i32 addrspace(3)* %out, align 4
4384   ret void
4385 }
4386
4387 define amdgpu_kernel void @local_system_one_as_unordered_load(
4388 ; GFX6-LABEL: local_system_one_as_unordered_load:
4389 ; GFX6:       ; %bb.0: ; %entry
4390 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4391 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4392 ; GFX6-NEXT:    s_mov_b32 m0, -1
4393 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4394 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
4395 ; GFX6-NEXT:    ds_read_b32 v0, v0
4396 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4397 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4398 ; GFX6-NEXT:    ds_write_b32 v1, v0
4399 ; GFX6-NEXT:    s_endpgm
4400 ;
4401 ; GFX7-LABEL: local_system_one_as_unordered_load:
4402 ; GFX7:       ; %bb.0: ; %entry
4403 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4404 ; GFX7-NEXT:    s_mov_b32 m0, -1
4405 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4406 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4407 ; GFX7-NEXT:    ds_read_b32 v0, v0
4408 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4409 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4410 ; GFX7-NEXT:    ds_write_b32 v1, v0
4411 ; GFX7-NEXT:    s_endpgm
4412 ;
4413 ; GFX10-WGP-LABEL: local_system_one_as_unordered_load:
4414 ; GFX10-WGP:       ; %bb.0: ; %entry
4415 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4416 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4417 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4418 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4419 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
4420 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4421 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
4422 ; GFX10-WGP-NEXT:    s_endpgm
4423 ;
4424 ; GFX10-CU-LABEL: local_system_one_as_unordered_load:
4425 ; GFX10-CU:       ; %bb.0: ; %entry
4426 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4427 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4428 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4429 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4430 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
4431 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4432 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
4433 ; GFX10-CU-NEXT:    s_endpgm
4434 ;
4435 ; SKIP-CACHE-INV-LABEL: local_system_one_as_unordered_load:
4436 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4437 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4438 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4439 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4440 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4441 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
4442 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4443 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4444 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
4445 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4446 ;
4447 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_unordered_load:
4448 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4449 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4450 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4451 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4452 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
4453 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4454 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4455 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
4456 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4457 ;
4458 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_unordered_load:
4459 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4460 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4461 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4462 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4463 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
4464 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4465 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4466 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
4467 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4468     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
4469 entry:
4470   %val = load atomic i32, i32 addrspace(3)* %in syncscope("one-as") unordered, align 4
4471   store i32 %val, i32 addrspace(3)* %out
4472   ret void
4473 }
4474
4475 define amdgpu_kernel void @local_system_one_as_monotonic_load(
4476 ; GFX6-LABEL: local_system_one_as_monotonic_load:
4477 ; GFX6:       ; %bb.0: ; %entry
4478 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4479 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4480 ; GFX6-NEXT:    s_mov_b32 m0, -1
4481 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4482 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
4483 ; GFX6-NEXT:    ds_read_b32 v0, v0
4484 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4485 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4486 ; GFX6-NEXT:    ds_write_b32 v1, v0
4487 ; GFX6-NEXT:    s_endpgm
4488 ;
4489 ; GFX7-LABEL: local_system_one_as_monotonic_load:
4490 ; GFX7:       ; %bb.0: ; %entry
4491 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4492 ; GFX7-NEXT:    s_mov_b32 m0, -1
4493 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4494 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4495 ; GFX7-NEXT:    ds_read_b32 v0, v0
4496 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4497 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4498 ; GFX7-NEXT:    ds_write_b32 v1, v0
4499 ; GFX7-NEXT:    s_endpgm
4500 ;
4501 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_load:
4502 ; GFX10-WGP:       ; %bb.0: ; %entry
4503 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4504 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4505 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4506 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4507 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
4508 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4509 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
4510 ; GFX10-WGP-NEXT:    s_endpgm
4511 ;
4512 ; GFX10-CU-LABEL: local_system_one_as_monotonic_load:
4513 ; GFX10-CU:       ; %bb.0: ; %entry
4514 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4515 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4516 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4517 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4518 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
4519 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4520 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
4521 ; GFX10-CU-NEXT:    s_endpgm
4522 ;
4523 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_load:
4524 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4525 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4526 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4527 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4528 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4529 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
4530 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4531 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4532 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
4533 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4534 ;
4535 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_load:
4536 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4537 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4538 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4539 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4540 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
4541 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4542 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4543 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
4544 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4545 ;
4546 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_load:
4547 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4548 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4549 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4550 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4551 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
4552 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4553 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4554 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
4555 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4556     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
4557 entry:
4558   %val = load atomic i32, i32 addrspace(3)* %in syncscope("one-as") monotonic, align 4
4559   store i32 %val, i32 addrspace(3)* %out
4560   ret void
4561 }
4562
4563 define amdgpu_kernel void @local_system_one_as_acquire_load(
4564 ; GFX6-LABEL: local_system_one_as_acquire_load:
4565 ; GFX6:       ; %bb.0: ; %entry
4566 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4567 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4568 ; GFX6-NEXT:    s_mov_b32 m0, -1
4569 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4570 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
4571 ; GFX6-NEXT:    ds_read_b32 v0, v0
4572 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4573 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4574 ; GFX6-NEXT:    ds_write_b32 v1, v0
4575 ; GFX6-NEXT:    s_endpgm
4576 ;
4577 ; GFX7-LABEL: local_system_one_as_acquire_load:
4578 ; GFX7:       ; %bb.0: ; %entry
4579 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4580 ; GFX7-NEXT:    s_mov_b32 m0, -1
4581 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4582 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4583 ; GFX7-NEXT:    ds_read_b32 v0, v0
4584 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4585 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4586 ; GFX7-NEXT:    ds_write_b32 v1, v0
4587 ; GFX7-NEXT:    s_endpgm
4588 ;
4589 ; GFX10-WGP-LABEL: local_system_one_as_acquire_load:
4590 ; GFX10-WGP:       ; %bb.0: ; %entry
4591 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4592 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4593 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4594 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4595 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
4596 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4597 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
4598 ; GFX10-WGP-NEXT:    s_endpgm
4599 ;
4600 ; GFX10-CU-LABEL: local_system_one_as_acquire_load:
4601 ; GFX10-CU:       ; %bb.0: ; %entry
4602 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4603 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4604 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4605 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4606 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
4607 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4608 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
4609 ; GFX10-CU-NEXT:    s_endpgm
4610 ;
4611 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_load:
4612 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4613 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4614 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4615 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4616 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4617 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
4618 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4619 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4620 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
4621 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4622 ;
4623 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_load:
4624 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4625 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4626 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4627 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4628 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
4629 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4630 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4631 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
4632 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4633 ;
4634 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_load:
4635 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4636 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4637 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4638 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4639 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
4640 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4641 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4642 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
4643 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4644     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
4645 entry:
4646   %val = load atomic i32, i32 addrspace(3)* %in syncscope("one-as") acquire, align 4
4647   store i32 %val, i32 addrspace(3)* %out
4648   ret void
4649 }
4650
4651 define amdgpu_kernel void @local_system_one_as_seq_cst_load(
4652 ; GFX6-LABEL: local_system_one_as_seq_cst_load:
4653 ; GFX6:       ; %bb.0: ; %entry
4654 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4655 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4656 ; GFX6-NEXT:    s_mov_b32 m0, -1
4657 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4658 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
4659 ; GFX6-NEXT:    ds_read_b32 v0, v0
4660 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
4661 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4662 ; GFX6-NEXT:    ds_write_b32 v1, v0
4663 ; GFX6-NEXT:    s_endpgm
4664 ;
4665 ; GFX7-LABEL: local_system_one_as_seq_cst_load:
4666 ; GFX7:       ; %bb.0: ; %entry
4667 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4668 ; GFX7-NEXT:    s_mov_b32 m0, -1
4669 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4670 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4671 ; GFX7-NEXT:    ds_read_b32 v0, v0
4672 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4673 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4674 ; GFX7-NEXT:    ds_write_b32 v1, v0
4675 ; GFX7-NEXT:    s_endpgm
4676 ;
4677 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_load:
4678 ; GFX10-WGP:       ; %bb.0: ; %entry
4679 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4680 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4681 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
4682 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
4683 ; GFX10-WGP-NEXT:    ds_read_b32 v0, v0
4684 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4685 ; GFX10-WGP-NEXT:    ds_write_b32 v1, v0
4686 ; GFX10-WGP-NEXT:    s_endpgm
4687 ;
4688 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_load:
4689 ; GFX10-CU:       ; %bb.0: ; %entry
4690 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4691 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4692 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
4693 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
4694 ; GFX10-CU-NEXT:    ds_read_b32 v0, v0
4695 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4696 ; GFX10-CU-NEXT:    ds_write_b32 v1, v0
4697 ; GFX10-CU-NEXT:    s_endpgm
4698 ;
4699 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_load:
4700 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4701 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4702 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4703 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4704 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
4705 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v0, v0
4706 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4707 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4708 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v1, v0
4709 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4710 ;
4711 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_load:
4712 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4713 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4714 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4715 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4716 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v0, v0
4717 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4718 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4719 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v1, v0
4720 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4721 ;
4722 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_load:
4723 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4724 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4725 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4726 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
4727 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v0, v0
4728 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4729 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4730 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v1, v0
4731 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4732     i32 addrspace(3)* %in, i32 addrspace(3)* %out) {
4733 entry:
4734   %val = load atomic i32, i32 addrspace(3)* %in syncscope("one-as") seq_cst, align 4
4735   store i32 %val, i32 addrspace(3)* %out
4736   ret void
4737 }
4738
4739 define amdgpu_kernel void @local_system_one_as_unordered_store(
4740 ; GFX6-LABEL: local_system_one_as_unordered_store:
4741 ; GFX6:       ; %bb.0: ; %entry
4742 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4743 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4744 ; GFX6-NEXT:    s_mov_b32 m0, -1
4745 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4746 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
4747 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
4748 ; GFX6-NEXT:    ds_write_b32 v0, v1
4749 ; GFX6-NEXT:    s_endpgm
4750 ;
4751 ; GFX7-LABEL: local_system_one_as_unordered_store:
4752 ; GFX7:       ; %bb.0: ; %entry
4753 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4754 ; GFX7-NEXT:    s_mov_b32 m0, -1
4755 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4756 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
4757 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
4758 ; GFX7-NEXT:    ds_write_b32 v0, v1
4759 ; GFX7-NEXT:    s_endpgm
4760 ;
4761 ; GFX10-WGP-LABEL: local_system_one_as_unordered_store:
4762 ; GFX10-WGP:       ; %bb.0: ; %entry
4763 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4764 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4765 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
4766 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
4767 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4768 ; GFX10-WGP-NEXT:    s_endpgm
4769 ;
4770 ; GFX10-CU-LABEL: local_system_one_as_unordered_store:
4771 ; GFX10-CU:       ; %bb.0: ; %entry
4772 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4773 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4774 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
4775 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
4776 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4777 ; GFX10-CU-NEXT:    s_endpgm
4778 ;
4779 ; SKIP-CACHE-INV-LABEL: local_system_one_as_unordered_store:
4780 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4781 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4782 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4783 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4784 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
4785 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4786 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4787 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4788 ;
4789 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_unordered_store:
4790 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4791 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4792 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4793 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4794 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4795 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4796 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4797 ;
4798 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_unordered_store:
4799 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4800 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4801 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4802 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4803 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4804 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4805 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4806     i32 %in, i32 addrspace(3)* %out) {
4807 entry:
4808   store atomic i32 %in, i32 addrspace(3)* %out syncscope("one-as") unordered, align 4
4809   ret void
4810 }
4811
4812 define amdgpu_kernel void @local_system_one_as_monotonic_store(
4813 ; GFX6-LABEL: local_system_one_as_monotonic_store:
4814 ; GFX6:       ; %bb.0: ; %entry
4815 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4816 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4817 ; GFX6-NEXT:    s_mov_b32 m0, -1
4818 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4819 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
4820 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
4821 ; GFX6-NEXT:    ds_write_b32 v0, v1
4822 ; GFX6-NEXT:    s_endpgm
4823 ;
4824 ; GFX7-LABEL: local_system_one_as_monotonic_store:
4825 ; GFX7:       ; %bb.0: ; %entry
4826 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4827 ; GFX7-NEXT:    s_mov_b32 m0, -1
4828 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4829 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
4830 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
4831 ; GFX7-NEXT:    ds_write_b32 v0, v1
4832 ; GFX7-NEXT:    s_endpgm
4833 ;
4834 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_store:
4835 ; GFX10-WGP:       ; %bb.0: ; %entry
4836 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4837 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4838 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
4839 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
4840 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4841 ; GFX10-WGP-NEXT:    s_endpgm
4842 ;
4843 ; GFX10-CU-LABEL: local_system_one_as_monotonic_store:
4844 ; GFX10-CU:       ; %bb.0: ; %entry
4845 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4846 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4847 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
4848 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
4849 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4850 ; GFX10-CU-NEXT:    s_endpgm
4851 ;
4852 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_store:
4853 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4854 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4855 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4856 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4857 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
4858 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4859 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4860 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4861 ;
4862 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_store:
4863 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4864 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4865 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4866 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4867 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4868 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4869 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4870 ;
4871 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_store:
4872 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4873 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4874 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4875 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4876 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4877 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4878 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4879     i32 %in, i32 addrspace(3)* %out) {
4880 entry:
4881   store atomic i32 %in, i32 addrspace(3)* %out syncscope("one-as") monotonic, align 4
4882   ret void
4883 }
4884
4885 define amdgpu_kernel void @local_system_one_as_release_store(
4886 ; GFX6-LABEL: local_system_one_as_release_store:
4887 ; GFX6:       ; %bb.0: ; %entry
4888 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4889 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4890 ; GFX6-NEXT:    s_mov_b32 m0, -1
4891 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4892 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
4893 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
4894 ; GFX6-NEXT:    ds_write_b32 v0, v1
4895 ; GFX6-NEXT:    s_endpgm
4896 ;
4897 ; GFX7-LABEL: local_system_one_as_release_store:
4898 ; GFX7:       ; %bb.0: ; %entry
4899 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4900 ; GFX7-NEXT:    s_mov_b32 m0, -1
4901 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4902 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
4903 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
4904 ; GFX7-NEXT:    ds_write_b32 v0, v1
4905 ; GFX7-NEXT:    s_endpgm
4906 ;
4907 ; GFX10-WGP-LABEL: local_system_one_as_release_store:
4908 ; GFX10-WGP:       ; %bb.0: ; %entry
4909 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4910 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4911 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
4912 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
4913 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4914 ; GFX10-WGP-NEXT:    s_endpgm
4915 ;
4916 ; GFX10-CU-LABEL: local_system_one_as_release_store:
4917 ; GFX10-CU:       ; %bb.0: ; %entry
4918 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4919 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4920 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
4921 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
4922 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4923 ; GFX10-CU-NEXT:    s_endpgm
4924 ;
4925 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_store:
4926 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4927 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
4928 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4929 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4930 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
4931 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
4932 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
4933 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4934 ;
4935 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_store:
4936 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4937 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4938 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4939 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4940 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4941 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
4942 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4943 ;
4944 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_store:
4945 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4946 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4947 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4948 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
4949 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
4950 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
4951 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4952     i32 %in, i32 addrspace(3)* %out) {
4953 entry:
4954   store atomic i32 %in, i32 addrspace(3)* %out syncscope("one-as") release, align 4
4955   ret void
4956 }
4957
4958 define amdgpu_kernel void @local_system_one_as_seq_cst_store(
4959 ; GFX6-LABEL: local_system_one_as_seq_cst_store:
4960 ; GFX6:       ; %bb.0: ; %entry
4961 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
4962 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
4963 ; GFX6-NEXT:    s_mov_b32 m0, -1
4964 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4965 ; GFX6-NEXT:    v_mov_b32_e32 v1, s0
4966 ; GFX6-NEXT:    v_mov_b32_e32 v0, s1
4967 ; GFX6-NEXT:    ds_write_b32 v0, v1
4968 ; GFX6-NEXT:    s_endpgm
4969 ;
4970 ; GFX7-LABEL: local_system_one_as_seq_cst_store:
4971 ; GFX7:       ; %bb.0: ; %entry
4972 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4973 ; GFX7-NEXT:    s_mov_b32 m0, -1
4974 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4975 ; GFX7-NEXT:    v_mov_b32_e32 v0, s1
4976 ; GFX7-NEXT:    v_mov_b32_e32 v1, s0
4977 ; GFX7-NEXT:    ds_write_b32 v0, v1
4978 ; GFX7-NEXT:    s_endpgm
4979 ;
4980 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_store:
4981 ; GFX10-WGP:       ; %bb.0: ; %entry
4982 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4983 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4984 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s1
4985 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s0
4986 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
4987 ; GFX10-WGP-NEXT:    s_endpgm
4988 ;
4989 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_store:
4990 ; GFX10-CU:       ; %bb.0: ; %entry
4991 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
4992 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4993 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s1
4994 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s0
4995 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
4996 ; GFX10-CU-NEXT:    s_endpgm
4997 ;
4998 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_store:
4999 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5000 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5001 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5002 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5003 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
5004 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
5005 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5006 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5007 ;
5008 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_store:
5009 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5010 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5011 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5012 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
5013 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
5014 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5015 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5016 ;
5017 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_store:
5018 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5019 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5020 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5021 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
5022 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
5023 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5024 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5025     i32 %in, i32 addrspace(3)* %out) {
5026 entry:
5027   store atomic i32 %in, i32 addrspace(3)* %out syncscope("one-as") seq_cst, align 4
5028   ret void
5029 }
5030
5031 define amdgpu_kernel void @local_system_one_as_monotonic_atomicrmw(
5032 ; GFX6-LABEL: local_system_one_as_monotonic_atomicrmw:
5033 ; GFX6:       ; %bb.0: ; %entry
5034 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5035 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5036 ; GFX6-NEXT:    s_mov_b32 m0, -1
5037 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5038 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5039 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5040 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5041 ; GFX6-NEXT:    s_endpgm
5042 ;
5043 ; GFX7-LABEL: local_system_one_as_monotonic_atomicrmw:
5044 ; GFX7:       ; %bb.0: ; %entry
5045 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5046 ; GFX7-NEXT:    s_mov_b32 m0, -1
5047 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5048 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5049 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5050 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5051 ; GFX7-NEXT:    s_endpgm
5052 ;
5053 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_atomicrmw:
5054 ; GFX10-WGP:       ; %bb.0: ; %entry
5055 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5056 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5057 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5058 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5059 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5060 ; GFX10-WGP-NEXT:    s_endpgm
5061 ;
5062 ; GFX10-CU-LABEL: local_system_one_as_monotonic_atomicrmw:
5063 ; GFX10-CU:       ; %bb.0: ; %entry
5064 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5065 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5066 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5067 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5068 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5069 ; GFX10-CU-NEXT:    s_endpgm
5070 ;
5071 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_atomicrmw:
5072 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5073 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5074 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5075 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5076 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5077 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5078 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5079 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5080 ;
5081 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_atomicrmw:
5082 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5083 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5084 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5085 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5086 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5087 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5088 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5089 ;
5090 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_atomicrmw:
5091 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5092 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5093 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5094 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5095 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5096 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5097 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5098     i32 addrspace(3)* %out, i32 %in) {
5099 entry:
5100   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") monotonic
5101   ret void
5102 }
5103
5104 define amdgpu_kernel void @local_system_one_as_acquire_atomicrmw(
5105 ; GFX6-LABEL: local_system_one_as_acquire_atomicrmw:
5106 ; GFX6:       ; %bb.0: ; %entry
5107 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5108 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5109 ; GFX6-NEXT:    s_mov_b32 m0, -1
5110 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5111 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5112 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5113 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5114 ; GFX6-NEXT:    s_endpgm
5115 ;
5116 ; GFX7-LABEL: local_system_one_as_acquire_atomicrmw:
5117 ; GFX7:       ; %bb.0: ; %entry
5118 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5119 ; GFX7-NEXT:    s_mov_b32 m0, -1
5120 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5121 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5122 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5123 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5124 ; GFX7-NEXT:    s_endpgm
5125 ;
5126 ; GFX10-WGP-LABEL: local_system_one_as_acquire_atomicrmw:
5127 ; GFX10-WGP:       ; %bb.0: ; %entry
5128 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5129 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5130 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5131 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5132 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5133 ; GFX10-WGP-NEXT:    s_endpgm
5134 ;
5135 ; GFX10-CU-LABEL: local_system_one_as_acquire_atomicrmw:
5136 ; GFX10-CU:       ; %bb.0: ; %entry
5137 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5138 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5139 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5140 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5141 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5142 ; GFX10-CU-NEXT:    s_endpgm
5143 ;
5144 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_atomicrmw:
5145 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5146 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5147 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5148 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5149 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5150 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5151 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5152 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5153 ;
5154 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_atomicrmw:
5155 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5156 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5157 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5158 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5159 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5160 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5161 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5162 ;
5163 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_atomicrmw:
5164 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5165 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5166 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5167 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5168 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5169 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5170 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5171     i32 addrspace(3)* %out, i32 %in) {
5172 entry:
5173   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") acquire
5174   ret void
5175 }
5176
5177 define amdgpu_kernel void @local_system_one_as_release_atomicrmw(
5178 ; GFX6-LABEL: local_system_one_as_release_atomicrmw:
5179 ; GFX6:       ; %bb.0: ; %entry
5180 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5181 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5182 ; GFX6-NEXT:    s_mov_b32 m0, -1
5183 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5184 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5185 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5186 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5187 ; GFX6-NEXT:    s_endpgm
5188 ;
5189 ; GFX7-LABEL: local_system_one_as_release_atomicrmw:
5190 ; GFX7:       ; %bb.0: ; %entry
5191 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5192 ; GFX7-NEXT:    s_mov_b32 m0, -1
5193 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5194 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5195 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5196 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5197 ; GFX7-NEXT:    s_endpgm
5198 ;
5199 ; GFX10-WGP-LABEL: local_system_one_as_release_atomicrmw:
5200 ; GFX10-WGP:       ; %bb.0: ; %entry
5201 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5202 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5203 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5204 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5205 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5206 ; GFX10-WGP-NEXT:    s_endpgm
5207 ;
5208 ; GFX10-CU-LABEL: local_system_one_as_release_atomicrmw:
5209 ; GFX10-CU:       ; %bb.0: ; %entry
5210 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5211 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5212 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5213 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5214 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5215 ; GFX10-CU-NEXT:    s_endpgm
5216 ;
5217 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_atomicrmw:
5218 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5219 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5220 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5221 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5222 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5223 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5224 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5225 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5226 ;
5227 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_atomicrmw:
5228 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5229 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5230 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5231 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5232 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5233 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5234 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5235 ;
5236 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_atomicrmw:
5237 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5238 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5239 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5240 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5241 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5242 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5243 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5244     i32 addrspace(3)* %out, i32 %in) {
5245 entry:
5246   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") release
5247   ret void
5248 }
5249
5250 define amdgpu_kernel void @local_system_one_as_acq_rel_atomicrmw(
5251 ; GFX6-LABEL: local_system_one_as_acq_rel_atomicrmw:
5252 ; GFX6:       ; %bb.0: ; %entry
5253 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5254 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5255 ; GFX6-NEXT:    s_mov_b32 m0, -1
5256 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5257 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5258 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5259 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5260 ; GFX6-NEXT:    s_endpgm
5261 ;
5262 ; GFX7-LABEL: local_system_one_as_acq_rel_atomicrmw:
5263 ; GFX7:       ; %bb.0: ; %entry
5264 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5265 ; GFX7-NEXT:    s_mov_b32 m0, -1
5266 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5267 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5268 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5269 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5270 ; GFX7-NEXT:    s_endpgm
5271 ;
5272 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_atomicrmw:
5273 ; GFX10-WGP:       ; %bb.0: ; %entry
5274 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5275 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5276 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5277 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5278 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5279 ; GFX10-WGP-NEXT:    s_endpgm
5280 ;
5281 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_atomicrmw:
5282 ; GFX10-CU:       ; %bb.0: ; %entry
5283 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5284 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5285 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5286 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5287 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5288 ; GFX10-CU-NEXT:    s_endpgm
5289 ;
5290 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_atomicrmw:
5291 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5292 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5293 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5294 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5295 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5296 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5297 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5298 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5299 ;
5300 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_atomicrmw:
5301 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5302 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5303 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5304 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5305 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5306 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5307 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5308 ;
5309 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_atomicrmw:
5310 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5311 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5312 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5313 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5314 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5315 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5316 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5317     i32 addrspace(3)* %out, i32 %in) {
5318 entry:
5319   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") acq_rel
5320   ret void
5321 }
5322
5323 define amdgpu_kernel void @local_system_one_as_seq_cst_atomicrmw(
5324 ; GFX6-LABEL: local_system_one_as_seq_cst_atomicrmw:
5325 ; GFX6:       ; %bb.0: ; %entry
5326 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5327 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5328 ; GFX6-NEXT:    s_mov_b32 m0, -1
5329 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5330 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5331 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5332 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5333 ; GFX6-NEXT:    s_endpgm
5334 ;
5335 ; GFX7-LABEL: local_system_one_as_seq_cst_atomicrmw:
5336 ; GFX7:       ; %bb.0: ; %entry
5337 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5338 ; GFX7-NEXT:    s_mov_b32 m0, -1
5339 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5340 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5341 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5342 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5343 ; GFX7-NEXT:    s_endpgm
5344 ;
5345 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_atomicrmw:
5346 ; GFX10-WGP:       ; %bb.0: ; %entry
5347 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5348 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5349 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5350 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5351 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5352 ; GFX10-WGP-NEXT:    s_endpgm
5353 ;
5354 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_atomicrmw:
5355 ; GFX10-CU:       ; %bb.0: ; %entry
5356 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5357 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5358 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5359 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5360 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5361 ; GFX10-CU-NEXT:    s_endpgm
5362 ;
5363 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_atomicrmw:
5364 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5365 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5366 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5367 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5368 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5369 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5370 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5371 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5372 ;
5373 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_atomicrmw:
5374 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5375 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5376 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5377 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5378 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5379 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5380 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5381 ;
5382 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_atomicrmw:
5383 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5384 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5385 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5386 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5387 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5388 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
5389 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5390     i32 addrspace(3)* %out, i32 %in) {
5391 entry:
5392   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") seq_cst
5393   ret void
5394 }
5395
5396 define amdgpu_kernel void @local_system_one_as_acquire_ret_atomicrmw(
5397 ; GFX6-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5398 ; GFX6:       ; %bb.0: ; %entry
5399 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5400 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5401 ; GFX6-NEXT:    s_mov_b32 m0, -1
5402 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5403 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5404 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5405 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5406 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5407 ; GFX6-NEXT:    ds_write_b32 v0, v1
5408 ; GFX6-NEXT:    s_endpgm
5409 ;
5410 ; GFX7-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5411 ; GFX7:       ; %bb.0: ; %entry
5412 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5413 ; GFX7-NEXT:    s_mov_b32 m0, -1
5414 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5415 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5416 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5417 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5418 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5419 ; GFX7-NEXT:    ds_write_b32 v0, v1
5420 ; GFX7-NEXT:    s_endpgm
5421 ;
5422 ; GFX10-WGP-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5423 ; GFX10-WGP:       ; %bb.0: ; %entry
5424 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5425 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5426 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5427 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5428 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5429 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5430 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5431 ; GFX10-WGP-NEXT:    s_endpgm
5432 ;
5433 ; GFX10-CU-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5434 ; GFX10-CU:       ; %bb.0: ; %entry
5435 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5436 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5437 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5438 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5439 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5440 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5441 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5442 ; GFX10-CU-NEXT:    s_endpgm
5443 ;
5444 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5445 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5446 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5447 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5448 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5449 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5450 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5451 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5452 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5453 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5454 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5455 ;
5456 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5457 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5458 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5459 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5460 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5461 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5462 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5463 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5464 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5465 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5466 ;
5467 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_ret_atomicrmw:
5468 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5469 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5470 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5471 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5472 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5473 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5474 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5475 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5476 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5477     i32 addrspace(3)* %out, i32 %in) {
5478 entry:
5479   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") acquire
5480   store i32 %val, i32 addrspace(3)* %out, align 4
5481   ret void
5482 }
5483
5484 define amdgpu_kernel void @local_system_one_as_acq_rel_ret_atomicrmw(
5485 ; GFX6-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5486 ; GFX6:       ; %bb.0: ; %entry
5487 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5488 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5489 ; GFX6-NEXT:    s_mov_b32 m0, -1
5490 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5491 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5492 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5493 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5494 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5495 ; GFX6-NEXT:    ds_write_b32 v0, v1
5496 ; GFX6-NEXT:    s_endpgm
5497 ;
5498 ; GFX7-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5499 ; GFX7:       ; %bb.0: ; %entry
5500 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5501 ; GFX7-NEXT:    s_mov_b32 m0, -1
5502 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5503 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5504 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5505 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5506 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5507 ; GFX7-NEXT:    ds_write_b32 v0, v1
5508 ; GFX7-NEXT:    s_endpgm
5509 ;
5510 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5511 ; GFX10-WGP:       ; %bb.0: ; %entry
5512 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5513 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5514 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5515 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5516 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5517 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5518 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5519 ; GFX10-WGP-NEXT:    s_endpgm
5520 ;
5521 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5522 ; GFX10-CU:       ; %bb.0: ; %entry
5523 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5524 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5525 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5526 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5527 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5528 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5529 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5530 ; GFX10-CU-NEXT:    s_endpgm
5531 ;
5532 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5533 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5534 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5535 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5536 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5537 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5538 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5539 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5540 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5541 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5542 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5543 ;
5544 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5545 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5546 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5547 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5548 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5549 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5550 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5551 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5552 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5553 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5554 ;
5555 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_ret_atomicrmw:
5556 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5557 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5558 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5559 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5560 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5561 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5562 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5563 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5564 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5565     i32 addrspace(3)* %out, i32 %in) {
5566 entry:
5567   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") acq_rel
5568   store i32 %val, i32 addrspace(3)* %out, align 4
5569   ret void
5570 }
5571
5572 define amdgpu_kernel void @local_system_one_as_seq_cst_ret_atomicrmw(
5573 ; GFX6-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5574 ; GFX6:       ; %bb.0: ; %entry
5575 ; GFX6-NEXT:    s_load_dword s0, s[4:5], 0x0
5576 ; GFX6-NEXT:    s_load_dword s1, s[4:5], 0x1
5577 ; GFX6-NEXT:    s_mov_b32 m0, -1
5578 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5579 ; GFX6-NEXT:    v_mov_b32_e32 v0, s0
5580 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5581 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5582 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5583 ; GFX6-NEXT:    ds_write_b32 v0, v1
5584 ; GFX6-NEXT:    s_endpgm
5585 ;
5586 ; GFX7-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5587 ; GFX7:       ; %bb.0: ; %entry
5588 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5589 ; GFX7-NEXT:    s_mov_b32 m0, -1
5590 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5591 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5592 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5593 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5594 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5595 ; GFX7-NEXT:    ds_write_b32 v0, v1
5596 ; GFX7-NEXT:    s_endpgm
5597 ;
5598 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5599 ; GFX10-WGP:       ; %bb.0: ; %entry
5600 ; GFX10-WGP-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5601 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5602 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5603 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s1
5604 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5605 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5606 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5607 ; GFX10-WGP-NEXT:    s_endpgm
5608 ;
5609 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5610 ; GFX10-CU:       ; %bb.0: ; %entry
5611 ; GFX10-CU-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5612 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5613 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5614 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s1
5615 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5616 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5617 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5618 ; GFX10-CU-NEXT:    s_endpgm
5619 ;
5620 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5621 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5622 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9
5623 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5624 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5625 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5626 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
5627 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5628 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5629 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5630 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5631 ;
5632 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5633 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5634 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5635 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5636 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5637 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5638 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5639 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5640 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5641 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5642 ;
5643 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_ret_atomicrmw:
5644 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5645 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x0
5646 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5647 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5648 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
5649 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
5650 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5651 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5652 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5653     i32 addrspace(3)* %out, i32 %in) {
5654 entry:
5655   %val = atomicrmw volatile xchg i32 addrspace(3)* %out, i32 %in syncscope("one-as") seq_cst
5656   store i32 %val, i32 addrspace(3)* %out, align 4
5657   ret void
5658 }
5659
5660 define amdgpu_kernel void @local_system_one_as_monotonic_monotonic_cmpxchg(
5661 ; GFX6-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5662 ; GFX6:       ; %bb.0: ; %entry
5663 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5664 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5665 ; GFX6-NEXT:    s_mov_b32 m0, -1
5666 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5667 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5668 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5669 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5670 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5671 ; GFX6-NEXT:    s_endpgm
5672 ;
5673 ; GFX7-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5674 ; GFX7:       ; %bb.0: ; %entry
5675 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5676 ; GFX7-NEXT:    s_mov_b32 m0, -1
5677 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5678 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5679 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5680 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5681 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5682 ; GFX7-NEXT:    s_endpgm
5683 ;
5684 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5685 ; GFX10-WGP:       ; %bb.0: ; %entry
5686 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5687 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5688 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5689 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5690 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5691 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5692 ; GFX10-WGP-NEXT:    s_endpgm
5693 ;
5694 ; GFX10-CU-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5695 ; GFX10-CU:       ; %bb.0: ; %entry
5696 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5697 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5698 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5699 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5700 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5701 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5702 ; GFX10-CU-NEXT:    s_endpgm
5703 ;
5704 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5705 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5706 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
5707 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
5708 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5709 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5710 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5711 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
5712 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
5713 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5714 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5715 ;
5716 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5717 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5718 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5719 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5720 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5721 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5722 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5723 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5724 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5725 ;
5726 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_monotonic_cmpxchg:
5727 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5728 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5729 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5730 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5731 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5732 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5733 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5734 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5735     i32 addrspace(3)* %out, i32 %in, i32 %old) {
5736 entry:
5737   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
5738   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic monotonic
5739   ret void
5740 }
5741
5742 define amdgpu_kernel void @local_system_one_as_acquire_monotonic_cmpxchg(
5743 ; GFX6-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5744 ; GFX6:       ; %bb.0: ; %entry
5745 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5746 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5747 ; GFX6-NEXT:    s_mov_b32 m0, -1
5748 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5749 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5750 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5751 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5752 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5753 ; GFX6-NEXT:    s_endpgm
5754 ;
5755 ; GFX7-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5756 ; GFX7:       ; %bb.0: ; %entry
5757 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5758 ; GFX7-NEXT:    s_mov_b32 m0, -1
5759 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5760 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5761 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5762 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5763 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5764 ; GFX7-NEXT:    s_endpgm
5765 ;
5766 ; GFX10-WGP-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5767 ; GFX10-WGP:       ; %bb.0: ; %entry
5768 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5769 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5770 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5771 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5772 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5773 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5774 ; GFX10-WGP-NEXT:    s_endpgm
5775 ;
5776 ; GFX10-CU-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5777 ; GFX10-CU:       ; %bb.0: ; %entry
5778 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5779 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5780 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5781 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5782 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5783 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5784 ; GFX10-CU-NEXT:    s_endpgm
5785 ;
5786 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5787 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5788 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
5789 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
5790 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5791 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5792 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5793 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
5794 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
5795 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5796 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5797 ;
5798 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5799 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5800 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5801 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5802 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5803 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5804 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5805 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5806 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5807 ;
5808 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_monotonic_cmpxchg:
5809 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5810 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5811 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5812 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5813 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5814 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5815 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5816 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5817     i32 addrspace(3)* %out, i32 %in, i32 %old) {
5818 entry:
5819   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
5820   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire monotonic
5821   ret void
5822 }
5823
5824 define amdgpu_kernel void @local_system_one_as_release_monotonic_cmpxchg(
5825 ; GFX6-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5826 ; GFX6:       ; %bb.0: ; %entry
5827 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5828 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5829 ; GFX6-NEXT:    s_mov_b32 m0, -1
5830 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5831 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5832 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5833 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5834 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5835 ; GFX6-NEXT:    s_endpgm
5836 ;
5837 ; GFX7-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5838 ; GFX7:       ; %bb.0: ; %entry
5839 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5840 ; GFX7-NEXT:    s_mov_b32 m0, -1
5841 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5842 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5843 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5844 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5845 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5846 ; GFX7-NEXT:    s_endpgm
5847 ;
5848 ; GFX10-WGP-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5849 ; GFX10-WGP:       ; %bb.0: ; %entry
5850 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5851 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5852 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5853 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5854 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5855 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5856 ; GFX10-WGP-NEXT:    s_endpgm
5857 ;
5858 ; GFX10-CU-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5859 ; GFX10-CU:       ; %bb.0: ; %entry
5860 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5861 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5862 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5863 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5864 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5865 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5866 ; GFX10-CU-NEXT:    s_endpgm
5867 ;
5868 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5869 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5870 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
5871 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
5872 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5873 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5874 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5875 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
5876 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
5877 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5878 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5879 ;
5880 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5881 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5882 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5883 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5884 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5885 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5886 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5887 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5888 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5889 ;
5890 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_monotonic_cmpxchg:
5891 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5892 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5893 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5894 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5895 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5896 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5897 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5898 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5899     i32 addrspace(3)* %out, i32 %in, i32 %old) {
5900 entry:
5901   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
5902   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release monotonic
5903   ret void
5904 }
5905
5906 define amdgpu_kernel void @local_system_one_as_acq_rel_monotonic_cmpxchg(
5907 ; GFX6-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5908 ; GFX6:       ; %bb.0: ; %entry
5909 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5910 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5911 ; GFX6-NEXT:    s_mov_b32 m0, -1
5912 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5913 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5914 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5915 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5916 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5917 ; GFX6-NEXT:    s_endpgm
5918 ;
5919 ; GFX7-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5920 ; GFX7:       ; %bb.0: ; %entry
5921 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5922 ; GFX7-NEXT:    s_mov_b32 m0, -1
5923 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5924 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5925 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
5926 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
5927 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5928 ; GFX7-NEXT:    s_endpgm
5929 ;
5930 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5931 ; GFX10-WGP:       ; %bb.0: ; %entry
5932 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5933 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5934 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
5935 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
5936 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
5937 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5938 ; GFX10-WGP-NEXT:    s_endpgm
5939 ;
5940 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5941 ; GFX10-CU:       ; %bb.0: ; %entry
5942 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5943 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5944 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
5945 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
5946 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
5947 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5948 ; GFX10-CU-NEXT:    s_endpgm
5949 ;
5950 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5951 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5952 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
5953 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
5954 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5955 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5956 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
5957 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
5958 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
5959 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5960 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5961 ;
5962 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5963 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5964 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5965 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5966 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5967 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5968 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5969 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5970 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5971 ;
5972 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_monotonic_cmpxchg:
5973 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5974 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
5975 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5976 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5977 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5978 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5979 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5980 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5981     i32 addrspace(3)* %out, i32 %in, i32 %old) {
5982 entry:
5983   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
5984   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel monotonic
5985   ret void
5986 }
5987
5988 define amdgpu_kernel void @local_system_one_as_seq_cst_monotonic_cmpxchg(
5989 ; GFX6-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
5990 ; GFX6:       ; %bb.0: ; %entry
5991 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
5992 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
5993 ; GFX6-NEXT:    s_mov_b32 m0, -1
5994 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5995 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
5996 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
5997 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
5998 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
5999 ; GFX6-NEXT:    s_endpgm
6000 ;
6001 ; GFX7-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6002 ; GFX7:       ; %bb.0: ; %entry
6003 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6004 ; GFX7-NEXT:    s_mov_b32 m0, -1
6005 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6006 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6007 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6008 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6009 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6010 ; GFX7-NEXT:    s_endpgm
6011 ;
6012 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6013 ; GFX10-WGP:       ; %bb.0: ; %entry
6014 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6015 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6016 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6017 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6018 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6019 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6020 ; GFX10-WGP-NEXT:    s_endpgm
6021 ;
6022 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6023 ; GFX10-CU:       ; %bb.0: ; %entry
6024 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6025 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6026 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6027 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6028 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6029 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6030 ; GFX10-CU-NEXT:    s_endpgm
6031 ;
6032 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6033 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6034 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6035 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6036 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6037 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6038 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6039 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6040 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6041 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6042 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6043 ;
6044 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6045 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6046 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6047 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6048 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6049 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6050 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6051 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6052 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6053 ;
6054 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_monotonic_cmpxchg:
6055 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6056 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6057 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6058 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6059 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6060 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6061 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6062 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6063     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6064 entry:
6065   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6066   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst monotonic
6067   ret void
6068 }
6069
6070 define amdgpu_kernel void @local_system_one_as_monotonic_acquire_cmpxchg(
6071 ; GFX6-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6072 ; GFX6:       ; %bb.0: ; %entry
6073 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6074 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6075 ; GFX6-NEXT:    s_mov_b32 m0, -1
6076 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6077 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6078 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6079 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6080 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6081 ; GFX6-NEXT:    s_endpgm
6082 ;
6083 ; GFX7-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6084 ; GFX7:       ; %bb.0: ; %entry
6085 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6086 ; GFX7-NEXT:    s_mov_b32 m0, -1
6087 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6088 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6089 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6090 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6091 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6092 ; GFX7-NEXT:    s_endpgm
6093 ;
6094 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6095 ; GFX10-WGP:       ; %bb.0: ; %entry
6096 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6097 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6098 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6099 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6100 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6101 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6102 ; GFX10-WGP-NEXT:    s_endpgm
6103 ;
6104 ; GFX10-CU-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6105 ; GFX10-CU:       ; %bb.0: ; %entry
6106 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6107 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6108 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6109 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6110 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6111 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6112 ; GFX10-CU-NEXT:    s_endpgm
6113 ;
6114 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6115 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6116 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6117 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6118 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6119 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6120 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6121 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6122 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6123 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6124 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6125 ;
6126 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6127 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6128 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6129 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6130 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6131 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6132 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6133 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6134 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6135 ;
6136 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_acquire_cmpxchg:
6137 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6138 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6139 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6140 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6141 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6142 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6143 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6144 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6145     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6146 entry:
6147   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6148   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic acquire
6149   ret void
6150 }
6151
6152 define amdgpu_kernel void @local_system_one_as_acquire_acquire_cmpxchg(
6153 ; GFX6-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6154 ; GFX6:       ; %bb.0: ; %entry
6155 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6156 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6157 ; GFX6-NEXT:    s_mov_b32 m0, -1
6158 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6159 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6160 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6161 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6162 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6163 ; GFX6-NEXT:    s_endpgm
6164 ;
6165 ; GFX7-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6166 ; GFX7:       ; %bb.0: ; %entry
6167 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6168 ; GFX7-NEXT:    s_mov_b32 m0, -1
6169 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6170 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6171 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6172 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6173 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6174 ; GFX7-NEXT:    s_endpgm
6175 ;
6176 ; GFX10-WGP-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6177 ; GFX10-WGP:       ; %bb.0: ; %entry
6178 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6179 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6180 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6181 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6182 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6183 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6184 ; GFX10-WGP-NEXT:    s_endpgm
6185 ;
6186 ; GFX10-CU-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6187 ; GFX10-CU:       ; %bb.0: ; %entry
6188 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6189 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6190 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6191 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6192 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6193 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6194 ; GFX10-CU-NEXT:    s_endpgm
6195 ;
6196 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6197 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6198 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6199 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6200 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6201 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6202 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6203 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6204 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6205 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6206 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6207 ;
6208 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6209 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6210 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6211 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6212 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6213 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6214 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6215 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6216 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6217 ;
6218 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_acquire_cmpxchg:
6219 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6220 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6221 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6222 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6223 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6224 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6225 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6226 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6227     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6228 entry:
6229   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6230   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire acquire
6231   ret void
6232 }
6233
6234 define amdgpu_kernel void @local_system_one_as_release_acquire_cmpxchg(
6235 ; GFX6-LABEL: local_system_one_as_release_acquire_cmpxchg:
6236 ; GFX6:       ; %bb.0: ; %entry
6237 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6238 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6239 ; GFX6-NEXT:    s_mov_b32 m0, -1
6240 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6241 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6242 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6243 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6244 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6245 ; GFX6-NEXT:    s_endpgm
6246 ;
6247 ; GFX7-LABEL: local_system_one_as_release_acquire_cmpxchg:
6248 ; GFX7:       ; %bb.0: ; %entry
6249 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6250 ; GFX7-NEXT:    s_mov_b32 m0, -1
6251 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6252 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6253 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6254 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6255 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6256 ; GFX7-NEXT:    s_endpgm
6257 ;
6258 ; GFX10-WGP-LABEL: local_system_one_as_release_acquire_cmpxchg:
6259 ; GFX10-WGP:       ; %bb.0: ; %entry
6260 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6261 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6262 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6263 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6264 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6265 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6266 ; GFX10-WGP-NEXT:    s_endpgm
6267 ;
6268 ; GFX10-CU-LABEL: local_system_one_as_release_acquire_cmpxchg:
6269 ; GFX10-CU:       ; %bb.0: ; %entry
6270 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6271 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6272 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6273 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6274 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6275 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6276 ; GFX10-CU-NEXT:    s_endpgm
6277 ;
6278 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_acquire_cmpxchg:
6279 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6280 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6281 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6282 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6283 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6284 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6285 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6286 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6287 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6288 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6289 ;
6290 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_acquire_cmpxchg:
6291 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6292 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6293 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6294 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6295 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6296 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6297 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6298 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6299 ;
6300 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_acquire_cmpxchg:
6301 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6302 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6303 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6304 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6305 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6306 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6307 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6308 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6309     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6310 entry:
6311   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6312   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release acquire
6313   ret void
6314 }
6315
6316 define amdgpu_kernel void @local_system_one_as_acq_rel_acquire_cmpxchg(
6317 ; GFX6-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6318 ; GFX6:       ; %bb.0: ; %entry
6319 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6320 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6321 ; GFX6-NEXT:    s_mov_b32 m0, -1
6322 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6323 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6324 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6325 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6326 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6327 ; GFX6-NEXT:    s_endpgm
6328 ;
6329 ; GFX7-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6330 ; GFX7:       ; %bb.0: ; %entry
6331 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6332 ; GFX7-NEXT:    s_mov_b32 m0, -1
6333 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6334 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6335 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6336 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6337 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6338 ; GFX7-NEXT:    s_endpgm
6339 ;
6340 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6341 ; GFX10-WGP:       ; %bb.0: ; %entry
6342 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6343 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6344 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6345 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6346 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6347 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6348 ; GFX10-WGP-NEXT:    s_endpgm
6349 ;
6350 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6351 ; GFX10-CU:       ; %bb.0: ; %entry
6352 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6353 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6354 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6355 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6356 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6357 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6358 ; GFX10-CU-NEXT:    s_endpgm
6359 ;
6360 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6361 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6362 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6363 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6364 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6365 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6366 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6367 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6368 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6369 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6370 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6371 ;
6372 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6373 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6374 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6375 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6376 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6377 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6378 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6379 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6380 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6381 ;
6382 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_acquire_cmpxchg:
6383 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6384 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6385 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6386 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6387 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6388 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6389 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6390 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6391     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6392 entry:
6393   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6394   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel acquire
6395   ret void
6396 }
6397
6398 define amdgpu_kernel void @local_system_one_as_seq_cst_acquire_cmpxchg(
6399 ; GFX6-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6400 ; GFX6:       ; %bb.0: ; %entry
6401 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6402 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6403 ; GFX6-NEXT:    s_mov_b32 m0, -1
6404 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6405 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6406 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6407 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6408 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6409 ; GFX6-NEXT:    s_endpgm
6410 ;
6411 ; GFX7-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6412 ; GFX7:       ; %bb.0: ; %entry
6413 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6414 ; GFX7-NEXT:    s_mov_b32 m0, -1
6415 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6416 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6417 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6418 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6419 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6420 ; GFX7-NEXT:    s_endpgm
6421 ;
6422 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6423 ; GFX10-WGP:       ; %bb.0: ; %entry
6424 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6425 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6426 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6427 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6428 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6429 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6430 ; GFX10-WGP-NEXT:    s_endpgm
6431 ;
6432 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6433 ; GFX10-CU:       ; %bb.0: ; %entry
6434 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6435 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6436 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6437 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6438 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6439 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6440 ; GFX10-CU-NEXT:    s_endpgm
6441 ;
6442 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6443 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6444 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6445 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6446 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6447 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6448 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6449 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6450 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6451 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6452 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6453 ;
6454 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6455 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6456 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6457 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6458 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6459 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6460 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6461 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6462 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6463 ;
6464 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_acquire_cmpxchg:
6465 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6466 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6467 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6468 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6469 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6470 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6471 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6472 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6473     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6474 entry:
6475   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6476   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst acquire
6477   ret void
6478 }
6479
6480 define amdgpu_kernel void @local_system_one_as_monotonic_seq_cst_cmpxchg(
6481 ; GFX6-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6482 ; GFX6:       ; %bb.0: ; %entry
6483 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6484 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6485 ; GFX6-NEXT:    s_mov_b32 m0, -1
6486 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6487 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6488 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6489 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6490 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6491 ; GFX6-NEXT:    s_endpgm
6492 ;
6493 ; GFX7-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6494 ; GFX7:       ; %bb.0: ; %entry
6495 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6496 ; GFX7-NEXT:    s_mov_b32 m0, -1
6497 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6498 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6499 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6500 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6501 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6502 ; GFX7-NEXT:    s_endpgm
6503 ;
6504 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6505 ; GFX10-WGP:       ; %bb.0: ; %entry
6506 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6507 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6508 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6509 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6510 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6511 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6512 ; GFX10-WGP-NEXT:    s_endpgm
6513 ;
6514 ; GFX10-CU-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6515 ; GFX10-CU:       ; %bb.0: ; %entry
6516 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6517 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6518 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6519 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6520 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6521 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6522 ; GFX10-CU-NEXT:    s_endpgm
6523 ;
6524 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6525 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6526 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6527 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6528 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6529 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6530 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6531 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6532 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6533 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6534 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6535 ;
6536 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6537 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6538 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6539 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6540 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6541 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6542 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6543 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6544 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6545 ;
6546 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_seq_cst_cmpxchg:
6547 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6548 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6549 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6550 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6551 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6552 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6553 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6554 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6555     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6556 entry:
6557   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6558   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic seq_cst
6559   ret void
6560 }
6561
6562 define amdgpu_kernel void @local_system_one_as_acquire_seq_cst_cmpxchg(
6563 ; GFX6-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6564 ; GFX6:       ; %bb.0: ; %entry
6565 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6566 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6567 ; GFX6-NEXT:    s_mov_b32 m0, -1
6568 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6569 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6570 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6571 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6572 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6573 ; GFX6-NEXT:    s_endpgm
6574 ;
6575 ; GFX7-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6576 ; GFX7:       ; %bb.0: ; %entry
6577 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6578 ; GFX7-NEXT:    s_mov_b32 m0, -1
6579 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6580 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6581 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6582 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6583 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6584 ; GFX7-NEXT:    s_endpgm
6585 ;
6586 ; GFX10-WGP-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6587 ; GFX10-WGP:       ; %bb.0: ; %entry
6588 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6589 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6590 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6591 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6592 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6593 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6594 ; GFX10-WGP-NEXT:    s_endpgm
6595 ;
6596 ; GFX10-CU-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6597 ; GFX10-CU:       ; %bb.0: ; %entry
6598 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6599 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6600 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6601 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6602 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6603 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6604 ; GFX10-CU-NEXT:    s_endpgm
6605 ;
6606 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6607 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6608 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6609 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6610 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6611 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6612 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6613 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6614 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6615 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6616 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6617 ;
6618 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6619 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6620 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6621 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6622 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6623 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6624 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6625 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6626 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6627 ;
6628 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_seq_cst_cmpxchg:
6629 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6630 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6631 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6632 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6633 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6634 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6635 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6636 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6637     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6638 entry:
6639   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6640   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire seq_cst
6641   ret void
6642 }
6643
6644 define amdgpu_kernel void @local_system_one_as_release_seq_cst_cmpxchg(
6645 ; GFX6-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6646 ; GFX6:       ; %bb.0: ; %entry
6647 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6648 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6649 ; GFX6-NEXT:    s_mov_b32 m0, -1
6650 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6651 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6652 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6653 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6654 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6655 ; GFX6-NEXT:    s_endpgm
6656 ;
6657 ; GFX7-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6658 ; GFX7:       ; %bb.0: ; %entry
6659 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6660 ; GFX7-NEXT:    s_mov_b32 m0, -1
6661 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6662 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6663 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6664 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6665 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6666 ; GFX7-NEXT:    s_endpgm
6667 ;
6668 ; GFX10-WGP-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6669 ; GFX10-WGP:       ; %bb.0: ; %entry
6670 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6671 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6672 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6673 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6674 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6675 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6676 ; GFX10-WGP-NEXT:    s_endpgm
6677 ;
6678 ; GFX10-CU-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6679 ; GFX10-CU:       ; %bb.0: ; %entry
6680 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6681 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6682 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6683 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6684 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6685 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6686 ; GFX10-CU-NEXT:    s_endpgm
6687 ;
6688 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6689 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6690 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6691 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6692 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6693 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6694 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6695 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6696 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6697 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6698 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6699 ;
6700 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6701 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6702 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6703 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6704 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6705 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6706 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6707 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6708 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6709 ;
6710 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_seq_cst_cmpxchg:
6711 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6712 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6713 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6714 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6715 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6716 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6717 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6718 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6719     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6720 entry:
6721   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6722   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release seq_cst
6723   ret void
6724 }
6725
6726 define amdgpu_kernel void @local_system_one_as_acq_rel_seq_cst_cmpxchg(
6727 ; GFX6-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6728 ; GFX6:       ; %bb.0: ; %entry
6729 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6730 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6731 ; GFX6-NEXT:    s_mov_b32 m0, -1
6732 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6733 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6734 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6735 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6736 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6737 ; GFX6-NEXT:    s_endpgm
6738 ;
6739 ; GFX7-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6740 ; GFX7:       ; %bb.0: ; %entry
6741 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6742 ; GFX7-NEXT:    s_mov_b32 m0, -1
6743 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6744 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6745 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6746 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6747 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6748 ; GFX7-NEXT:    s_endpgm
6749 ;
6750 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6751 ; GFX10-WGP:       ; %bb.0: ; %entry
6752 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6753 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6754 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6755 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6756 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6757 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6758 ; GFX10-WGP-NEXT:    s_endpgm
6759 ;
6760 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6761 ; GFX10-CU:       ; %bb.0: ; %entry
6762 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6763 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6764 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6765 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6766 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6767 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6768 ; GFX10-CU-NEXT:    s_endpgm
6769 ;
6770 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6771 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6772 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6773 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6774 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6775 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6776 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6777 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6778 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6779 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6780 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6781 ;
6782 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6783 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6784 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6785 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6786 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6787 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6788 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6789 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6790 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6791 ;
6792 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_seq_cst_cmpxchg:
6793 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6794 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6795 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6796 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6797 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6798 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6799 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6800 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6801     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6802 entry:
6803   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6804   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel seq_cst
6805   ret void
6806 }
6807
6808 define amdgpu_kernel void @local_system_one_as_seq_cst_seq_cst_cmpxchg(
6809 ; GFX6-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6810 ; GFX6:       ; %bb.0: ; %entry
6811 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6812 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6813 ; GFX6-NEXT:    s_mov_b32 m0, -1
6814 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6815 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6816 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6817 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6818 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6819 ; GFX6-NEXT:    s_endpgm
6820 ;
6821 ; GFX7-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6822 ; GFX7:       ; %bb.0: ; %entry
6823 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6824 ; GFX7-NEXT:    s_mov_b32 m0, -1
6825 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6826 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6827 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6828 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6829 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6830 ; GFX7-NEXT:    s_endpgm
6831 ;
6832 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6833 ; GFX10-WGP:       ; %bb.0: ; %entry
6834 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6835 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6836 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6837 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6838 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6839 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6840 ; GFX10-WGP-NEXT:    s_endpgm
6841 ;
6842 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6843 ; GFX10-CU:       ; %bb.0: ; %entry
6844 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6845 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6846 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6847 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6848 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6849 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6850 ; GFX10-CU-NEXT:    s_endpgm
6851 ;
6852 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6853 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6854 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6855 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6856 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6857 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6858 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6859 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6860 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6861 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6862 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6863 ;
6864 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6865 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6866 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6867 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6868 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6869 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6870 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6871 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6872 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6873 ;
6874 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_seq_cst_cmpxchg:
6875 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6876 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6877 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6878 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6879 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6880 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6881 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
6882 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6883     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6884 entry:
6885   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6886   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst seq_cst
6887   ret void
6888 }
6889
6890 define amdgpu_kernel void @local_system_one_as_monotonic_monotonic_ret_cmpxchg(
6891 ; GFX6-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6892 ; GFX6:       ; %bb.0: ; %entry
6893 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6894 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6895 ; GFX6-NEXT:    s_mov_b32 m0, -1
6896 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6897 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6898 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6899 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6900 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6901 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6902 ; GFX6-NEXT:    ds_write_b32 v0, v1
6903 ; GFX6-NEXT:    s_endpgm
6904 ;
6905 ; GFX7-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6906 ; GFX7:       ; %bb.0: ; %entry
6907 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6908 ; GFX7-NEXT:    s_mov_b32 m0, -1
6909 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6910 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6911 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
6912 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
6913 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6914 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6915 ; GFX7-NEXT:    ds_write_b32 v0, v1
6916 ; GFX7-NEXT:    s_endpgm
6917 ;
6918 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6919 ; GFX10-WGP:       ; %bb.0: ; %entry
6920 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6921 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6922 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
6923 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
6924 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
6925 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6926 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6927 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6928 ; GFX10-WGP-NEXT:    s_endpgm
6929 ;
6930 ; GFX10-CU-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6931 ; GFX10-CU:       ; %bb.0: ; %entry
6932 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6933 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6934 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
6935 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
6936 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
6937 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6938 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6939 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6940 ; GFX10-CU-NEXT:    s_endpgm
6941 ;
6942 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6943 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6944 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
6945 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
6946 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6947 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6948 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
6949 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
6950 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
6951 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6952 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6953 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6954 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6955 ;
6956 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6957 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6958 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6959 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6960 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6961 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6962 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6963 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6964 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6965 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6966 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6967 ;
6968 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_monotonic_ret_cmpxchg:
6969 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6970 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
6971 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6972 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6973 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6974 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6975 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6976 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6977 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6978 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6979     i32 addrspace(3)* %out, i32 %in, i32 %old) {
6980 entry:
6981   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
6982   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic monotonic
6983   %val0 = extractvalue { i32, i1 } %val, 0
6984   store i32 %val0, i32 addrspace(3)* %out, align 4
6985   ret void
6986 }
6987
6988 define amdgpu_kernel void @local_system_one_as_acquire_monotonic_ret_cmpxchg(
6989 ; GFX6-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
6990 ; GFX6:       ; %bb.0: ; %entry
6991 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
6992 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
6993 ; GFX6-NEXT:    s_mov_b32 m0, -1
6994 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6995 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
6996 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
6997 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
6998 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6999 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7000 ; GFX6-NEXT:    ds_write_b32 v0, v1
7001 ; GFX6-NEXT:    s_endpgm
7002 ;
7003 ; GFX7-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7004 ; GFX7:       ; %bb.0: ; %entry
7005 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7006 ; GFX7-NEXT:    s_mov_b32 m0, -1
7007 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7008 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7009 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7010 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7011 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7012 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7013 ; GFX7-NEXT:    ds_write_b32 v0, v1
7014 ; GFX7-NEXT:    s_endpgm
7015 ;
7016 ; GFX10-WGP-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7017 ; GFX10-WGP:       ; %bb.0: ; %entry
7018 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7019 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7020 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7021 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7022 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7023 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7024 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7025 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7026 ; GFX10-WGP-NEXT:    s_endpgm
7027 ;
7028 ; GFX10-CU-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7029 ; GFX10-CU:       ; %bb.0: ; %entry
7030 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7031 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7032 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7033 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7034 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7035 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7036 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7037 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7038 ; GFX10-CU-NEXT:    s_endpgm
7039 ;
7040 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7041 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7042 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7043 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7044 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7045 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7046 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7047 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7048 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7049 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7050 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7051 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7052 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7053 ;
7054 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7055 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7056 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7057 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7058 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7059 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7060 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7061 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7062 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7063 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7064 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7065 ;
7066 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_monotonic_ret_cmpxchg:
7067 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7068 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7069 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7070 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7071 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7072 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7073 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7074 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7075 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7076 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7077     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7078 entry:
7079   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7080   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire monotonic
7081   %val0 = extractvalue { i32, i1 } %val, 0
7082   store i32 %val0, i32 addrspace(3)* %out, align 4
7083   ret void
7084 }
7085
7086 define amdgpu_kernel void @local_system_one_as_release_monotonic_ret_cmpxchg(
7087 ; GFX6-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7088 ; GFX6:       ; %bb.0: ; %entry
7089 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7090 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7091 ; GFX6-NEXT:    s_mov_b32 m0, -1
7092 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7093 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7094 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7095 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7096 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7097 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7098 ; GFX6-NEXT:    ds_write_b32 v0, v1
7099 ; GFX6-NEXT:    s_endpgm
7100 ;
7101 ; GFX7-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7102 ; GFX7:       ; %bb.0: ; %entry
7103 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7104 ; GFX7-NEXT:    s_mov_b32 m0, -1
7105 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7106 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7107 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7108 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7109 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7110 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7111 ; GFX7-NEXT:    ds_write_b32 v0, v1
7112 ; GFX7-NEXT:    s_endpgm
7113 ;
7114 ; GFX10-WGP-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7115 ; GFX10-WGP:       ; %bb.0: ; %entry
7116 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7117 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7118 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7119 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7120 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7121 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7122 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7123 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7124 ; GFX10-WGP-NEXT:    s_endpgm
7125 ;
7126 ; GFX10-CU-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7127 ; GFX10-CU:       ; %bb.0: ; %entry
7128 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7129 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7130 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7131 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7132 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7133 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7134 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7135 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7136 ; GFX10-CU-NEXT:    s_endpgm
7137 ;
7138 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7139 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7140 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7141 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7142 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7143 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7144 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7145 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7146 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7147 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7148 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7149 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7150 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7151 ;
7152 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7153 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7154 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7155 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7156 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7157 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7158 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7159 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7160 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7161 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7162 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7163 ;
7164 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_monotonic_ret_cmpxchg:
7165 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7166 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7167 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7168 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7169 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7170 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7171 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7172 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7173 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7174 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7175     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7176 entry:
7177   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7178   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release monotonic
7179   %val0 = extractvalue { i32, i1 } %val, 0
7180   store i32 %val0, i32 addrspace(3)* %out, align 4
7181   ret void
7182 }
7183
7184 define amdgpu_kernel void @local_system_one_as_acq_rel_monotonic_ret_cmpxchg(
7185 ; GFX6-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7186 ; GFX6:       ; %bb.0: ; %entry
7187 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7188 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7189 ; GFX6-NEXT:    s_mov_b32 m0, -1
7190 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7191 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7192 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7193 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7194 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7195 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7196 ; GFX6-NEXT:    ds_write_b32 v0, v1
7197 ; GFX6-NEXT:    s_endpgm
7198 ;
7199 ; GFX7-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7200 ; GFX7:       ; %bb.0: ; %entry
7201 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7202 ; GFX7-NEXT:    s_mov_b32 m0, -1
7203 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7204 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7205 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7206 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7207 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7208 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7209 ; GFX7-NEXT:    ds_write_b32 v0, v1
7210 ; GFX7-NEXT:    s_endpgm
7211 ;
7212 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7213 ; GFX10-WGP:       ; %bb.0: ; %entry
7214 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7215 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7216 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7217 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7218 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7219 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7220 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7221 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7222 ; GFX10-WGP-NEXT:    s_endpgm
7223 ;
7224 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7225 ; GFX10-CU:       ; %bb.0: ; %entry
7226 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7227 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7228 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7229 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7230 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7231 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7232 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7233 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7234 ; GFX10-CU-NEXT:    s_endpgm
7235 ;
7236 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7237 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7238 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7239 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7240 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7241 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7242 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7243 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7244 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7245 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7246 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7247 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7248 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7249 ;
7250 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7251 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7252 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7253 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7254 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7255 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7256 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7257 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7258 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7259 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7260 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7261 ;
7262 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_monotonic_ret_cmpxchg:
7263 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7264 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7265 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7266 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7267 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7268 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7269 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7270 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7271 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7272 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7273     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7274 entry:
7275   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7276   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel monotonic
7277   %val0 = extractvalue { i32, i1 } %val, 0
7278   store i32 %val0, i32 addrspace(3)* %out, align 4
7279   ret void
7280 }
7281
7282 define amdgpu_kernel void @local_system_one_as_seq_cst_monotonic_ret_cmpxchg(
7283 ; GFX6-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7284 ; GFX6:       ; %bb.0: ; %entry
7285 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7286 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7287 ; GFX6-NEXT:    s_mov_b32 m0, -1
7288 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7289 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7290 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7291 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7292 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7293 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7294 ; GFX6-NEXT:    ds_write_b32 v0, v1
7295 ; GFX6-NEXT:    s_endpgm
7296 ;
7297 ; GFX7-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7298 ; GFX7:       ; %bb.0: ; %entry
7299 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7300 ; GFX7-NEXT:    s_mov_b32 m0, -1
7301 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7302 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7303 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7304 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7305 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7306 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7307 ; GFX7-NEXT:    ds_write_b32 v0, v1
7308 ; GFX7-NEXT:    s_endpgm
7309 ;
7310 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7311 ; GFX10-WGP:       ; %bb.0: ; %entry
7312 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7313 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7314 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7315 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7316 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7317 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7318 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7319 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7320 ; GFX10-WGP-NEXT:    s_endpgm
7321 ;
7322 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7323 ; GFX10-CU:       ; %bb.0: ; %entry
7324 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7325 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7326 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7327 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7328 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7329 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7330 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7331 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7332 ; GFX10-CU-NEXT:    s_endpgm
7333 ;
7334 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7335 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7336 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7337 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7338 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7339 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7340 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7341 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7342 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7343 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7344 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7345 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7346 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7347 ;
7348 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7349 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7350 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7351 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7352 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7353 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7354 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7355 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7356 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7357 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7358 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7359 ;
7360 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_monotonic_ret_cmpxchg:
7361 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7362 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7363 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7364 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7365 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7366 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7367 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7368 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7369 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7370 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7371     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7372 entry:
7373   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7374   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst monotonic
7375   %val0 = extractvalue { i32, i1 } %val, 0
7376   store i32 %val0, i32 addrspace(3)* %out, align 4
7377   ret void
7378 }
7379
7380 define amdgpu_kernel void @local_system_one_as_monotonic_acquire_ret_cmpxchg(
7381 ; GFX6-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7382 ; GFX6:       ; %bb.0: ; %entry
7383 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7384 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7385 ; GFX6-NEXT:    s_mov_b32 m0, -1
7386 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7387 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7388 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7389 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7390 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7391 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7392 ; GFX6-NEXT:    ds_write_b32 v0, v1
7393 ; GFX6-NEXT:    s_endpgm
7394 ;
7395 ; GFX7-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7396 ; GFX7:       ; %bb.0: ; %entry
7397 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7398 ; GFX7-NEXT:    s_mov_b32 m0, -1
7399 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7400 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7401 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7402 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7403 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7404 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7405 ; GFX7-NEXT:    ds_write_b32 v0, v1
7406 ; GFX7-NEXT:    s_endpgm
7407 ;
7408 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7409 ; GFX10-WGP:       ; %bb.0: ; %entry
7410 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7411 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7412 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7413 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7414 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7415 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7416 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7417 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7418 ; GFX10-WGP-NEXT:    s_endpgm
7419 ;
7420 ; GFX10-CU-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7421 ; GFX10-CU:       ; %bb.0: ; %entry
7422 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7423 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7424 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7425 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7426 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7427 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7428 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7429 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7430 ; GFX10-CU-NEXT:    s_endpgm
7431 ;
7432 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7433 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7434 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7435 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7436 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7437 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7438 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7439 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7440 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7441 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7442 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7443 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7444 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7445 ;
7446 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7447 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7448 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7449 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7450 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7451 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7452 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7453 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7454 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7455 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7456 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7457 ;
7458 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_acquire_ret_cmpxchg:
7459 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7460 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7461 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7462 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7463 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7464 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7465 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7466 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7467 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7468 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7469     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7470 entry:
7471   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7472   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic acquire
7473   %val0 = extractvalue { i32, i1 } %val, 0
7474   store i32 %val0, i32 addrspace(3)* %out, align 4
7475   ret void
7476 }
7477
7478 define amdgpu_kernel void @local_system_one_as_acquire_acquire_ret_cmpxchg(
7479 ; GFX6-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7480 ; GFX6:       ; %bb.0: ; %entry
7481 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7482 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7483 ; GFX6-NEXT:    s_mov_b32 m0, -1
7484 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7485 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7486 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7487 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7488 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7489 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7490 ; GFX6-NEXT:    ds_write_b32 v0, v1
7491 ; GFX6-NEXT:    s_endpgm
7492 ;
7493 ; GFX7-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7494 ; GFX7:       ; %bb.0: ; %entry
7495 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7496 ; GFX7-NEXT:    s_mov_b32 m0, -1
7497 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7498 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7499 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7500 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7501 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7502 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7503 ; GFX7-NEXT:    ds_write_b32 v0, v1
7504 ; GFX7-NEXT:    s_endpgm
7505 ;
7506 ; GFX10-WGP-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7507 ; GFX10-WGP:       ; %bb.0: ; %entry
7508 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7509 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7510 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7511 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7512 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7513 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7514 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7515 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7516 ; GFX10-WGP-NEXT:    s_endpgm
7517 ;
7518 ; GFX10-CU-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7519 ; GFX10-CU:       ; %bb.0: ; %entry
7520 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7521 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7522 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7523 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7524 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7525 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7526 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7527 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7528 ; GFX10-CU-NEXT:    s_endpgm
7529 ;
7530 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7531 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7532 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7533 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7534 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7535 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7536 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7537 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7538 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7539 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7540 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7541 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7542 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7543 ;
7544 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7545 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7546 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7547 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7548 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7549 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7550 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7551 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7552 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7553 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7554 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7555 ;
7556 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_acquire_ret_cmpxchg:
7557 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7558 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7559 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7560 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7561 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7562 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7563 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7564 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7565 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7566 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7567     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7568 entry:
7569   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7570   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire acquire
7571   %val0 = extractvalue { i32, i1 } %val, 0
7572   store i32 %val0, i32 addrspace(3)* %out, align 4
7573   ret void
7574 }
7575
7576 define amdgpu_kernel void @local_system_one_as_release_acquire_ret_cmpxchg(
7577 ; GFX6-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7578 ; GFX6:       ; %bb.0: ; %entry
7579 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7580 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7581 ; GFX6-NEXT:    s_mov_b32 m0, -1
7582 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7583 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7584 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7585 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7586 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7587 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7588 ; GFX6-NEXT:    ds_write_b32 v0, v1
7589 ; GFX6-NEXT:    s_endpgm
7590 ;
7591 ; GFX7-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7592 ; GFX7:       ; %bb.0: ; %entry
7593 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7594 ; GFX7-NEXT:    s_mov_b32 m0, -1
7595 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7596 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7597 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7598 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7599 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7600 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7601 ; GFX7-NEXT:    ds_write_b32 v0, v1
7602 ; GFX7-NEXT:    s_endpgm
7603 ;
7604 ; GFX10-WGP-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7605 ; GFX10-WGP:       ; %bb.0: ; %entry
7606 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7607 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7608 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7609 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7610 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7611 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7612 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7613 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7614 ; GFX10-WGP-NEXT:    s_endpgm
7615 ;
7616 ; GFX10-CU-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7617 ; GFX10-CU:       ; %bb.0: ; %entry
7618 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7619 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7620 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7621 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7622 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7623 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7624 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7625 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7626 ; GFX10-CU-NEXT:    s_endpgm
7627 ;
7628 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7629 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7630 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7631 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7632 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7633 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7634 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7635 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7636 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7637 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7638 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7639 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7640 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7641 ;
7642 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7643 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7644 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7645 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7646 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7647 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7648 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7649 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7650 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7651 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7652 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7653 ;
7654 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_acquire_ret_cmpxchg:
7655 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7656 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7657 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7658 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7659 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7660 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7661 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7662 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7663 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7664 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7665     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7666 entry:
7667   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7668   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release acquire
7669   %val0 = extractvalue { i32, i1 } %val, 0
7670   store i32 %val0, i32 addrspace(3)* %out, align 4
7671   ret void
7672 }
7673
7674 define amdgpu_kernel void @local_system_one_as_acq_rel_acquire_ret_cmpxchg(
7675 ; GFX6-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7676 ; GFX6:       ; %bb.0: ; %entry
7677 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7678 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7679 ; GFX6-NEXT:    s_mov_b32 m0, -1
7680 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7681 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7682 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7683 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7684 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7685 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7686 ; GFX6-NEXT:    ds_write_b32 v0, v1
7687 ; GFX6-NEXT:    s_endpgm
7688 ;
7689 ; GFX7-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7690 ; GFX7:       ; %bb.0: ; %entry
7691 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7692 ; GFX7-NEXT:    s_mov_b32 m0, -1
7693 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7694 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7695 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7696 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7697 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7698 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7699 ; GFX7-NEXT:    ds_write_b32 v0, v1
7700 ; GFX7-NEXT:    s_endpgm
7701 ;
7702 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7703 ; GFX10-WGP:       ; %bb.0: ; %entry
7704 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7705 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7706 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7707 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7708 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7709 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7710 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7711 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7712 ; GFX10-WGP-NEXT:    s_endpgm
7713 ;
7714 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7715 ; GFX10-CU:       ; %bb.0: ; %entry
7716 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7717 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7718 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7719 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7720 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7721 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7722 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7723 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7724 ; GFX10-CU-NEXT:    s_endpgm
7725 ;
7726 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7727 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7728 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7729 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7730 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7731 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7732 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7733 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7734 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7735 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7736 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7737 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7738 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7739 ;
7740 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7741 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7742 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7743 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7744 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7745 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7746 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7747 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7748 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7749 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7750 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7751 ;
7752 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_acquire_ret_cmpxchg:
7753 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7754 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7755 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7756 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7757 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7758 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7759 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7760 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7761 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7762 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7763     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7764 entry:
7765   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7766   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel acquire
7767   %val0 = extractvalue { i32, i1 } %val, 0
7768   store i32 %val0, i32 addrspace(3)* %out, align 4
7769   ret void
7770 }
7771
7772 define amdgpu_kernel void @local_system_one_as_seq_cst_acquire_ret_cmpxchg(
7773 ; GFX6-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7774 ; GFX6:       ; %bb.0: ; %entry
7775 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7776 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7777 ; GFX6-NEXT:    s_mov_b32 m0, -1
7778 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7779 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7780 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7781 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7782 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7783 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7784 ; GFX6-NEXT:    ds_write_b32 v0, v1
7785 ; GFX6-NEXT:    s_endpgm
7786 ;
7787 ; GFX7-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7788 ; GFX7:       ; %bb.0: ; %entry
7789 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7790 ; GFX7-NEXT:    s_mov_b32 m0, -1
7791 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7792 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7793 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7794 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7795 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7796 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7797 ; GFX7-NEXT:    ds_write_b32 v0, v1
7798 ; GFX7-NEXT:    s_endpgm
7799 ;
7800 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7801 ; GFX10-WGP:       ; %bb.0: ; %entry
7802 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7803 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7804 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7805 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7806 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7807 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7808 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7809 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7810 ; GFX10-WGP-NEXT:    s_endpgm
7811 ;
7812 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7813 ; GFX10-CU:       ; %bb.0: ; %entry
7814 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7815 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7816 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7817 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7818 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7819 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7820 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7821 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7822 ; GFX10-CU-NEXT:    s_endpgm
7823 ;
7824 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7825 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7826 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7827 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7828 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7829 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7830 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7831 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7832 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7833 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7834 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7835 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7836 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7837 ;
7838 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7839 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7840 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7841 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7842 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7843 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7844 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7845 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7846 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7847 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7848 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7849 ;
7850 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_acquire_ret_cmpxchg:
7851 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7852 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7853 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7854 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7855 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7856 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7857 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7858 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7859 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7860 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7861     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7862 entry:
7863   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7864   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst acquire
7865   %val0 = extractvalue { i32, i1 } %val, 0
7866   store i32 %val0, i32 addrspace(3)* %out, align 4
7867   ret void
7868 }
7869
7870 define amdgpu_kernel void @local_system_one_as_monotonic_seq_cst_ret_cmpxchg(
7871 ; GFX6-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7872 ; GFX6:       ; %bb.0: ; %entry
7873 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7874 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7875 ; GFX6-NEXT:    s_mov_b32 m0, -1
7876 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7877 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7878 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7879 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7880 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7881 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7882 ; GFX6-NEXT:    ds_write_b32 v0, v1
7883 ; GFX6-NEXT:    s_endpgm
7884 ;
7885 ; GFX7-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7886 ; GFX7:       ; %bb.0: ; %entry
7887 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7888 ; GFX7-NEXT:    s_mov_b32 m0, -1
7889 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7890 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7891 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7892 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7893 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7894 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7895 ; GFX7-NEXT:    ds_write_b32 v0, v1
7896 ; GFX7-NEXT:    s_endpgm
7897 ;
7898 ; GFX10-WGP-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7899 ; GFX10-WGP:       ; %bb.0: ; %entry
7900 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7901 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7902 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
7903 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
7904 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
7905 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7906 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7907 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7908 ; GFX10-WGP-NEXT:    s_endpgm
7909 ;
7910 ; GFX10-CU-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7911 ; GFX10-CU:       ; %bb.0: ; %entry
7912 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7913 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7914 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
7915 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
7916 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
7917 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7918 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7919 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7920 ; GFX10-CU-NEXT:    s_endpgm
7921 ;
7922 ; SKIP-CACHE-INV-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7923 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7924 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
7925 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
7926 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7927 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7928 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
7929 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
7930 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
7931 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7932 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7933 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7934 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7935 ;
7936 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7937 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7938 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7939 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7940 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7941 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7942 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7943 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7944 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7945 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7946 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7947 ;
7948 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_monotonic_seq_cst_ret_cmpxchg:
7949 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7950 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7951 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7952 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7953 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7954 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7955 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7956 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7957 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7958 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7959     i32 addrspace(3)* %out, i32 %in, i32 %old) {
7960 entry:
7961   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
7962   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") monotonic seq_cst
7963   %val0 = extractvalue { i32, i1 } %val, 0
7964   store i32 %val0, i32 addrspace(3)* %out, align 4
7965   ret void
7966 }
7967
7968 define amdgpu_kernel void @local_system_one_as_acquire_seq_cst_ret_cmpxchg(
7969 ; GFX6-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
7970 ; GFX6:       ; %bb.0: ; %entry
7971 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
7972 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
7973 ; GFX6-NEXT:    s_mov_b32 m0, -1
7974 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7975 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
7976 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
7977 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
7978 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7979 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7980 ; GFX6-NEXT:    ds_write_b32 v0, v1
7981 ; GFX6-NEXT:    s_endpgm
7982 ;
7983 ; GFX7-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
7984 ; GFX7:       ; %bb.0: ; %entry
7985 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7986 ; GFX7-NEXT:    s_mov_b32 m0, -1
7987 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7988 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
7989 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
7990 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
7991 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7992 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7993 ; GFX7-NEXT:    ds_write_b32 v0, v1
7994 ; GFX7-NEXT:    s_endpgm
7995 ;
7996 ; GFX10-WGP-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
7997 ; GFX10-WGP:       ; %bb.0: ; %entry
7998 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
7999 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8000 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8001 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8002 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8003 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8004 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8005 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8006 ; GFX10-WGP-NEXT:    s_endpgm
8007 ;
8008 ; GFX10-CU-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
8009 ; GFX10-CU:       ; %bb.0: ; %entry
8010 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8011 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8012 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8013 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8014 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8015 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8016 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8017 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8018 ; GFX10-CU-NEXT:    s_endpgm
8019 ;
8020 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
8021 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8022 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
8023 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
8024 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8025 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8026 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8027 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
8028 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
8029 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8030 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8031 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8032 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8033 ;
8034 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
8035 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8036 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8037 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8038 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8039 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8040 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8041 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8042 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8043 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8044 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8045 ;
8046 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acquire_seq_cst_ret_cmpxchg:
8047 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8048 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8049 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8050 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8051 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8052 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8053 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8054 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8055 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8056 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8057     i32 addrspace(3)* %out, i32 %in, i32 %old) {
8058 entry:
8059   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
8060   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acquire seq_cst
8061   %val0 = extractvalue { i32, i1 } %val, 0
8062   store i32 %val0, i32 addrspace(3)* %out, align 4
8063   ret void
8064 }
8065
8066 define amdgpu_kernel void @local_system_one_as_release_seq_cst_ret_cmpxchg(
8067 ; GFX6-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8068 ; GFX6:       ; %bb.0: ; %entry
8069 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8070 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8071 ; GFX6-NEXT:    s_mov_b32 m0, -1
8072 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8073 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8074 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8075 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8076 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8077 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8078 ; GFX6-NEXT:    ds_write_b32 v0, v1
8079 ; GFX6-NEXT:    s_endpgm
8080 ;
8081 ; GFX7-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8082 ; GFX7:       ; %bb.0: ; %entry
8083 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8084 ; GFX7-NEXT:    s_mov_b32 m0, -1
8085 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8086 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8087 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8088 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8089 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8090 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8091 ; GFX7-NEXT:    ds_write_b32 v0, v1
8092 ; GFX7-NEXT:    s_endpgm
8093 ;
8094 ; GFX10-WGP-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8095 ; GFX10-WGP:       ; %bb.0: ; %entry
8096 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8097 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8098 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8099 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8100 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8101 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8102 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8103 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8104 ; GFX10-WGP-NEXT:    s_endpgm
8105 ;
8106 ; GFX10-CU-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8107 ; GFX10-CU:       ; %bb.0: ; %entry
8108 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8109 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8110 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8111 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8112 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8113 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8114 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8115 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8116 ; GFX10-CU-NEXT:    s_endpgm
8117 ;
8118 ; SKIP-CACHE-INV-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8119 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8120 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
8121 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
8122 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8123 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8124 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8125 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
8126 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
8127 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8128 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8129 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8130 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8131 ;
8132 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8133 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8134 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8135 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8136 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8137 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8138 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8139 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8140 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8141 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8142 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8143 ;
8144 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_release_seq_cst_ret_cmpxchg:
8145 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8146 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8147 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8148 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8149 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8150 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8151 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8152 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8153 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8154 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8155     i32 addrspace(3)* %out, i32 %in, i32 %old) {
8156 entry:
8157   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
8158   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") release seq_cst
8159   %val0 = extractvalue { i32, i1 } %val, 0
8160   store i32 %val0, i32 addrspace(3)* %out, align 4
8161   ret void
8162 }
8163
8164 define amdgpu_kernel void @local_system_one_as_acq_rel_seq_cst_ret_cmpxchg(
8165 ; GFX6-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8166 ; GFX6:       ; %bb.0: ; %entry
8167 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8168 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8169 ; GFX6-NEXT:    s_mov_b32 m0, -1
8170 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8171 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8172 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8173 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8174 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8175 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8176 ; GFX6-NEXT:    ds_write_b32 v0, v1
8177 ; GFX6-NEXT:    s_endpgm
8178 ;
8179 ; GFX7-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8180 ; GFX7:       ; %bb.0: ; %entry
8181 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8182 ; GFX7-NEXT:    s_mov_b32 m0, -1
8183 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8184 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8185 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8186 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8187 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8188 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8189 ; GFX7-NEXT:    ds_write_b32 v0, v1
8190 ; GFX7-NEXT:    s_endpgm
8191 ;
8192 ; GFX10-WGP-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8193 ; GFX10-WGP:       ; %bb.0: ; %entry
8194 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8195 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8196 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8197 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8198 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8199 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8200 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8201 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8202 ; GFX10-WGP-NEXT:    s_endpgm
8203 ;
8204 ; GFX10-CU-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8205 ; GFX10-CU:       ; %bb.0: ; %entry
8206 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8207 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8208 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8209 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8210 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8211 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8212 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8213 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8214 ; GFX10-CU-NEXT:    s_endpgm
8215 ;
8216 ; SKIP-CACHE-INV-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8217 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8218 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
8219 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
8220 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8221 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8222 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8223 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
8224 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
8225 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8226 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8227 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8228 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8229 ;
8230 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8231 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8232 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8233 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8234 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8235 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8236 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8237 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8238 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8239 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8240 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8241 ;
8242 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_acq_rel_seq_cst_ret_cmpxchg:
8243 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8244 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8245 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8246 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8247 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8248 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8249 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8250 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8251 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8252 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8253     i32 addrspace(3)* %out, i32 %in, i32 %old) {
8254 entry:
8255   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
8256   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") acq_rel seq_cst
8257   %val0 = extractvalue { i32, i1 } %val, 0
8258   store i32 %val0, i32 addrspace(3)* %out, align 4
8259   ret void
8260 }
8261
8262 define amdgpu_kernel void @local_system_one_as_seq_cst_seq_cst_ret_cmpxchg(
8263 ; GFX6-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8264 ; GFX6:       ; %bb.0: ; %entry
8265 ; GFX6-NEXT:    s_load_dword s2, s[4:5], 0x0
8266 ; GFX6-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x1
8267 ; GFX6-NEXT:    s_mov_b32 m0, -1
8268 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8269 ; GFX6-NEXT:    v_mov_b32_e32 v0, s2
8270 ; GFX6-NEXT:    v_mov_b32_e32 v1, s1
8271 ; GFX6-NEXT:    v_mov_b32_e32 v2, s0
8272 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8273 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8274 ; GFX6-NEXT:    ds_write_b32 v0, v1
8275 ; GFX6-NEXT:    s_endpgm
8276 ;
8277 ; GFX7-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8278 ; GFX7:       ; %bb.0: ; %entry
8279 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8280 ; GFX7-NEXT:    s_mov_b32 m0, -1
8281 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8282 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
8283 ; GFX7-NEXT:    v_mov_b32_e32 v1, s2
8284 ; GFX7-NEXT:    v_mov_b32_e32 v2, s1
8285 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8286 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8287 ; GFX7-NEXT:    ds_write_b32 v0, v1
8288 ; GFX7-NEXT:    s_endpgm
8289 ;
8290 ; GFX10-WGP-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8291 ; GFX10-WGP:       ; %bb.0: ; %entry
8292 ; GFX10-WGP-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8293 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8294 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s0
8295 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s2
8296 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s1
8297 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8298 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8299 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8300 ; GFX10-WGP-NEXT:    s_endpgm
8301 ;
8302 ; GFX10-CU-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8303 ; GFX10-CU:       ; %bb.0: ; %entry
8304 ; GFX10-CU-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8305 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8306 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s0
8307 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s2
8308 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s1
8309 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8310 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8311 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8312 ; GFX10-CU-NEXT:    s_endpgm
8313 ;
8314 ; SKIP-CACHE-INV-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8315 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8316 ; SKIP-CACHE-INV-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0x9
8317 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[0:1], 0xb
8318 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8319 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8320 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
8321 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
8322 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s3
8323 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8324 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8325 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8326 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8327 ;
8328 ; GFX90A-NOTTGSPLIT-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8329 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8330 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8331 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8332 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8333 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8334 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8335 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8336 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8337 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8338 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8339 ;
8340 ; GFX90A-TGSPLIT-LABEL: local_system_one_as_seq_cst_seq_cst_ret_cmpxchg:
8341 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8342 ; GFX90A-TGSPLIT-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x0
8343 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8344 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8345 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8346 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8347 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8348 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8349 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8350 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8351     i32 addrspace(3)* %out, i32 %in, i32 %old) {
8352 entry:
8353   %gep = getelementptr i32, i32 addrspace(3)* %out, i32 4
8354   %val = cmpxchg volatile i32 addrspace(3)* %gep, i32 %old, i32 %in syncscope("one-as") seq_cst seq_cst
8355   %val0 = extractvalue { i32, i1 } %val, 0
8356   store i32 %val0, i32 addrspace(3)* %out, align 4
8357   ret void
8358 }
8359