llvm/test/CodeGen/AMDGPU/memory-legalizer-local-singlethread.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx600 < %s | FileCheck --check-prefixes=GFX6 %s
   3 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx700 < %s | FileCheck --check-prefixes=GFX7 %s
   4 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1010 < %s | FileCheck --check-prefixes=GFX10-WGP %s
   5 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1010 -mattr=+cumode < %s | FileCheck --check-prefixes=GFX10-CU %s
   6 ; RUN: llc -mtriple=amdgcn-amd-amdpal -O0 -mcpu=gfx700 -amdgcn-skip-cache-invalidations < %s | FileCheck --check-prefixes=SKIP-CACHE-INV %s
   7 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx90a < %s | FileCheck -check-prefixes=GFX90A-NOTTGSPLIT %s
   8 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx90a -mattr=+tgsplit < %s | FileCheck -check-prefixes=GFX90A-TGSPLIT %s
   9 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx940 < %s | FileCheck -check-prefixes=GFX940-NOTTGSPLIT %s
  10 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx940 -mattr=+tgsplit < %s | FileCheck -check-prefixes=GFX940-TGSPLIT %s
  11 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1100 < %s | FileCheck --check-prefixes=GFX11-WGP %s
  12 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1100 -mattr=+cumode < %s | FileCheck --check-prefixes=GFX11-CU %s
  13 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1200 < %s | FileCheck --check-prefixes=GFX12-WGP %s
  14 ; RUN: llc -mtriple=amdgcn-amd-amdhsa -O0 -mcpu=gfx1200 -mattr=+cumode < %s | FileCheck --check-prefixes=GFX12-CU %s
  15
  16 define amdgpu_kernel void @local_singlethread_unordered_load(
  17 ; GFX6-LABEL: local_singlethread_unordered_load:
  18 ; GFX6:       ; %bb.0: ; %entry
  19 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
  20 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
  21 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
  22 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
  23 ; GFX6-NEXT:    s_mov_b32 m0, -1
  24 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  25 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
  26 ; GFX6-NEXT:    ds_read_b32 v1, v0
  27 ; GFX6-NEXT:    s_mov_b32 m0, -1
  28 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
  29 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
  30 ; GFX6-NEXT:    ds_write_b32 v0, v1
  31 ; GFX6-NEXT:    s_endpgm
  32 ;
  33 ; GFX7-LABEL: local_singlethread_unordered_load:
  34 ; GFX7:       ; %bb.0: ; %entry
  35 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
  36 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
  37 ; GFX7-NEXT:    s_mov_b32 m0, -1
  38 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  39 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
  40 ; GFX7-NEXT:    ds_read_b32 v1, v0
  41 ; GFX7-NEXT:    s_mov_b32 m0, -1
  42 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
  43 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  44 ; GFX7-NEXT:    ds_write_b32 v0, v1
  45 ; GFX7-NEXT:    s_endpgm
  46 ;
  47 ; GFX10-WGP-LABEL: local_singlethread_unordered_load:
  48 ; GFX10-WGP:       ; %bb.0: ; %entry
  49 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
  50 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
  51 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  52 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
  53 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
  54 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
  55 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
  56 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
  57 ; GFX10-WGP-NEXT:    s_endpgm
  58 ;
  59 ; GFX10-CU-LABEL: local_singlethread_unordered_load:
  60 ; GFX10-CU:       ; %bb.0: ; %entry
  61 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
  62 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
  63 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  64 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
  65 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
  66 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
  67 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
  68 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
  69 ; GFX10-CU-NEXT:    s_endpgm
  70 ;
  71 ; SKIP-CACHE-INV-LABEL: local_singlethread_unordered_load:
  72 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
  73 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
  74 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
  75 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
  76 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  77 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
  78 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
  79 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
  80 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
  81 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
  82 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
  83 ; SKIP-CACHE-INV-NEXT:    s_endpgm
  84 ;
  85 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_unordered_load:
  86 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
  87 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
  88 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
  89 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  90 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
  91 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
  92 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
  93 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
  94 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
  95 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
  96 ;
  97 ; GFX90A-TGSPLIT-LABEL: local_singlethread_unordered_load:
  98 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
  99 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 100 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 101 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 102 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 103 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 104 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 105 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 106 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 107 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 108 ;
 109 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_unordered_load:
 110 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 111 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 112 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 113 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 114 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 115 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 116 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 117 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 118 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 119 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 120 ;
 121 ; GFX940-TGSPLIT-LABEL: local_singlethread_unordered_load:
 122 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 123 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 124 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 125 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 126 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 127 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 128 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 129 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 130 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 131 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 132 ;
 133 ; GFX11-WGP-LABEL: local_singlethread_unordered_load:
 134 ; GFX11-WGP:       ; %bb.0: ; %entry
 135 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 136 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 137 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 138 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 139 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
 140 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
 141 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 142 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 143 ; GFX11-WGP-NEXT:    s_endpgm
 144 ;
 145 ; GFX11-CU-LABEL: local_singlethread_unordered_load:
 146 ; GFX11-CU:       ; %bb.0: ; %entry
 147 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 148 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 149 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 150 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 151 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
 152 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
 153 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 154 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 155 ; GFX11-CU-NEXT:    s_endpgm
 156 ;
 157 ; GFX12-WGP-LABEL: local_singlethread_unordered_load:
 158 ; GFX12-WGP:       ; %bb.0: ; %entry
 159 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 160 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 161 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 162 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 163 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
 164 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
 165 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
 166 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 167 ; GFX12-WGP-NEXT:    s_endpgm
 168 ;
 169 ; GFX12-CU-LABEL: local_singlethread_unordered_load:
 170 ; GFX12-CU:       ; %bb.0: ; %entry
 171 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 172 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 173 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 174 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 175 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
 176 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
 177 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
 178 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 179 ; GFX12-CU-NEXT:    s_endpgm
 180     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 181 entry:
 182   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread") unordered, align 4
 183   store i32 %val, ptr addrspace(3) %out
 184   ret void
 185 }
 186
 187 define amdgpu_kernel void @local_singlethread_monotonic_load(
 188 ; GFX6-LABEL: local_singlethread_monotonic_load:
 189 ; GFX6:       ; %bb.0: ; %entry
 190 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
 191 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
 192 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
 193 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
 194 ; GFX6-NEXT:    s_mov_b32 m0, -1
 195 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 196 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 197 ; GFX6-NEXT:    ds_read_b32 v1, v0
 198 ; GFX6-NEXT:    s_mov_b32 m0, -1
 199 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
 200 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 201 ; GFX6-NEXT:    ds_write_b32 v0, v1
 202 ; GFX6-NEXT:    s_endpgm
 203 ;
 204 ; GFX7-LABEL: local_singlethread_monotonic_load:
 205 ; GFX7:       ; %bb.0: ; %entry
 206 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
 207 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
 208 ; GFX7-NEXT:    s_mov_b32 m0, -1
 209 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 210 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
 211 ; GFX7-NEXT:    ds_read_b32 v1, v0
 212 ; GFX7-NEXT:    s_mov_b32 m0, -1
 213 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 214 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 215 ; GFX7-NEXT:    ds_write_b32 v0, v1
 216 ; GFX7-NEXT:    s_endpgm
 217 ;
 218 ; GFX10-WGP-LABEL: local_singlethread_monotonic_load:
 219 ; GFX10-WGP:       ; %bb.0: ; %entry
 220 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
 221 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
 222 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 223 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
 224 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
 225 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
 226 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 227 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 228 ; GFX10-WGP-NEXT:    s_endpgm
 229 ;
 230 ; GFX10-CU-LABEL: local_singlethread_monotonic_load:
 231 ; GFX10-CU:       ; %bb.0: ; %entry
 232 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
 233 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
 234 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 235 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
 236 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
 237 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
 238 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 239 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 240 ; GFX10-CU-NEXT:    s_endpgm
 241 ;
 242 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_load:
 243 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 244 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
 245 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
 246 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 247 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 248 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 249 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
 250 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 251 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 252 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 253 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 254 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 255 ;
 256 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_load:
 257 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 258 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 259 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 260 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 261 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 262 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 263 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 264 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 265 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 266 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 267 ;
 268 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_load:
 269 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 270 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 271 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 272 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 273 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 274 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 275 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 276 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 277 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 278 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 279 ;
 280 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_load:
 281 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 282 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 283 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 284 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 285 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 286 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 287 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 288 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 289 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 290 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 291 ;
 292 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_load:
 293 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 294 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 295 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 296 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 297 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 298 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 299 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 300 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 301 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 302 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 303 ;
 304 ; GFX11-WGP-LABEL: local_singlethread_monotonic_load:
 305 ; GFX11-WGP:       ; %bb.0: ; %entry
 306 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 307 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 308 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 309 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 310 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
 311 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
 312 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 313 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 314 ; GFX11-WGP-NEXT:    s_endpgm
 315 ;
 316 ; GFX11-CU-LABEL: local_singlethread_monotonic_load:
 317 ; GFX11-CU:       ; %bb.0: ; %entry
 318 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 319 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 320 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 321 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 322 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
 323 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
 324 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 325 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 326 ; GFX11-CU-NEXT:    s_endpgm
 327 ;
 328 ; GFX12-WGP-LABEL: local_singlethread_monotonic_load:
 329 ; GFX12-WGP:       ; %bb.0: ; %entry
 330 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 331 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 332 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 333 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 334 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
 335 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
 336 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
 337 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 338 ; GFX12-WGP-NEXT:    s_endpgm
 339 ;
 340 ; GFX12-CU-LABEL: local_singlethread_monotonic_load:
 341 ; GFX12-CU:       ; %bb.0: ; %entry
 342 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 343 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 344 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 345 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 346 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
 347 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
 348 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
 349 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 350 ; GFX12-CU-NEXT:    s_endpgm
 351     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 352 entry:
 353   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread") monotonic, align 4
 354   store i32 %val, ptr addrspace(3) %out
 355   ret void
 356 }
 357
 358 define amdgpu_kernel void @local_singlethread_acquire_load(
 359 ; GFX6-LABEL: local_singlethread_acquire_load:
 360 ; GFX6:       ; %bb.0: ; %entry
 361 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
 362 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
 363 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
 364 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
 365 ; GFX6-NEXT:    s_mov_b32 m0, -1
 366 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 367 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 368 ; GFX6-NEXT:    ds_read_b32 v1, v0
 369 ; GFX6-NEXT:    s_mov_b32 m0, -1
 370 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
 371 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 372 ; GFX6-NEXT:    ds_write_b32 v0, v1
 373 ; GFX6-NEXT:    s_endpgm
 374 ;
 375 ; GFX7-LABEL: local_singlethread_acquire_load:
 376 ; GFX7:       ; %bb.0: ; %entry
 377 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
 378 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
 379 ; GFX7-NEXT:    s_mov_b32 m0, -1
 380 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 381 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
 382 ; GFX7-NEXT:    ds_read_b32 v1, v0
 383 ; GFX7-NEXT:    s_mov_b32 m0, -1
 384 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 385 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 386 ; GFX7-NEXT:    ds_write_b32 v0, v1
 387 ; GFX7-NEXT:    s_endpgm
 388 ;
 389 ; GFX10-WGP-LABEL: local_singlethread_acquire_load:
 390 ; GFX10-WGP:       ; %bb.0: ; %entry
 391 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
 392 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
 393 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 394 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
 395 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
 396 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
 397 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 398 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 399 ; GFX10-WGP-NEXT:    s_endpgm
 400 ;
 401 ; GFX10-CU-LABEL: local_singlethread_acquire_load:
 402 ; GFX10-CU:       ; %bb.0: ; %entry
 403 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
 404 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
 405 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 406 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
 407 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
 408 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
 409 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 410 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 411 ; GFX10-CU-NEXT:    s_endpgm
 412 ;
 413 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_load:
 414 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 415 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
 416 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
 417 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 418 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 419 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 420 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
 421 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 422 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 423 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 424 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 425 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 426 ;
 427 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_load:
 428 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 429 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 430 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 431 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 432 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 433 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 434 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 435 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 436 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 437 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 438 ;
 439 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_load:
 440 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 441 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 442 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 443 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 444 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 445 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 446 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 447 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 448 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 449 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 450 ;
 451 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_load:
 452 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 453 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 454 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 455 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 456 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 457 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 458 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 459 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 460 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 461 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 462 ;
 463 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_load:
 464 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 465 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 466 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 467 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 468 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 469 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 470 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 471 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 472 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 473 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 474 ;
 475 ; GFX11-WGP-LABEL: local_singlethread_acquire_load:
 476 ; GFX11-WGP:       ; %bb.0: ; %entry
 477 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 478 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 479 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 480 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 481 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
 482 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
 483 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 484 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 485 ; GFX11-WGP-NEXT:    s_endpgm
 486 ;
 487 ; GFX11-CU-LABEL: local_singlethread_acquire_load:
 488 ; GFX11-CU:       ; %bb.0: ; %entry
 489 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 490 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 491 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 492 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 493 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
 494 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
 495 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 496 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 497 ; GFX11-CU-NEXT:    s_endpgm
 498 ;
 499 ; GFX12-WGP-LABEL: local_singlethread_acquire_load:
 500 ; GFX12-WGP:       ; %bb.0: ; %entry
 501 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 502 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 503 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 504 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 505 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
 506 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
 507 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
 508 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 509 ; GFX12-WGP-NEXT:    s_endpgm
 510 ;
 511 ; GFX12-CU-LABEL: local_singlethread_acquire_load:
 512 ; GFX12-CU:       ; %bb.0: ; %entry
 513 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 514 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 515 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 516 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 517 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
 518 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
 519 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
 520 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 521 ; GFX12-CU-NEXT:    s_endpgm
 522     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 523 entry:
 524   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread") acquire, align 4
 525   store i32 %val, ptr addrspace(3) %out
 526   ret void
 527 }
 528
 529 define amdgpu_kernel void @local_singlethread_seq_cst_load(
 530 ; GFX6-LABEL: local_singlethread_seq_cst_load:
 531 ; GFX6:       ; %bb.0: ; %entry
 532 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
 533 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
 534 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
 535 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
 536 ; GFX6-NEXT:    s_mov_b32 m0, -1
 537 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 538 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 539 ; GFX6-NEXT:    ds_read_b32 v1, v0
 540 ; GFX6-NEXT:    s_mov_b32 m0, -1
 541 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
 542 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 543 ; GFX6-NEXT:    ds_write_b32 v0, v1
 544 ; GFX6-NEXT:    s_endpgm
 545 ;
 546 ; GFX7-LABEL: local_singlethread_seq_cst_load:
 547 ; GFX7:       ; %bb.0: ; %entry
 548 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
 549 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
 550 ; GFX7-NEXT:    s_mov_b32 m0, -1
 551 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 552 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
 553 ; GFX7-NEXT:    ds_read_b32 v1, v0
 554 ; GFX7-NEXT:    s_mov_b32 m0, -1
 555 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 556 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 557 ; GFX7-NEXT:    ds_write_b32 v0, v1
 558 ; GFX7-NEXT:    s_endpgm
 559 ;
 560 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_load:
 561 ; GFX10-WGP:       ; %bb.0: ; %entry
 562 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
 563 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
 564 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 565 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
 566 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
 567 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
 568 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 569 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 570 ; GFX10-WGP-NEXT:    s_endpgm
 571 ;
 572 ; GFX10-CU-LABEL: local_singlethread_seq_cst_load:
 573 ; GFX10-CU:       ; %bb.0: ; %entry
 574 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
 575 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
 576 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 577 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
 578 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
 579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
 580 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 581 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 582 ; GFX10-CU-NEXT:    s_endpgm
 583 ;
 584 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_load:
 585 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 586 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
 587 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
 588 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 589 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 590 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 591 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
 592 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 593 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
 594 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 595 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 596 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 597 ;
 598 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_load:
 599 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 600 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 601 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 602 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 603 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 604 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 605 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 606 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 607 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 608 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 609 ;
 610 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_load:
 611 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 612 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
 613 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
 614 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 615 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 616 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 617 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
 618 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 619 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 620 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 621 ;
 622 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_load:
 623 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 624 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 625 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 626 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 627 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 628 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
 629 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 630 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 631 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 632 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 633 ;
 634 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_load:
 635 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 636 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
 637 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
 638 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 639 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 640 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
 641 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
 642 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 643 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 644 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 645 ;
 646 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_load:
 647 ; GFX11-WGP:       ; %bb.0: ; %entry
 648 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 649 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 650 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 651 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 652 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
 653 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
 654 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 655 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 656 ; GFX11-WGP-NEXT:    s_endpgm
 657 ;
 658 ; GFX11-CU-LABEL: local_singlethread_seq_cst_load:
 659 ; GFX11-CU:       ; %bb.0: ; %entry
 660 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 661 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 662 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 663 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 664 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
 665 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
 666 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 667 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 668 ; GFX11-CU-NEXT:    s_endpgm
 669 ;
 670 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_load:
 671 ; GFX12-WGP:       ; %bb.0: ; %entry
 672 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
 673 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
 674 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 675 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 676 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
 677 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
 678 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
 679 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 680 ; GFX12-WGP-NEXT:    s_endpgm
 681 ;
 682 ; GFX12-CU-LABEL: local_singlethread_seq_cst_load:
 683 ; GFX12-CU:       ; %bb.0: ; %entry
 684 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
 685 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
 686 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 687 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 688 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
 689 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
 690 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
 691 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 692 ; GFX12-CU-NEXT:    s_endpgm
 693     ptr addrspace(3) %in, ptr addrspace(3) %out) {
 694 entry:
 695   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread") seq_cst, align 4
 696   store i32 %val, ptr addrspace(3) %out
 697   ret void
 698 }
 699
 700 define amdgpu_kernel void @local_singlethread_unordered_store(
 701 ; GFX6-LABEL: local_singlethread_unordered_store:
 702 ; GFX6:       ; %bb.0: ; %entry
 703 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
 704 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
 705 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
 706 ; GFX6-NEXT:    s_mov_b32 m0, -1
 707 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 708 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 709 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
 710 ; GFX6-NEXT:    ds_write_b32 v0, v1
 711 ; GFX6-NEXT:    s_endpgm
 712 ;
 713 ; GFX7-LABEL: local_singlethread_unordered_store:
 714 ; GFX7:       ; %bb.0: ; %entry
 715 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
 716 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
 717 ; GFX7-NEXT:    s_mov_b32 m0, -1
 718 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 719 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
 720 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
 721 ; GFX7-NEXT:    ds_write_b32 v0, v1
 722 ; GFX7-NEXT:    s_endpgm
 723 ;
 724 ; GFX10-WGP-LABEL: local_singlethread_unordered_store:
 725 ; GFX10-WGP:       ; %bb.0: ; %entry
 726 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
 727 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
 728 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 729 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
 730 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
 731 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 732 ; GFX10-WGP-NEXT:    s_endpgm
 733 ;
 734 ; GFX10-CU-LABEL: local_singlethread_unordered_store:
 735 ; GFX10-CU:       ; %bb.0: ; %entry
 736 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
 737 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
 738 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 739 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
 740 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
 741 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 742 ; GFX10-CU-NEXT:    s_endpgm
 743 ;
 744 ; SKIP-CACHE-INV-LABEL: local_singlethread_unordered_store:
 745 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 746 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
 747 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
 748 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 749 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 750 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 751 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 752 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 753 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 754 ;
 755 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_unordered_store:
 756 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 757 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
 758 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
 759 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 760 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 761 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 762 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 763 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 764 ;
 765 ; GFX90A-TGSPLIT-LABEL: local_singlethread_unordered_store:
 766 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 767 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
 768 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
 769 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 770 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 771 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 772 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 773 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 774 ;
 775 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_unordered_store:
 776 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 777 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
 778 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
 779 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 780 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 781 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 782 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 783 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 784 ;
 785 ; GFX940-TGSPLIT-LABEL: local_singlethread_unordered_store:
 786 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 787 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
 788 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
 789 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 790 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 791 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 792 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 793 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 794 ;
 795 ; GFX11-WGP-LABEL: local_singlethread_unordered_store:
 796 ; GFX11-WGP:       ; %bb.0: ; %entry
 797 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
 798 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
 799 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 800 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 801 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
 802 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 803 ; GFX11-WGP-NEXT:    s_endpgm
 804 ;
 805 ; GFX11-CU-LABEL: local_singlethread_unordered_store:
 806 ; GFX11-CU:       ; %bb.0: ; %entry
 807 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
 808 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
 809 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 810 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 811 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
 812 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 813 ; GFX11-CU-NEXT:    s_endpgm
 814 ;
 815 ; GFX12-WGP-LABEL: local_singlethread_unordered_store:
 816 ; GFX12-WGP:       ; %bb.0: ; %entry
 817 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
 818 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
 819 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 820 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 821 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
 822 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 823 ; GFX12-WGP-NEXT:    s_endpgm
 824 ;
 825 ; GFX12-CU-LABEL: local_singlethread_unordered_store:
 826 ; GFX12-CU:       ; %bb.0: ; %entry
 827 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
 828 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
 829 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 830 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 831 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
 832 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 833 ; GFX12-CU-NEXT:    s_endpgm
 834     i32 %in, ptr addrspace(3) %out) {
 835 entry:
 836   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread") unordered, align 4
 837   ret void
 838 }
 839
 840 define amdgpu_kernel void @local_singlethread_monotonic_store(
 841 ; GFX6-LABEL: local_singlethread_monotonic_store:
 842 ; GFX6:       ; %bb.0: ; %entry
 843 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
 844 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
 845 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
 846 ; GFX6-NEXT:    s_mov_b32 m0, -1
 847 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 848 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 849 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
 850 ; GFX6-NEXT:    ds_write_b32 v0, v1
 851 ; GFX6-NEXT:    s_endpgm
 852 ;
 853 ; GFX7-LABEL: local_singlethread_monotonic_store:
 854 ; GFX7:       ; %bb.0: ; %entry
 855 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
 856 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
 857 ; GFX7-NEXT:    s_mov_b32 m0, -1
 858 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 859 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
 860 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
 861 ; GFX7-NEXT:    ds_write_b32 v0, v1
 862 ; GFX7-NEXT:    s_endpgm
 863 ;
 864 ; GFX10-WGP-LABEL: local_singlethread_monotonic_store:
 865 ; GFX10-WGP:       ; %bb.0: ; %entry
 866 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
 867 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
 868 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 869 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
 870 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
 871 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
 872 ; GFX10-WGP-NEXT:    s_endpgm
 873 ;
 874 ; GFX10-CU-LABEL: local_singlethread_monotonic_store:
 875 ; GFX10-CU:       ; %bb.0: ; %entry
 876 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
 877 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
 878 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
 879 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
 880 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
 881 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
 882 ; GFX10-CU-NEXT:    s_endpgm
 883 ;
 884 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_store:
 885 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
 886 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
 887 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
 888 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
 889 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
 890 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
 891 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
 892 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
 893 ; SKIP-CACHE-INV-NEXT:    s_endpgm
 894 ;
 895 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_store:
 896 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
 897 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
 898 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
 899 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 900 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 901 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 902 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 903 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
 904 ;
 905 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_store:
 906 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
 907 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
 908 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
 909 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 910 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
 911 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
 912 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 913 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
 914 ;
 915 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_store:
 916 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
 917 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
 918 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
 919 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 920 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 921 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 922 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
 923 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
 924 ;
 925 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_store:
 926 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
 927 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
 928 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
 929 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
 930 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
 931 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
 932 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
 933 ; GFX940-TGSPLIT-NEXT:    s_endpgm
 934 ;
 935 ; GFX11-WGP-LABEL: local_singlethread_monotonic_store:
 936 ; GFX11-WGP:       ; %bb.0: ; %entry
 937 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
 938 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
 939 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
 940 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
 941 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
 942 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
 943 ; GFX11-WGP-NEXT:    s_endpgm
 944 ;
 945 ; GFX11-CU-LABEL: local_singlethread_monotonic_store:
 946 ; GFX11-CU:       ; %bb.0: ; %entry
 947 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
 948 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
 949 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
 950 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
 951 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
 952 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
 953 ; GFX11-CU-NEXT:    s_endpgm
 954 ;
 955 ; GFX12-WGP-LABEL: local_singlethread_monotonic_store:
 956 ; GFX12-WGP:       ; %bb.0: ; %entry
 957 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
 958 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
 959 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
 960 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
 961 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
 962 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
 963 ; GFX12-WGP-NEXT:    s_endpgm
 964 ;
 965 ; GFX12-CU-LABEL: local_singlethread_monotonic_store:
 966 ; GFX12-CU:       ; %bb.0: ; %entry
 967 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
 968 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
 969 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
 970 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
 971 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
 972 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
 973 ; GFX12-CU-NEXT:    s_endpgm
 974     i32 %in, ptr addrspace(3) %out) {
 975 entry:
 976   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread") monotonic, align 4
 977   ret void
 978 }
 979
 980 define amdgpu_kernel void @local_singlethread_release_store(
 981 ; GFX6-LABEL: local_singlethread_release_store:
 982 ; GFX6:       ; %bb.0: ; %entry
 983 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
 984 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
 985 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
 986 ; GFX6-NEXT:    s_mov_b32 m0, -1
 987 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
 988 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
 989 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
 990 ; GFX6-NEXT:    ds_write_b32 v0, v1
 991 ; GFX6-NEXT:    s_endpgm
 992 ;
 993 ; GFX7-LABEL: local_singlethread_release_store:
 994 ; GFX7:       ; %bb.0: ; %entry
 995 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
 996 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
 997 ; GFX7-NEXT:    s_mov_b32 m0, -1
 998 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 999 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1000 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1001 ; GFX7-NEXT:    ds_write_b32 v0, v1
1002 ; GFX7-NEXT:    s_endpgm
1003 ;
1004 ; GFX10-WGP-LABEL: local_singlethread_release_store:
1005 ; GFX10-WGP:       ; %bb.0: ; %entry
1006 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
1007 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
1008 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1009 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1010 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1011 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1012 ; GFX10-WGP-NEXT:    s_endpgm
1013 ;
1014 ; GFX10-CU-LABEL: local_singlethread_release_store:
1015 ; GFX10-CU:       ; %bb.0: ; %entry
1016 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
1017 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
1018 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1019 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1020 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1021 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1022 ; GFX10-CU-NEXT:    s_endpgm
1023 ;
1024 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_store:
1025 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1026 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
1027 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
1028 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1029 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1030 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1031 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1032 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1033 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1034 ;
1035 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_store:
1036 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1037 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
1038 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
1039 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1040 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1041 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1042 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1043 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1044 ;
1045 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_store:
1046 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1047 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
1048 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
1049 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1050 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1051 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1052 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1053 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1054 ;
1055 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_store:
1056 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1057 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
1058 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
1059 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1060 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1061 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1062 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1063 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1064 ;
1065 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_store:
1066 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1067 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
1068 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
1069 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1070 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1071 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1072 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1073 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1074 ;
1075 ; GFX11-WGP-LABEL: local_singlethread_release_store:
1076 ; GFX11-WGP:       ; %bb.0: ; %entry
1077 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
1078 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
1079 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1080 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1081 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1082 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
1083 ; GFX11-WGP-NEXT:    s_endpgm
1084 ;
1085 ; GFX11-CU-LABEL: local_singlethread_release_store:
1086 ; GFX11-CU:       ; %bb.0: ; %entry
1087 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
1088 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
1089 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1090 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1091 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1092 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
1093 ; GFX11-CU-NEXT:    s_endpgm
1094 ;
1095 ; GFX12-WGP-LABEL: local_singlethread_release_store:
1096 ; GFX12-WGP:       ; %bb.0: ; %entry
1097 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
1098 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
1099 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1100 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1101 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1102 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
1103 ; GFX12-WGP-NEXT:    s_endpgm
1104 ;
1105 ; GFX12-CU-LABEL: local_singlethread_release_store:
1106 ; GFX12-CU:       ; %bb.0: ; %entry
1107 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
1108 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
1109 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1110 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1111 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1112 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
1113 ; GFX12-CU-NEXT:    s_endpgm
1114     i32 %in, ptr addrspace(3) %out) {
1115 entry:
1116   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread") release, align 4
1117   ret void
1118 }
1119
1120 define amdgpu_kernel void @local_singlethread_seq_cst_store(
1121 ; GFX6-LABEL: local_singlethread_seq_cst_store:
1122 ; GFX6:       ; %bb.0: ; %entry
1123 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
1124 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1125 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
1126 ; GFX6-NEXT:    s_mov_b32 m0, -1
1127 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1128 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1129 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1130 ; GFX6-NEXT:    ds_write_b32 v0, v1
1131 ; GFX6-NEXT:    s_endpgm
1132 ;
1133 ; GFX7-LABEL: local_singlethread_seq_cst_store:
1134 ; GFX7:       ; %bb.0: ; %entry
1135 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
1136 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
1137 ; GFX7-NEXT:    s_mov_b32 m0, -1
1138 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1139 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1140 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1141 ; GFX7-NEXT:    ds_write_b32 v0, v1
1142 ; GFX7-NEXT:    s_endpgm
1143 ;
1144 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_store:
1145 ; GFX10-WGP:       ; %bb.0: ; %entry
1146 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
1147 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
1148 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1149 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1150 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1151 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
1152 ; GFX10-WGP-NEXT:    s_endpgm
1153 ;
1154 ; GFX10-CU-LABEL: local_singlethread_seq_cst_store:
1155 ; GFX10-CU:       ; %bb.0: ; %entry
1156 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
1157 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
1158 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1159 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1160 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1161 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
1162 ; GFX10-CU-NEXT:    s_endpgm
1163 ;
1164 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_store:
1165 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1166 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
1167 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
1168 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1169 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1170 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1171 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1172 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
1173 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1174 ;
1175 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_store:
1176 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1177 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
1178 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
1179 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1180 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1181 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1182 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1183 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1184 ;
1185 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_store:
1186 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1187 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
1188 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
1189 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1190 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1191 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1192 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1193 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1194 ;
1195 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_store:
1196 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1197 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
1198 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
1199 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1200 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1201 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1202 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
1203 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1204 ;
1205 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_store:
1206 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1207 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
1208 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
1209 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1210 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1211 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1212 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
1213 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1214 ;
1215 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_store:
1216 ; GFX11-WGP:       ; %bb.0: ; %entry
1217 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
1218 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
1219 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1220 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1221 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1222 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
1223 ; GFX11-WGP-NEXT:    s_endpgm
1224 ;
1225 ; GFX11-CU-LABEL: local_singlethread_seq_cst_store:
1226 ; GFX11-CU:       ; %bb.0: ; %entry
1227 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
1228 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
1229 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1230 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1231 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1232 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
1233 ; GFX11-CU-NEXT:    s_endpgm
1234 ;
1235 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_store:
1236 ; GFX12-WGP:       ; %bb.0: ; %entry
1237 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
1238 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
1239 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1240 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1241 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1242 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
1243 ; GFX12-WGP-NEXT:    s_endpgm
1244 ;
1245 ; GFX12-CU-LABEL: local_singlethread_seq_cst_store:
1246 ; GFX12-CU:       ; %bb.0: ; %entry
1247 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
1248 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
1249 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1250 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1251 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1252 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
1253 ; GFX12-CU-NEXT:    s_endpgm
1254     i32 %in, ptr addrspace(3) %out) {
1255 entry:
1256   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread") seq_cst, align 4
1257   ret void
1258 }
1259
1260 define amdgpu_kernel void @local_singlethread_monotonic_atomicrmw(
1261 ; GFX6-LABEL: local_singlethread_monotonic_atomicrmw:
1262 ; GFX6:       ; %bb.0: ; %entry
1263 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
1264 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1265 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
1266 ; GFX6-NEXT:    s_mov_b32 m0, -1
1267 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1268 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1269 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1270 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1271 ; GFX6-NEXT:    s_endpgm
1272 ;
1273 ; GFX7-LABEL: local_singlethread_monotonic_atomicrmw:
1274 ; GFX7:       ; %bb.0: ; %entry
1275 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
1276 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
1277 ; GFX7-NEXT:    s_mov_b32 m0, -1
1278 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1279 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1280 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1281 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1282 ; GFX7-NEXT:    s_endpgm
1283 ;
1284 ; GFX10-WGP-LABEL: local_singlethread_monotonic_atomicrmw:
1285 ; GFX10-WGP:       ; %bb.0: ; %entry
1286 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
1287 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
1288 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1289 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1290 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1291 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1292 ; GFX10-WGP-NEXT:    s_endpgm
1293 ;
1294 ; GFX10-CU-LABEL: local_singlethread_monotonic_atomicrmw:
1295 ; GFX10-CU:       ; %bb.0: ; %entry
1296 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
1297 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
1298 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1299 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1300 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1301 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1302 ; GFX10-CU-NEXT:    s_endpgm
1303 ;
1304 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_atomicrmw:
1305 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1306 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
1307 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
1308 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1309 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1310 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1311 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1312 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1313 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1314 ;
1315 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_atomicrmw:
1316 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1317 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1318 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1319 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1320 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1321 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1322 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1323 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1324 ;
1325 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_atomicrmw:
1326 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1327 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1328 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1329 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1330 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1331 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1332 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1333 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1334 ;
1335 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_atomicrmw:
1336 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1337 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1338 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1339 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1340 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1341 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1342 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1343 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1344 ;
1345 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_atomicrmw:
1346 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1347 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1348 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1349 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1350 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1351 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1352 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1353 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1354 ;
1355 ; GFX11-WGP-LABEL: local_singlethread_monotonic_atomicrmw:
1356 ; GFX11-WGP:       ; %bb.0: ; %entry
1357 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1358 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1359 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1360 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1361 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1362 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1363 ; GFX11-WGP-NEXT:    s_endpgm
1364 ;
1365 ; GFX11-CU-LABEL: local_singlethread_monotonic_atomicrmw:
1366 ; GFX11-CU:       ; %bb.0: ; %entry
1367 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1368 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1369 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1370 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1371 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1372 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1373 ; GFX11-CU-NEXT:    s_endpgm
1374 ;
1375 ; GFX12-WGP-LABEL: local_singlethread_monotonic_atomicrmw:
1376 ; GFX12-WGP:       ; %bb.0: ; %entry
1377 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1378 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1379 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1380 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1381 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1382 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1383 ; GFX12-WGP-NEXT:    s_endpgm
1384 ;
1385 ; GFX12-CU-LABEL: local_singlethread_monotonic_atomicrmw:
1386 ; GFX12-CU:       ; %bb.0: ; %entry
1387 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1388 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1389 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1390 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1391 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1392 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1393 ; GFX12-CU-NEXT:    s_endpgm
1394     ptr addrspace(3) %out, i32 %in) {
1395 entry:
1396   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") monotonic
1397   ret void
1398 }
1399
1400 define amdgpu_kernel void @local_singlethread_acquire_atomicrmw(
1401 ; GFX6-LABEL: local_singlethread_acquire_atomicrmw:
1402 ; GFX6:       ; %bb.0: ; %entry
1403 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
1404 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1405 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
1406 ; GFX6-NEXT:    s_mov_b32 m0, -1
1407 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1408 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1409 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1410 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1411 ; GFX6-NEXT:    s_endpgm
1412 ;
1413 ; GFX7-LABEL: local_singlethread_acquire_atomicrmw:
1414 ; GFX7:       ; %bb.0: ; %entry
1415 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
1416 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
1417 ; GFX7-NEXT:    s_mov_b32 m0, -1
1418 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1419 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1420 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1421 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1422 ; GFX7-NEXT:    s_endpgm
1423 ;
1424 ; GFX10-WGP-LABEL: local_singlethread_acquire_atomicrmw:
1425 ; GFX10-WGP:       ; %bb.0: ; %entry
1426 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
1427 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
1428 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1429 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1430 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1431 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1432 ; GFX10-WGP-NEXT:    s_endpgm
1433 ;
1434 ; GFX10-CU-LABEL: local_singlethread_acquire_atomicrmw:
1435 ; GFX10-CU:       ; %bb.0: ; %entry
1436 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
1437 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
1438 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1439 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1440 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1441 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1442 ; GFX10-CU-NEXT:    s_endpgm
1443 ;
1444 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_atomicrmw:
1445 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1446 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
1447 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
1448 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1449 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1450 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1451 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1452 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1453 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1454 ;
1455 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_atomicrmw:
1456 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1457 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1458 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1459 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1460 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1461 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1462 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1463 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1464 ;
1465 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_atomicrmw:
1466 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1467 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1468 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1469 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1470 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1471 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1472 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1473 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1474 ;
1475 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_atomicrmw:
1476 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1477 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1478 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1479 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1480 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1481 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1482 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1483 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1484 ;
1485 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_atomicrmw:
1486 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1487 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1488 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1489 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1490 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1491 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1492 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1493 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1494 ;
1495 ; GFX11-WGP-LABEL: local_singlethread_acquire_atomicrmw:
1496 ; GFX11-WGP:       ; %bb.0: ; %entry
1497 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1498 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1499 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1500 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1501 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1502 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1503 ; GFX11-WGP-NEXT:    s_endpgm
1504 ;
1505 ; GFX11-CU-LABEL: local_singlethread_acquire_atomicrmw:
1506 ; GFX11-CU:       ; %bb.0: ; %entry
1507 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1508 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1509 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1510 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1511 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1512 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1513 ; GFX11-CU-NEXT:    s_endpgm
1514 ;
1515 ; GFX12-WGP-LABEL: local_singlethread_acquire_atomicrmw:
1516 ; GFX12-WGP:       ; %bb.0: ; %entry
1517 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1518 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1519 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1520 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1521 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1522 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1523 ; GFX12-WGP-NEXT:    s_endpgm
1524 ;
1525 ; GFX12-CU-LABEL: local_singlethread_acquire_atomicrmw:
1526 ; GFX12-CU:       ; %bb.0: ; %entry
1527 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1528 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1529 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1530 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1531 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1532 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1533 ; GFX12-CU-NEXT:    s_endpgm
1534     ptr addrspace(3) %out, i32 %in) {
1535 entry:
1536   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") acquire
1537   ret void
1538 }
1539
1540 define amdgpu_kernel void @local_singlethread_release_atomicrmw(
1541 ; GFX6-LABEL: local_singlethread_release_atomicrmw:
1542 ; GFX6:       ; %bb.0: ; %entry
1543 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
1544 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1545 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
1546 ; GFX6-NEXT:    s_mov_b32 m0, -1
1547 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1548 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1549 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1550 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1551 ; GFX6-NEXT:    s_endpgm
1552 ;
1553 ; GFX7-LABEL: local_singlethread_release_atomicrmw:
1554 ; GFX7:       ; %bb.0: ; %entry
1555 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
1556 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
1557 ; GFX7-NEXT:    s_mov_b32 m0, -1
1558 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1559 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1560 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1561 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1562 ; GFX7-NEXT:    s_endpgm
1563 ;
1564 ; GFX10-WGP-LABEL: local_singlethread_release_atomicrmw:
1565 ; GFX10-WGP:       ; %bb.0: ; %entry
1566 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
1567 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
1568 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1569 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1570 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1571 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1572 ; GFX10-WGP-NEXT:    s_endpgm
1573 ;
1574 ; GFX10-CU-LABEL: local_singlethread_release_atomicrmw:
1575 ; GFX10-CU:       ; %bb.0: ; %entry
1576 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
1577 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
1578 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1579 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1580 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1581 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1582 ; GFX10-CU-NEXT:    s_endpgm
1583 ;
1584 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_atomicrmw:
1585 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1586 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
1587 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
1588 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1589 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1590 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1591 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1592 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1593 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1594 ;
1595 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_atomicrmw:
1596 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1597 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1598 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1599 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1600 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1601 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1602 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1603 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1604 ;
1605 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_atomicrmw:
1606 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1607 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1608 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1609 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1610 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1611 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1612 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1613 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1614 ;
1615 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_atomicrmw:
1616 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1617 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1618 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1619 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1620 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1621 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1622 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1623 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1624 ;
1625 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_atomicrmw:
1626 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1627 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1628 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1629 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1630 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1631 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1632 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1633 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1634 ;
1635 ; GFX11-WGP-LABEL: local_singlethread_release_atomicrmw:
1636 ; GFX11-WGP:       ; %bb.0: ; %entry
1637 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1638 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1639 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1640 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1641 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1642 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1643 ; GFX11-WGP-NEXT:    s_endpgm
1644 ;
1645 ; GFX11-CU-LABEL: local_singlethread_release_atomicrmw:
1646 ; GFX11-CU:       ; %bb.0: ; %entry
1647 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1648 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1649 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1650 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1651 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1652 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1653 ; GFX11-CU-NEXT:    s_endpgm
1654 ;
1655 ; GFX12-WGP-LABEL: local_singlethread_release_atomicrmw:
1656 ; GFX12-WGP:       ; %bb.0: ; %entry
1657 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1658 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1659 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1660 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1661 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1662 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1663 ; GFX12-WGP-NEXT:    s_endpgm
1664 ;
1665 ; GFX12-CU-LABEL: local_singlethread_release_atomicrmw:
1666 ; GFX12-CU:       ; %bb.0: ; %entry
1667 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1668 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1669 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1670 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1671 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1672 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1673 ; GFX12-CU-NEXT:    s_endpgm
1674     ptr addrspace(3) %out, i32 %in) {
1675 entry:
1676   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") release
1677   ret void
1678 }
1679
1680 define amdgpu_kernel void @local_singlethread_acq_rel_atomicrmw(
1681 ; GFX6-LABEL: local_singlethread_acq_rel_atomicrmw:
1682 ; GFX6:       ; %bb.0: ; %entry
1683 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
1684 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1685 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
1686 ; GFX6-NEXT:    s_mov_b32 m0, -1
1687 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1688 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1689 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1690 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1691 ; GFX6-NEXT:    s_endpgm
1692 ;
1693 ; GFX7-LABEL: local_singlethread_acq_rel_atomicrmw:
1694 ; GFX7:       ; %bb.0: ; %entry
1695 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
1696 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
1697 ; GFX7-NEXT:    s_mov_b32 m0, -1
1698 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1699 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1700 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1701 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1702 ; GFX7-NEXT:    s_endpgm
1703 ;
1704 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_atomicrmw:
1705 ; GFX10-WGP:       ; %bb.0: ; %entry
1706 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
1707 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
1708 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1709 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1710 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1711 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1712 ; GFX10-WGP-NEXT:    s_endpgm
1713 ;
1714 ; GFX10-CU-LABEL: local_singlethread_acq_rel_atomicrmw:
1715 ; GFX10-CU:       ; %bb.0: ; %entry
1716 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
1717 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
1718 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1719 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1720 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1721 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1722 ; GFX10-CU-NEXT:    s_endpgm
1723 ;
1724 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_atomicrmw:
1725 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1726 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
1727 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
1728 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1729 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1730 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1731 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1732 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1733 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1734 ;
1735 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_atomicrmw:
1736 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1737 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1738 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1739 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1740 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1741 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1742 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1743 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1744 ;
1745 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_atomicrmw:
1746 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1747 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1748 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1749 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1750 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1751 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1752 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1753 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1754 ;
1755 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_atomicrmw:
1756 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1757 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1758 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1759 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1760 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1761 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1762 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1763 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1764 ;
1765 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_atomicrmw:
1766 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1767 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1768 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1769 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1770 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1771 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1772 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1773 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1774 ;
1775 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_atomicrmw:
1776 ; GFX11-WGP:       ; %bb.0: ; %entry
1777 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1778 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1779 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1780 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1781 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1782 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1783 ; GFX11-WGP-NEXT:    s_endpgm
1784 ;
1785 ; GFX11-CU-LABEL: local_singlethread_acq_rel_atomicrmw:
1786 ; GFX11-CU:       ; %bb.0: ; %entry
1787 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1788 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1789 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1790 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1791 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1792 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1793 ; GFX11-CU-NEXT:    s_endpgm
1794 ;
1795 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_atomicrmw:
1796 ; GFX12-WGP:       ; %bb.0: ; %entry
1797 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1798 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1799 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1800 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1801 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1802 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1803 ; GFX12-WGP-NEXT:    s_endpgm
1804 ;
1805 ; GFX12-CU-LABEL: local_singlethread_acq_rel_atomicrmw:
1806 ; GFX12-CU:       ; %bb.0: ; %entry
1807 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1808 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1809 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1810 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1811 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1812 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1813 ; GFX12-CU-NEXT:    s_endpgm
1814     ptr addrspace(3) %out, i32 %in) {
1815 entry:
1816   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") acq_rel
1817   ret void
1818 }
1819
1820 define amdgpu_kernel void @local_singlethread_seq_cst_atomicrmw(
1821 ; GFX6-LABEL: local_singlethread_seq_cst_atomicrmw:
1822 ; GFX6:       ; %bb.0: ; %entry
1823 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
1824 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
1825 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
1826 ; GFX6-NEXT:    s_mov_b32 m0, -1
1827 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1828 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
1829 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
1830 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1831 ; GFX6-NEXT:    s_endpgm
1832 ;
1833 ; GFX7-LABEL: local_singlethread_seq_cst_atomicrmw:
1834 ; GFX7:       ; %bb.0: ; %entry
1835 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
1836 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
1837 ; GFX7-NEXT:    s_mov_b32 m0, -1
1838 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1839 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
1840 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
1841 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1842 ; GFX7-NEXT:    s_endpgm
1843 ;
1844 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_atomicrmw:
1845 ; GFX10-WGP:       ; %bb.0: ; %entry
1846 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
1847 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
1848 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1849 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
1850 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
1851 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1852 ; GFX10-WGP-NEXT:    s_endpgm
1853 ;
1854 ; GFX10-CU-LABEL: local_singlethread_seq_cst_atomicrmw:
1855 ; GFX10-CU:       ; %bb.0: ; %entry
1856 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
1857 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
1858 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
1859 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
1860 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
1861 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1862 ; GFX10-CU-NEXT:    s_endpgm
1863 ;
1864 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_atomicrmw:
1865 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
1866 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
1867 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
1868 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
1869 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
1870 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
1871 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
1872 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1873 ; SKIP-CACHE-INV-NEXT:    s_endpgm
1874 ;
1875 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_atomicrmw:
1876 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
1877 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1878 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1879 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1880 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1881 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1882 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1883 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
1884 ;
1885 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_atomicrmw:
1886 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
1887 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
1888 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
1889 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1890 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
1891 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
1892 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1893 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
1894 ;
1895 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_atomicrmw:
1896 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
1897 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1898 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1899 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1900 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1901 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1902 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1903 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
1904 ;
1905 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_atomicrmw:
1906 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
1907 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
1908 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
1909 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
1910 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
1911 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
1912 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
1913 ; GFX940-TGSPLIT-NEXT:    s_endpgm
1914 ;
1915 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_atomicrmw:
1916 ; GFX11-WGP:       ; %bb.0: ; %entry
1917 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1918 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1919 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1920 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
1921 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
1922 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1923 ; GFX11-WGP-NEXT:    s_endpgm
1924 ;
1925 ; GFX11-CU-LABEL: local_singlethread_seq_cst_atomicrmw:
1926 ; GFX11-CU:       ; %bb.0: ; %entry
1927 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1928 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1929 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
1930 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
1931 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
1932 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1933 ; GFX11-CU-NEXT:    s_endpgm
1934 ;
1935 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_atomicrmw:
1936 ; GFX12-WGP:       ; %bb.0: ; %entry
1937 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
1938 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
1939 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
1940 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
1941 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
1942 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1943 ; GFX12-WGP-NEXT:    s_endpgm
1944 ;
1945 ; GFX12-CU-LABEL: local_singlethread_seq_cst_atomicrmw:
1946 ; GFX12-CU:       ; %bb.0: ; %entry
1947 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
1948 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
1949 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
1950 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
1951 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
1952 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
1953 ; GFX12-CU-NEXT:    s_endpgm
1954     ptr addrspace(3) %out, i32 %in) {
1955 entry:
1956   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") seq_cst
1957   ret void
1958 }
1959
1960 define amdgpu_kernel void @local_singlethread_acquire_ret_atomicrmw(
1961 ; GFX6-LABEL: local_singlethread_acquire_ret_atomicrmw:
1962 ; GFX6:       ; %bb.0: ; %entry
1963 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
1964 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
1965 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
1966 ; GFX6-NEXT:    s_mov_b32 m0, -1
1967 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1968 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
1969 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
1970 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1971 ; GFX6-NEXT:    s_mov_b32 m0, -1
1972 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
1973 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
1974 ; GFX6-NEXT:    ds_write_b32 v0, v1
1975 ; GFX6-NEXT:    s_endpgm
1976 ;
1977 ; GFX7-LABEL: local_singlethread_acquire_ret_atomicrmw:
1978 ; GFX7:       ; %bb.0: ; %entry
1979 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
1980 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
1981 ; GFX7-NEXT:    s_mov_b32 m0, -1
1982 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1983 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1984 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1985 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
1986 ; GFX7-NEXT:    s_mov_b32 m0, -1
1987 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1988 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1989 ; GFX7-NEXT:    ds_write_b32 v0, v1
1990 ; GFX7-NEXT:    s_endpgm
1991 ;
1992 ; GFX10-WGP-LABEL: local_singlethread_acquire_ret_atomicrmw:
1993 ; GFX10-WGP:       ; %bb.0: ; %entry
1994 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
1995 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
1996 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
1997 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
1998 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
1999 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2000 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
2001 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2002 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
2003 ; GFX10-WGP-NEXT:    s_endpgm
2004 ;
2005 ; GFX10-CU-LABEL: local_singlethread_acquire_ret_atomicrmw:
2006 ; GFX10-CU:       ; %bb.0: ; %entry
2007 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
2008 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
2009 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2010 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2011 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2012 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2013 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2014 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2015 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
2016 ; GFX10-CU-NEXT:    s_endpgm
2017 ;
2018 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_ret_atomicrmw:
2019 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2020 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
2021 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
2022 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2023 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2024 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2025 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2026 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2027 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2028 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2029 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2030 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
2031 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2032 ;
2033 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_ret_atomicrmw:
2034 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2035 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2036 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2037 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2038 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2039 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2040 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2041 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2042 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2043 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2044 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2045 ;
2046 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_ret_atomicrmw:
2047 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2048 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2049 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2050 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2051 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2052 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2053 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2054 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2055 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2056 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2057 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2058 ;
2059 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_ret_atomicrmw:
2060 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2061 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2062 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2063 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2064 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2065 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2066 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2067 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2068 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2069 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2070 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2071 ;
2072 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_ret_atomicrmw:
2073 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2074 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2075 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2076 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2077 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2078 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2079 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2080 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2081 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2082 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2083 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2084 ;
2085 ; GFX11-WGP-LABEL: local_singlethread_acquire_ret_atomicrmw:
2086 ; GFX11-WGP:       ; %bb.0: ; %entry
2087 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2088 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2089 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2090 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2091 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2092 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2093 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2094 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2095 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
2096 ; GFX11-WGP-NEXT:    s_endpgm
2097 ;
2098 ; GFX11-CU-LABEL: local_singlethread_acquire_ret_atomicrmw:
2099 ; GFX11-CU:       ; %bb.0: ; %entry
2100 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2101 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2102 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2103 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2104 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2105 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2106 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2107 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2108 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
2109 ; GFX11-CU-NEXT:    s_endpgm
2110 ;
2111 ; GFX12-WGP-LABEL: local_singlethread_acquire_ret_atomicrmw:
2112 ; GFX12-WGP:       ; %bb.0: ; %entry
2113 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2114 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2115 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2116 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2117 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2118 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2119 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2120 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
2121 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
2122 ; GFX12-WGP-NEXT:    s_endpgm
2123 ;
2124 ; GFX12-CU-LABEL: local_singlethread_acquire_ret_atomicrmw:
2125 ; GFX12-CU:       ; %bb.0: ; %entry
2126 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2127 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2128 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2129 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2130 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
2131 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2132 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2133 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
2134 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
2135 ; GFX12-CU-NEXT:    s_endpgm
2136     ptr addrspace(3) %out, i32 %in) {
2137 entry:
2138   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") acquire
2139   store i32 %val, ptr addrspace(3) %out, align 4
2140   ret void
2141 }
2142
2143 define amdgpu_kernel void @local_singlethread_acq_rel_ret_atomicrmw(
2144 ; GFX6-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2145 ; GFX6:       ; %bb.0: ; %entry
2146 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
2147 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
2148 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
2149 ; GFX6-NEXT:    s_mov_b32 m0, -1
2150 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2151 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
2152 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
2153 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2154 ; GFX6-NEXT:    s_mov_b32 m0, -1
2155 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
2156 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2157 ; GFX6-NEXT:    ds_write_b32 v0, v1
2158 ; GFX6-NEXT:    s_endpgm
2159 ;
2160 ; GFX7-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2161 ; GFX7:       ; %bb.0: ; %entry
2162 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
2163 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
2164 ; GFX7-NEXT:    s_mov_b32 m0, -1
2165 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2166 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2167 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2168 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2169 ; GFX7-NEXT:    s_mov_b32 m0, -1
2170 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2171 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2172 ; GFX7-NEXT:    ds_write_b32 v0, v1
2173 ; GFX7-NEXT:    s_endpgm
2174 ;
2175 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2176 ; GFX10-WGP:       ; %bb.0: ; %entry
2177 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
2178 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
2179 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2180 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
2181 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
2182 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2183 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
2184 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2185 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
2186 ; GFX10-WGP-NEXT:    s_endpgm
2187 ;
2188 ; GFX10-CU-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2189 ; GFX10-CU:       ; %bb.0: ; %entry
2190 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
2191 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
2192 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2193 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2194 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2195 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2196 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2197 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2198 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
2199 ; GFX10-CU-NEXT:    s_endpgm
2200 ;
2201 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2202 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2203 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
2204 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
2205 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2206 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2207 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2208 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2209 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2210 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2211 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2212 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2213 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
2214 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2215 ;
2216 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2217 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2218 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2219 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2220 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2221 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2222 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2223 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2224 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2225 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2226 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2227 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2228 ;
2229 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2230 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2231 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2232 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2233 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2234 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2235 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2236 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2237 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2238 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2239 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2240 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2241 ;
2242 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2243 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2244 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2245 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2246 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2247 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2248 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2249 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2250 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2251 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2252 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2253 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2254 ;
2255 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2256 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2257 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2258 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2259 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2260 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2261 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2262 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2263 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2264 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2265 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2266 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2267 ;
2268 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2269 ; GFX11-WGP:       ; %bb.0: ; %entry
2270 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2271 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2272 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2273 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2274 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2275 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2276 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2277 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2278 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
2279 ; GFX11-WGP-NEXT:    s_endpgm
2280 ;
2281 ; GFX11-CU-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2282 ; GFX11-CU:       ; %bb.0: ; %entry
2283 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2284 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2285 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2286 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2287 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2288 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2289 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2290 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2291 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
2292 ; GFX11-CU-NEXT:    s_endpgm
2293 ;
2294 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2295 ; GFX12-WGP:       ; %bb.0: ; %entry
2296 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2297 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2298 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2299 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2300 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2301 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2302 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2303 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
2304 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
2305 ; GFX12-WGP-NEXT:    s_endpgm
2306 ;
2307 ; GFX12-CU-LABEL: local_singlethread_acq_rel_ret_atomicrmw:
2308 ; GFX12-CU:       ; %bb.0: ; %entry
2309 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2310 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2311 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2312 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2313 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
2314 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2315 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2316 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
2317 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
2318 ; GFX12-CU-NEXT:    s_endpgm
2319     ptr addrspace(3) %out, i32 %in) {
2320 entry:
2321   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") acq_rel
2322   store i32 %val, ptr addrspace(3) %out, align 4
2323   ret void
2324 }
2325
2326 define amdgpu_kernel void @local_singlethread_seq_cst_ret_atomicrmw(
2327 ; GFX6-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2328 ; GFX6:       ; %bb.0: ; %entry
2329 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
2330 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
2331 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
2332 ; GFX6-NEXT:    s_mov_b32 m0, -1
2333 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2334 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
2335 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
2336 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2337 ; GFX6-NEXT:    s_mov_b32 m0, -1
2338 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
2339 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2340 ; GFX6-NEXT:    ds_write_b32 v0, v1
2341 ; GFX6-NEXT:    s_endpgm
2342 ;
2343 ; GFX7-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2344 ; GFX7:       ; %bb.0: ; %entry
2345 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
2346 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
2347 ; GFX7-NEXT:    s_mov_b32 m0, -1
2348 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2349 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2350 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2351 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2352 ; GFX7-NEXT:    s_mov_b32 m0, -1
2353 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2354 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2355 ; GFX7-NEXT:    ds_write_b32 v0, v1
2356 ; GFX7-NEXT:    s_endpgm
2357 ;
2358 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2359 ; GFX10-WGP:       ; %bb.0: ; %entry
2360 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
2361 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
2362 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2363 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
2364 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
2365 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2366 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
2367 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2368 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
2369 ; GFX10-WGP-NEXT:    s_endpgm
2370 ;
2371 ; GFX10-CU-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2372 ; GFX10-CU:       ; %bb.0: ; %entry
2373 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
2374 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
2375 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2376 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2377 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2378 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2379 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
2380 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2381 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
2382 ; GFX10-CU-NEXT:    s_endpgm
2383 ;
2384 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2385 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2386 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
2387 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
2388 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2389 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2390 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2391 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2392 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2393 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2394 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
2395 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2396 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
2397 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2398 ;
2399 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2400 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2401 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2402 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2403 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2404 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2405 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2406 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2407 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2408 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2409 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2410 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2411 ;
2412 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2413 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2414 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
2415 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
2416 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2417 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2418 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2419 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2420 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
2421 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2422 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2423 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2424 ;
2425 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2426 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2427 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2428 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2429 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2430 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2431 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2432 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2433 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2434 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2435 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
2436 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2437 ;
2438 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2439 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2440 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
2441 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
2442 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2443 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2444 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2445 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
2446 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
2447 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2448 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
2449 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2450 ;
2451 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2452 ; GFX11-WGP:       ; %bb.0: ; %entry
2453 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2454 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2455 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2456 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2457 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2458 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2459 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
2460 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2461 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
2462 ; GFX11-WGP-NEXT:    s_endpgm
2463 ;
2464 ; GFX11-CU-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2465 ; GFX11-CU:       ; %bb.0: ; %entry
2466 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2467 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2468 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2469 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2470 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2471 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2472 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
2473 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2474 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
2475 ; GFX11-CU-NEXT:    s_endpgm
2476 ;
2477 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2478 ; GFX12-WGP:       ; %bb.0: ; %entry
2479 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
2480 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2481 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2482 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2483 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2484 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2485 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
2486 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
2487 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
2488 ; GFX12-WGP-NEXT:    s_endpgm
2489 ;
2490 ; GFX12-CU-LABEL: local_singlethread_seq_cst_ret_atomicrmw:
2491 ; GFX12-CU:       ; %bb.0: ; %entry
2492 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
2493 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2494 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2495 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2496 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
2497 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
2498 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
2499 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
2500 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
2501 ; GFX12-CU-NEXT:    s_endpgm
2502     ptr addrspace(3) %out, i32 %in) {
2503 entry:
2504   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread") seq_cst
2505   store i32 %val, ptr addrspace(3) %out, align 4
2506   ret void
2507 }
2508
2509 define amdgpu_kernel void @local_singlethread_monotonic_monotonic_cmpxchg(
2510 ; GFX6-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2511 ; GFX6:       ; %bb.0: ; %entry
2512 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
2513 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
2514 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
2515 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
2516 ; GFX6-NEXT:    s_mov_b32 m0, -1
2517 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2518 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
2519 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
2520 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
2521 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2522 ; GFX6-NEXT:    s_endpgm
2523 ;
2524 ; GFX7-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2525 ; GFX7:       ; %bb.0: ; %entry
2526 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
2527 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
2528 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
2529 ; GFX7-NEXT:    s_mov_b32 m0, -1
2530 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2531 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
2532 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2533 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2534 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2535 ; GFX7-NEXT:    s_endpgm
2536 ;
2537 ; GFX10-WGP-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2538 ; GFX10-WGP:       ; %bb.0: ; %entry
2539 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
2540 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
2541 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
2542 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
2544 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
2545 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
2546 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2547 ; GFX10-WGP-NEXT:    s_endpgm
2548 ;
2549 ; GFX10-CU-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2550 ; GFX10-CU:       ; %bb.0: ; %entry
2551 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
2552 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
2553 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
2554 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2555 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
2556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
2558 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2559 ; GFX10-CU-NEXT:    s_endpgm
2560 ;
2561 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2562 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2563 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
2564 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
2565 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
2566 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2567 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2568 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2569 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2570 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
2571 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2572 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2573 ;
2574 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2575 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2576 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2577 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2578 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2579 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2580 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2581 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2582 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2583 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2584 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2585 ;
2586 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2587 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2588 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2589 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2590 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2591 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2592 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2593 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2594 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2595 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2596 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2597 ;
2598 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2599 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2600 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2601 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2602 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2603 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2604 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2605 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2606 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2607 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2608 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2609 ;
2610 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2611 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2612 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2613 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2614 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2615 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2616 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2617 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2618 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2619 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2620 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2621 ;
2622 ; GFX11-WGP-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2623 ; GFX11-WGP:       ; %bb.0: ; %entry
2624 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2625 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2626 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2627 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2628 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
2629 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2630 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
2631 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2632 ; GFX11-WGP-NEXT:    s_endpgm
2633 ;
2634 ; GFX11-CU-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2635 ; GFX11-CU:       ; %bb.0: ; %entry
2636 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2637 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2638 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2639 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2640 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
2641 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2642 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
2643 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2644 ; GFX11-CU-NEXT:    s_endpgm
2645 ;
2646 ; GFX12-WGP-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2647 ; GFX12-WGP:       ; %bb.0: ; %entry
2648 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2649 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2650 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2651 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2652 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
2653 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2654 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
2655 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2656 ; GFX12-WGP-NEXT:    s_endpgm
2657 ;
2658 ; GFX12-CU-LABEL: local_singlethread_monotonic_monotonic_cmpxchg:
2659 ; GFX12-CU:       ; %bb.0: ; %entry
2660 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2661 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2662 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2663 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2664 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
2665 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
2666 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
2667 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2668 ; GFX12-CU-NEXT:    s_endpgm
2669     ptr addrspace(3) %out, i32 %in, i32 %old) {
2670 entry:
2671   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2672   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic monotonic
2673   ret void
2674 }
2675
2676 define amdgpu_kernel void @local_singlethread_acquire_monotonic_cmpxchg(
2677 ; GFX6-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2678 ; GFX6:       ; %bb.0: ; %entry
2679 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
2680 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
2681 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
2682 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
2683 ; GFX6-NEXT:    s_mov_b32 m0, -1
2684 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2685 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
2686 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
2687 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
2688 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2689 ; GFX6-NEXT:    s_endpgm
2690 ;
2691 ; GFX7-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2692 ; GFX7:       ; %bb.0: ; %entry
2693 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
2694 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
2695 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
2696 ; GFX7-NEXT:    s_mov_b32 m0, -1
2697 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2698 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
2699 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2700 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2701 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2702 ; GFX7-NEXT:    s_endpgm
2703 ;
2704 ; GFX10-WGP-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2705 ; GFX10-WGP:       ; %bb.0: ; %entry
2706 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
2707 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
2708 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
2709 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2710 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
2711 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
2712 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
2713 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2714 ; GFX10-WGP-NEXT:    s_endpgm
2715 ;
2716 ; GFX10-CU-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2717 ; GFX10-CU:       ; %bb.0: ; %entry
2718 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
2719 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
2720 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
2721 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2722 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
2723 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2724 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
2725 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2726 ; GFX10-CU-NEXT:    s_endpgm
2727 ;
2728 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2729 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2730 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
2731 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
2732 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
2733 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2734 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2735 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2736 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2737 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
2738 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2739 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2740 ;
2741 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2742 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2743 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2744 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2745 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2746 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2747 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2748 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2749 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2750 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2751 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2752 ;
2753 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2754 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2755 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2756 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2757 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2758 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2759 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2760 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2761 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2762 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2763 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2764 ;
2765 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2766 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2767 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2768 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2769 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2770 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2771 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2772 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2773 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2774 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2775 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2776 ;
2777 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2778 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2779 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2780 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2781 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2782 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2783 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2784 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2785 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2786 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2787 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2788 ;
2789 ; GFX11-WGP-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2790 ; GFX11-WGP:       ; %bb.0: ; %entry
2791 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2792 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2793 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2794 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2795 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
2796 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2797 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
2798 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2799 ; GFX11-WGP-NEXT:    s_endpgm
2800 ;
2801 ; GFX11-CU-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2802 ; GFX11-CU:       ; %bb.0: ; %entry
2803 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2804 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2805 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2806 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2807 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
2808 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2809 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
2810 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2811 ; GFX11-CU-NEXT:    s_endpgm
2812 ;
2813 ; GFX12-WGP-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2814 ; GFX12-WGP:       ; %bb.0: ; %entry
2815 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2816 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2817 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2818 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2819 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
2820 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2821 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
2822 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2823 ; GFX12-WGP-NEXT:    s_endpgm
2824 ;
2825 ; GFX12-CU-LABEL: local_singlethread_acquire_monotonic_cmpxchg:
2826 ; GFX12-CU:       ; %bb.0: ; %entry
2827 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2828 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2829 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2830 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2831 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
2832 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
2833 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
2834 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2835 ; GFX12-CU-NEXT:    s_endpgm
2836     ptr addrspace(3) %out, i32 %in, i32 %old) {
2837 entry:
2838   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
2839   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire monotonic
2840   ret void
2841 }
2842
2843 define amdgpu_kernel void @local_singlethread_release_monotonic_cmpxchg(
2844 ; GFX6-LABEL: local_singlethread_release_monotonic_cmpxchg:
2845 ; GFX6:       ; %bb.0: ; %entry
2846 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
2847 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
2848 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
2849 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
2850 ; GFX6-NEXT:    s_mov_b32 m0, -1
2851 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
2852 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
2853 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
2854 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
2855 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2856 ; GFX6-NEXT:    s_endpgm
2857 ;
2858 ; GFX7-LABEL: local_singlethread_release_monotonic_cmpxchg:
2859 ; GFX7:       ; %bb.0: ; %entry
2860 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
2861 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
2862 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
2863 ; GFX7-NEXT:    s_mov_b32 m0, -1
2864 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2865 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
2866 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2867 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2868 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2869 ; GFX7-NEXT:    s_endpgm
2870 ;
2871 ; GFX10-WGP-LABEL: local_singlethread_release_monotonic_cmpxchg:
2872 ; GFX10-WGP:       ; %bb.0: ; %entry
2873 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
2874 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
2875 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
2876 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2877 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
2878 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
2879 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
2880 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2881 ; GFX10-WGP-NEXT:    s_endpgm
2882 ;
2883 ; GFX10-CU-LABEL: local_singlethread_release_monotonic_cmpxchg:
2884 ; GFX10-CU:       ; %bb.0: ; %entry
2885 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
2886 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
2887 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
2888 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
2889 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
2890 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
2891 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
2892 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2893 ; GFX10-CU-NEXT:    s_endpgm
2894 ;
2895 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_monotonic_cmpxchg:
2896 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
2897 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
2898 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
2899 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
2900 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
2901 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
2902 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
2903 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
2904 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
2905 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2906 ; SKIP-CACHE-INV-NEXT:    s_endpgm
2907 ;
2908 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_monotonic_cmpxchg:
2909 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
2910 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2911 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2912 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2913 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2914 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2915 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2916 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2917 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2918 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
2919 ;
2920 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_monotonic_cmpxchg:
2921 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
2922 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
2923 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
2924 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
2925 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2926 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
2927 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
2928 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
2929 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2930 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
2931 ;
2932 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_monotonic_cmpxchg:
2933 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
2934 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2935 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2936 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2937 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2938 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2939 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2940 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2941 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2942 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
2943 ;
2944 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_monotonic_cmpxchg:
2945 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
2946 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
2947 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
2948 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
2949 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
2950 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
2951 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
2952 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
2953 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
2954 ; GFX940-TGSPLIT-NEXT:    s_endpgm
2955 ;
2956 ; GFX11-WGP-LABEL: local_singlethread_release_monotonic_cmpxchg:
2957 ; GFX11-WGP:       ; %bb.0: ; %entry
2958 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2959 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2960 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2961 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
2962 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
2963 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
2964 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
2965 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2966 ; GFX11-WGP-NEXT:    s_endpgm
2967 ;
2968 ; GFX11-CU-LABEL: local_singlethread_release_monotonic_cmpxchg:
2969 ; GFX11-CU:       ; %bb.0: ; %entry
2970 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2971 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2972 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2973 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
2974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
2975 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
2976 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
2977 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2978 ; GFX11-CU-NEXT:    s_endpgm
2979 ;
2980 ; GFX12-WGP-LABEL: local_singlethread_release_monotonic_cmpxchg:
2981 ; GFX12-WGP:       ; %bb.0: ; %entry
2982 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
2983 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
2984 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
2985 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
2986 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
2987 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
2988 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
2989 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
2990 ; GFX12-WGP-NEXT:    s_endpgm
2991 ;
2992 ; GFX12-CU-LABEL: local_singlethread_release_monotonic_cmpxchg:
2993 ; GFX12-CU:       ; %bb.0: ; %entry
2994 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
2995 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
2996 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
2997 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
2998 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
2999 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3000 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3001 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3002 ; GFX12-CU-NEXT:    s_endpgm
3003     ptr addrspace(3) %out, i32 %in, i32 %old) {
3004 entry:
3005   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3006   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release monotonic
3007   ret void
3008 }
3009
3010 define amdgpu_kernel void @local_singlethread_acq_rel_monotonic_cmpxchg(
3011 ; GFX6-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3012 ; GFX6:       ; %bb.0: ; %entry
3013 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3014 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3015 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3016 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3017 ; GFX6-NEXT:    s_mov_b32 m0, -1
3018 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3019 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3020 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3021 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3022 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3023 ; GFX6-NEXT:    s_endpgm
3024 ;
3025 ; GFX7-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3026 ; GFX7:       ; %bb.0: ; %entry
3027 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3028 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3029 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3030 ; GFX7-NEXT:    s_mov_b32 m0, -1
3031 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3032 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3033 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3034 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3035 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3036 ; GFX7-NEXT:    s_endpgm
3037 ;
3038 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3039 ; GFX10-WGP:       ; %bb.0: ; %entry
3040 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3041 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3042 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3043 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3044 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3045 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3046 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3047 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3048 ; GFX10-WGP-NEXT:    s_endpgm
3049 ;
3050 ; GFX10-CU-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3051 ; GFX10-CU:       ; %bb.0: ; %entry
3052 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3053 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3054 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3055 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3056 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3057 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3058 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3059 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3060 ; GFX10-CU-NEXT:    s_endpgm
3061 ;
3062 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3063 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3064 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3065 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3066 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3067 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3068 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3069 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3070 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3071 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3072 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3073 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3074 ;
3075 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3076 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3077 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3078 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3079 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3080 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3081 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3082 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3083 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3084 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3085 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3086 ;
3087 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3088 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3089 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3090 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3091 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3092 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3093 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3094 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3095 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3096 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3097 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3098 ;
3099 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3100 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3101 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3102 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3103 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3104 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3105 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3106 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3107 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3108 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3109 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3110 ;
3111 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3112 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3113 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3114 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3115 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3116 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3117 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3118 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3119 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3120 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3121 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3122 ;
3123 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3124 ; GFX11-WGP:       ; %bb.0: ; %entry
3125 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3126 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3127 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3128 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3129 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3130 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3131 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3132 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3133 ; GFX11-WGP-NEXT:    s_endpgm
3134 ;
3135 ; GFX11-CU-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3136 ; GFX11-CU:       ; %bb.0: ; %entry
3137 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3138 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3139 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3140 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3141 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3142 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3143 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3144 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3145 ; GFX11-CU-NEXT:    s_endpgm
3146 ;
3147 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3148 ; GFX12-WGP:       ; %bb.0: ; %entry
3149 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3150 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3151 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3152 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3153 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3154 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3155 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3156 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3157 ; GFX12-WGP-NEXT:    s_endpgm
3158 ;
3159 ; GFX12-CU-LABEL: local_singlethread_acq_rel_monotonic_cmpxchg:
3160 ; GFX12-CU:       ; %bb.0: ; %entry
3161 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3162 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3163 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3164 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
3165 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
3166 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3167 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3168 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3169 ; GFX12-CU-NEXT:    s_endpgm
3170     ptr addrspace(3) %out, i32 %in, i32 %old) {
3171 entry:
3172   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3173   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel monotonic
3174   ret void
3175 }
3176
3177 define amdgpu_kernel void @local_singlethread_seq_cst_monotonic_cmpxchg(
3178 ; GFX6-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3179 ; GFX6:       ; %bb.0: ; %entry
3180 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3181 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3182 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3183 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3184 ; GFX6-NEXT:    s_mov_b32 m0, -1
3185 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3186 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3187 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3188 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3189 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3190 ; GFX6-NEXT:    s_endpgm
3191 ;
3192 ; GFX7-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3193 ; GFX7:       ; %bb.0: ; %entry
3194 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3195 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3196 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3197 ; GFX7-NEXT:    s_mov_b32 m0, -1
3198 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3199 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3200 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3201 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3202 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3203 ; GFX7-NEXT:    s_endpgm
3204 ;
3205 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3206 ; GFX10-WGP:       ; %bb.0: ; %entry
3207 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3208 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3209 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3210 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3211 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3212 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3213 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3214 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3215 ; GFX10-WGP-NEXT:    s_endpgm
3216 ;
3217 ; GFX10-CU-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3218 ; GFX10-CU:       ; %bb.0: ; %entry
3219 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3220 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3221 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3222 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3223 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3224 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3225 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3226 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3227 ; GFX10-CU-NEXT:    s_endpgm
3228 ;
3229 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3230 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3231 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3232 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3233 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3234 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3235 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3236 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3237 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3238 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3239 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3240 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3241 ;
3242 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3243 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3244 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3245 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3246 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3247 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3248 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3249 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3250 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3251 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3252 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3253 ;
3254 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3255 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3256 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3257 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3258 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3259 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3260 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3261 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3262 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3263 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3264 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3265 ;
3266 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3267 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3268 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3269 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3270 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3271 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3272 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3273 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3274 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3275 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3276 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3277 ;
3278 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3279 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3280 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3281 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3282 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3283 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3284 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3285 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3286 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3287 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3288 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3289 ;
3290 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3291 ; GFX11-WGP:       ; %bb.0: ; %entry
3292 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3293 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3294 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3295 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3296 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3297 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3298 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3299 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3300 ; GFX11-WGP-NEXT:    s_endpgm
3301 ;
3302 ; GFX11-CU-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3303 ; GFX11-CU:       ; %bb.0: ; %entry
3304 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3305 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3306 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3307 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3308 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3309 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3310 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3311 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3312 ; GFX11-CU-NEXT:    s_endpgm
3313 ;
3314 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3315 ; GFX12-WGP:       ; %bb.0: ; %entry
3316 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3317 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3318 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3319 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3320 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3321 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3322 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3323 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3324 ; GFX12-WGP-NEXT:    s_endpgm
3325 ;
3326 ; GFX12-CU-LABEL: local_singlethread_seq_cst_monotonic_cmpxchg:
3327 ; GFX12-CU:       ; %bb.0: ; %entry
3328 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3329 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3330 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3331 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
3332 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
3333 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3334 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3335 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3336 ; GFX12-CU-NEXT:    s_endpgm
3337     ptr addrspace(3) %out, i32 %in, i32 %old) {
3338 entry:
3339   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3340   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst monotonic
3341   ret void
3342 }
3343
3344 define amdgpu_kernel void @local_singlethread_monotonic_acquire_cmpxchg(
3345 ; GFX6-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3346 ; GFX6:       ; %bb.0: ; %entry
3347 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3348 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3349 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3350 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3351 ; GFX6-NEXT:    s_mov_b32 m0, -1
3352 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3353 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3354 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3355 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3356 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3357 ; GFX6-NEXT:    s_endpgm
3358 ;
3359 ; GFX7-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3360 ; GFX7:       ; %bb.0: ; %entry
3361 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3362 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3363 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3364 ; GFX7-NEXT:    s_mov_b32 m0, -1
3365 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3366 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3367 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3368 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3369 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3370 ; GFX7-NEXT:    s_endpgm
3371 ;
3372 ; GFX10-WGP-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3373 ; GFX10-WGP:       ; %bb.0: ; %entry
3374 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3375 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3376 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3377 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3378 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3379 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3380 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3381 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3382 ; GFX10-WGP-NEXT:    s_endpgm
3383 ;
3384 ; GFX10-CU-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3385 ; GFX10-CU:       ; %bb.0: ; %entry
3386 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3387 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3388 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3389 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3390 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3391 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3392 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3393 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3394 ; GFX10-CU-NEXT:    s_endpgm
3395 ;
3396 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3397 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3398 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3399 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3400 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3401 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3402 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3403 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3404 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3405 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3406 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3407 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3408 ;
3409 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3410 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3411 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3412 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3413 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3414 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3415 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3416 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3417 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3418 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3419 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3420 ;
3421 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3422 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3423 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3424 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3425 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3426 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3427 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3428 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3429 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3430 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3431 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3432 ;
3433 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3434 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3435 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3436 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3437 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3438 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3439 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3440 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3441 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3442 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3443 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3444 ;
3445 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3446 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3447 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3448 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3449 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3450 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3451 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3452 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3453 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3454 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3455 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3456 ;
3457 ; GFX11-WGP-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3458 ; GFX11-WGP:       ; %bb.0: ; %entry
3459 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3460 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3461 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3462 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3463 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3464 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3465 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3466 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3467 ; GFX11-WGP-NEXT:    s_endpgm
3468 ;
3469 ; GFX11-CU-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3470 ; GFX11-CU:       ; %bb.0: ; %entry
3471 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3472 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3473 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3474 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3475 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3476 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3477 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3478 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3479 ; GFX11-CU-NEXT:    s_endpgm
3480 ;
3481 ; GFX12-WGP-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3482 ; GFX12-WGP:       ; %bb.0: ; %entry
3483 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3484 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3485 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3486 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3487 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3488 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3489 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3490 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3491 ; GFX12-WGP-NEXT:    s_endpgm
3492 ;
3493 ; GFX12-CU-LABEL: local_singlethread_monotonic_acquire_cmpxchg:
3494 ; GFX12-CU:       ; %bb.0: ; %entry
3495 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3496 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3497 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3498 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
3499 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
3500 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3501 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3502 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3503 ; GFX12-CU-NEXT:    s_endpgm
3504     ptr addrspace(3) %out, i32 %in, i32 %old) {
3505 entry:
3506   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3507   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic acquire
3508   ret void
3509 }
3510
3511 define amdgpu_kernel void @local_singlethread_acquire_acquire_cmpxchg(
3512 ; GFX6-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3513 ; GFX6:       ; %bb.0: ; %entry
3514 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3515 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3516 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3517 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3518 ; GFX6-NEXT:    s_mov_b32 m0, -1
3519 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3520 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3521 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3522 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3523 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3524 ; GFX6-NEXT:    s_endpgm
3525 ;
3526 ; GFX7-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3527 ; GFX7:       ; %bb.0: ; %entry
3528 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3529 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3530 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3531 ; GFX7-NEXT:    s_mov_b32 m0, -1
3532 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3533 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3534 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3535 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3536 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3537 ; GFX7-NEXT:    s_endpgm
3538 ;
3539 ; GFX10-WGP-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3540 ; GFX10-WGP:       ; %bb.0: ; %entry
3541 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3542 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3543 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3544 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3545 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3546 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3547 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3548 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3549 ; GFX10-WGP-NEXT:    s_endpgm
3550 ;
3551 ; GFX10-CU-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3552 ; GFX10-CU:       ; %bb.0: ; %entry
3553 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3554 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3555 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3556 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3558 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3559 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3560 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3561 ; GFX10-CU-NEXT:    s_endpgm
3562 ;
3563 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3564 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3565 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3566 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3567 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3568 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3569 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3570 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3571 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3572 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3573 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3574 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3575 ;
3576 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3577 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3578 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3579 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3580 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3581 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3582 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3583 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3584 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3585 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3586 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3587 ;
3588 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3589 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3590 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3591 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3592 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3593 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3594 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3595 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3596 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3597 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3598 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3599 ;
3600 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3601 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3602 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3603 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3604 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3605 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3606 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3607 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3608 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3609 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3610 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3611 ;
3612 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3613 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3614 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3615 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3616 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3617 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3618 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3619 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3620 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3621 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3622 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3623 ;
3624 ; GFX11-WGP-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3625 ; GFX11-WGP:       ; %bb.0: ; %entry
3626 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3627 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3628 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3629 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3630 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3631 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3632 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3633 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3634 ; GFX11-WGP-NEXT:    s_endpgm
3635 ;
3636 ; GFX11-CU-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3637 ; GFX11-CU:       ; %bb.0: ; %entry
3638 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3639 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3640 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3641 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3642 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3643 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3644 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3645 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3646 ; GFX11-CU-NEXT:    s_endpgm
3647 ;
3648 ; GFX12-WGP-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3649 ; GFX12-WGP:       ; %bb.0: ; %entry
3650 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3651 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3652 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3653 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3654 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3655 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3656 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3657 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3658 ; GFX12-WGP-NEXT:    s_endpgm
3659 ;
3660 ; GFX12-CU-LABEL: local_singlethread_acquire_acquire_cmpxchg:
3661 ; GFX12-CU:       ; %bb.0: ; %entry
3662 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3663 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3664 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3665 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
3666 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
3667 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3668 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3669 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3670 ; GFX12-CU-NEXT:    s_endpgm
3671     ptr addrspace(3) %out, i32 %in, i32 %old) {
3672 entry:
3673   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3674   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire acquire
3675   ret void
3676 }
3677
3678 define amdgpu_kernel void @local_singlethread_release_acquire_cmpxchg(
3679 ; GFX6-LABEL: local_singlethread_release_acquire_cmpxchg:
3680 ; GFX6:       ; %bb.0: ; %entry
3681 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3682 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3683 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3684 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3685 ; GFX6-NEXT:    s_mov_b32 m0, -1
3686 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3687 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3688 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3689 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3690 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3691 ; GFX6-NEXT:    s_endpgm
3692 ;
3693 ; GFX7-LABEL: local_singlethread_release_acquire_cmpxchg:
3694 ; GFX7:       ; %bb.0: ; %entry
3695 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3696 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3697 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3698 ; GFX7-NEXT:    s_mov_b32 m0, -1
3699 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3700 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3701 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3702 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3703 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3704 ; GFX7-NEXT:    s_endpgm
3705 ;
3706 ; GFX10-WGP-LABEL: local_singlethread_release_acquire_cmpxchg:
3707 ; GFX10-WGP:       ; %bb.0: ; %entry
3708 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3709 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3710 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3711 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3712 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3713 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3714 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3715 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3716 ; GFX10-WGP-NEXT:    s_endpgm
3717 ;
3718 ; GFX10-CU-LABEL: local_singlethread_release_acquire_cmpxchg:
3719 ; GFX10-CU:       ; %bb.0: ; %entry
3720 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3721 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3722 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3723 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3724 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3725 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3726 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3727 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3728 ; GFX10-CU-NEXT:    s_endpgm
3729 ;
3730 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_acquire_cmpxchg:
3731 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3732 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3733 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3734 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3735 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3736 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3737 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3738 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3739 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3740 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3741 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3742 ;
3743 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_acquire_cmpxchg:
3744 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3745 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3746 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3747 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3748 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3749 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3750 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3751 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3752 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3753 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3754 ;
3755 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_acquire_cmpxchg:
3756 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3757 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3758 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3759 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3760 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3761 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3762 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3763 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3764 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3765 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3766 ;
3767 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_acquire_cmpxchg:
3768 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3769 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3770 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3771 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3772 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3773 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3774 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3775 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3776 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3777 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3778 ;
3779 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_acquire_cmpxchg:
3780 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3781 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3782 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3783 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3784 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3785 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3786 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3787 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3788 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3789 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3790 ;
3791 ; GFX11-WGP-LABEL: local_singlethread_release_acquire_cmpxchg:
3792 ; GFX11-WGP:       ; %bb.0: ; %entry
3793 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3794 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3795 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3796 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3797 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3798 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3799 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3800 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3801 ; GFX11-WGP-NEXT:    s_endpgm
3802 ;
3803 ; GFX11-CU-LABEL: local_singlethread_release_acquire_cmpxchg:
3804 ; GFX11-CU:       ; %bb.0: ; %entry
3805 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3806 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3807 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3808 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3809 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3810 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3811 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3812 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3813 ; GFX11-CU-NEXT:    s_endpgm
3814 ;
3815 ; GFX12-WGP-LABEL: local_singlethread_release_acquire_cmpxchg:
3816 ; GFX12-WGP:       ; %bb.0: ; %entry
3817 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3818 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3819 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3820 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3821 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3822 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3823 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3824 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3825 ; GFX12-WGP-NEXT:    s_endpgm
3826 ;
3827 ; GFX12-CU-LABEL: local_singlethread_release_acquire_cmpxchg:
3828 ; GFX12-CU:       ; %bb.0: ; %entry
3829 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3830 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3831 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3832 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
3833 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
3834 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
3835 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
3836 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3837 ; GFX12-CU-NEXT:    s_endpgm
3838     ptr addrspace(3) %out, i32 %in, i32 %old) {
3839 entry:
3840   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
3841   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release acquire
3842   ret void
3843 }
3844
3845 define amdgpu_kernel void @local_singlethread_acq_rel_acquire_cmpxchg(
3846 ; GFX6-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3847 ; GFX6:       ; %bb.0: ; %entry
3848 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
3849 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
3850 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
3851 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
3852 ; GFX6-NEXT:    s_mov_b32 m0, -1
3853 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
3854 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
3855 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
3856 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
3857 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3858 ; GFX6-NEXT:    s_endpgm
3859 ;
3860 ; GFX7-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3861 ; GFX7:       ; %bb.0: ; %entry
3862 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
3863 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
3864 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
3865 ; GFX7-NEXT:    s_mov_b32 m0, -1
3866 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3867 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3868 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3869 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3870 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3871 ; GFX7-NEXT:    s_endpgm
3872 ;
3873 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3874 ; GFX10-WGP:       ; %bb.0: ; %entry
3875 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
3876 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
3877 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
3878 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3879 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
3880 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
3881 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
3882 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3883 ; GFX10-WGP-NEXT:    s_endpgm
3884 ;
3885 ; GFX10-CU-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3886 ; GFX10-CU:       ; %bb.0: ; %entry
3887 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
3888 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
3889 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
3890 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
3891 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
3892 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
3893 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
3894 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3895 ; GFX10-CU-NEXT:    s_endpgm
3896 ;
3897 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3898 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
3899 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
3900 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
3901 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
3902 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
3903 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
3904 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
3905 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
3906 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
3907 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3908 ; SKIP-CACHE-INV-NEXT:    s_endpgm
3909 ;
3910 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3911 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
3912 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3913 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3914 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3915 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3916 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3917 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3918 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3919 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3920 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
3921 ;
3922 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3923 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
3924 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
3925 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
3926 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
3927 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3928 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
3929 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
3930 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
3931 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3932 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
3933 ;
3934 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3935 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
3936 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3937 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3938 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3939 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3940 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3941 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3942 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3943 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3944 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
3945 ;
3946 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3947 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
3948 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
3949 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
3950 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
3951 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
3952 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
3953 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
3954 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
3955 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
3956 ; GFX940-TGSPLIT-NEXT:    s_endpgm
3957 ;
3958 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3959 ; GFX11-WGP:       ; %bb.0: ; %entry
3960 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3961 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3962 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3963 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
3964 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
3965 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
3966 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
3967 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3968 ; GFX11-WGP-NEXT:    s_endpgm
3969 ;
3970 ; GFX11-CU-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3971 ; GFX11-CU:       ; %bb.0: ; %entry
3972 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3973 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3974 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3975 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
3976 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
3977 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
3978 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
3979 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3980 ; GFX11-CU-NEXT:    s_endpgm
3981 ;
3982 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3983 ; GFX12-WGP:       ; %bb.0: ; %entry
3984 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
3985 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
3986 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
3987 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
3988 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
3989 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
3990 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
3991 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
3992 ; GFX12-WGP-NEXT:    s_endpgm
3993 ;
3994 ; GFX12-CU-LABEL: local_singlethread_acq_rel_acquire_cmpxchg:
3995 ; GFX12-CU:       ; %bb.0: ; %entry
3996 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
3997 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
3998 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
3999 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4000 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4001 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4002 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4003 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4004 ; GFX12-CU-NEXT:    s_endpgm
4005     ptr addrspace(3) %out, i32 %in, i32 %old) {
4006 entry:
4007   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4008   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel acquire
4009   ret void
4010 }
4011
4012 define amdgpu_kernel void @local_singlethread_seq_cst_acquire_cmpxchg(
4013 ; GFX6-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4014 ; GFX6:       ; %bb.0: ; %entry
4015 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4016 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4017 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4018 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4019 ; GFX6-NEXT:    s_mov_b32 m0, -1
4020 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4021 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4022 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4023 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4024 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4025 ; GFX6-NEXT:    s_endpgm
4026 ;
4027 ; GFX7-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4028 ; GFX7:       ; %bb.0: ; %entry
4029 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4030 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4031 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4032 ; GFX7-NEXT:    s_mov_b32 m0, -1
4033 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4034 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4035 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4036 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4037 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4038 ; GFX7-NEXT:    s_endpgm
4039 ;
4040 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4041 ; GFX10-WGP:       ; %bb.0: ; %entry
4042 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4043 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4044 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4045 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4046 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4047 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4048 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4049 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4050 ; GFX10-WGP-NEXT:    s_endpgm
4051 ;
4052 ; GFX10-CU-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4053 ; GFX10-CU:       ; %bb.0: ; %entry
4054 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4055 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4056 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4057 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4058 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4059 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4060 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4061 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4062 ; GFX10-CU-NEXT:    s_endpgm
4063 ;
4064 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4065 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4066 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4067 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4068 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4069 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4070 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4071 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4072 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4073 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4074 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4075 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4076 ;
4077 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4078 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4079 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4080 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4081 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4082 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4083 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4084 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4085 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4086 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4087 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4088 ;
4089 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4090 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4091 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4092 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4093 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4094 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4095 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4096 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4097 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4098 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4099 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4100 ;
4101 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4102 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4103 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4104 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4105 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4106 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4107 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4108 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4109 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4110 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4111 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4112 ;
4113 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4114 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4115 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4116 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4117 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4118 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4119 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4120 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4121 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4122 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4123 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4124 ;
4125 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4126 ; GFX11-WGP:       ; %bb.0: ; %entry
4127 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4128 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4129 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4130 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4131 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4132 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4133 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4134 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4135 ; GFX11-WGP-NEXT:    s_endpgm
4136 ;
4137 ; GFX11-CU-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4138 ; GFX11-CU:       ; %bb.0: ; %entry
4139 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4140 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4141 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4142 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4143 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4144 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4145 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4146 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4147 ; GFX11-CU-NEXT:    s_endpgm
4148 ;
4149 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4150 ; GFX12-WGP:       ; %bb.0: ; %entry
4151 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4152 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4153 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4154 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4155 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4156 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4157 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4158 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4159 ; GFX12-WGP-NEXT:    s_endpgm
4160 ;
4161 ; GFX12-CU-LABEL: local_singlethread_seq_cst_acquire_cmpxchg:
4162 ; GFX12-CU:       ; %bb.0: ; %entry
4163 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4164 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4165 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4166 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4167 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4168 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4169 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4170 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4171 ; GFX12-CU-NEXT:    s_endpgm
4172     ptr addrspace(3) %out, i32 %in, i32 %old) {
4173 entry:
4174   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4175   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst acquire
4176   ret void
4177 }
4178
4179 define amdgpu_kernel void @local_singlethread_monotonic_seq_cst_cmpxchg(
4180 ; GFX6-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4181 ; GFX6:       ; %bb.0: ; %entry
4182 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4183 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4184 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4185 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4186 ; GFX6-NEXT:    s_mov_b32 m0, -1
4187 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4188 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4189 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4190 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4191 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4192 ; GFX6-NEXT:    s_endpgm
4193 ;
4194 ; GFX7-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4195 ; GFX7:       ; %bb.0: ; %entry
4196 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4197 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4198 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4199 ; GFX7-NEXT:    s_mov_b32 m0, -1
4200 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4201 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4202 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4203 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4204 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4205 ; GFX7-NEXT:    s_endpgm
4206 ;
4207 ; GFX10-WGP-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4208 ; GFX10-WGP:       ; %bb.0: ; %entry
4209 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4210 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4211 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4212 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4213 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4214 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4215 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4216 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4217 ; GFX10-WGP-NEXT:    s_endpgm
4218 ;
4219 ; GFX10-CU-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4220 ; GFX10-CU:       ; %bb.0: ; %entry
4221 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4222 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4223 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4224 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4225 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4226 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4227 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4228 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4229 ; GFX10-CU-NEXT:    s_endpgm
4230 ;
4231 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4232 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4233 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4234 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4235 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4236 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4237 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4238 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4239 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4240 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4241 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4242 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4243 ;
4244 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4245 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4246 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4247 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4248 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4249 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4250 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4251 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4252 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4253 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4254 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4255 ;
4256 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4257 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4258 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4259 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4260 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4261 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4262 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4263 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4264 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4265 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4266 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4267 ;
4268 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4269 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4270 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4271 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4272 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4273 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4274 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4275 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4276 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4277 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4278 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4279 ;
4280 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4281 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4282 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4283 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4284 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4285 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4286 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4287 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4288 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4289 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4290 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4291 ;
4292 ; GFX11-WGP-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4293 ; GFX11-WGP:       ; %bb.0: ; %entry
4294 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4295 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4296 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4297 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4298 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4299 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4300 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4301 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4302 ; GFX11-WGP-NEXT:    s_endpgm
4303 ;
4304 ; GFX11-CU-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4305 ; GFX11-CU:       ; %bb.0: ; %entry
4306 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4307 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4308 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4309 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4310 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4311 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4312 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4313 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4314 ; GFX11-CU-NEXT:    s_endpgm
4315 ;
4316 ; GFX12-WGP-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4317 ; GFX12-WGP:       ; %bb.0: ; %entry
4318 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4319 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4320 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4321 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4322 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4323 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4324 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4325 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4326 ; GFX12-WGP-NEXT:    s_endpgm
4327 ;
4328 ; GFX12-CU-LABEL: local_singlethread_monotonic_seq_cst_cmpxchg:
4329 ; GFX12-CU:       ; %bb.0: ; %entry
4330 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4331 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4332 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4333 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4334 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4335 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4336 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4337 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4338 ; GFX12-CU-NEXT:    s_endpgm
4339     ptr addrspace(3) %out, i32 %in, i32 %old) {
4340 entry:
4341   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4342   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic seq_cst
4343   ret void
4344 }
4345
4346 define amdgpu_kernel void @local_singlethread_acquire_seq_cst_cmpxchg(
4347 ; GFX6-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4348 ; GFX6:       ; %bb.0: ; %entry
4349 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4350 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4351 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4352 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4353 ; GFX6-NEXT:    s_mov_b32 m0, -1
4354 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4355 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4356 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4357 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4358 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4359 ; GFX6-NEXT:    s_endpgm
4360 ;
4361 ; GFX7-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4362 ; GFX7:       ; %bb.0: ; %entry
4363 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4364 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4365 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4366 ; GFX7-NEXT:    s_mov_b32 m0, -1
4367 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4368 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4369 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4370 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4371 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4372 ; GFX7-NEXT:    s_endpgm
4373 ;
4374 ; GFX10-WGP-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4375 ; GFX10-WGP:       ; %bb.0: ; %entry
4376 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4377 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4378 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4379 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4380 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4381 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4382 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4383 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4384 ; GFX10-WGP-NEXT:    s_endpgm
4385 ;
4386 ; GFX10-CU-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4387 ; GFX10-CU:       ; %bb.0: ; %entry
4388 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4389 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4390 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4391 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4392 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4393 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4394 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4395 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4396 ; GFX10-CU-NEXT:    s_endpgm
4397 ;
4398 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4399 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4400 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4401 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4402 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4403 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4404 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4405 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4406 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4407 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4408 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4409 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4410 ;
4411 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4412 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4413 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4414 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4415 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4416 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4417 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4418 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4419 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4420 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4421 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4422 ;
4423 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4424 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4425 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4426 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4427 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4428 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4429 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4430 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4431 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4432 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4433 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4434 ;
4435 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4436 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4437 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4438 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4439 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4440 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4441 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4442 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4443 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4444 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4445 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4446 ;
4447 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4448 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4449 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4450 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4451 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4452 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4453 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4454 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4455 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4456 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4457 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4458 ;
4459 ; GFX11-WGP-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4460 ; GFX11-WGP:       ; %bb.0: ; %entry
4461 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4462 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4463 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4464 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4465 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4466 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4467 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4468 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4469 ; GFX11-WGP-NEXT:    s_endpgm
4470 ;
4471 ; GFX11-CU-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4472 ; GFX11-CU:       ; %bb.0: ; %entry
4473 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4474 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4475 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4476 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4477 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4478 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4479 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4480 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4481 ; GFX11-CU-NEXT:    s_endpgm
4482 ;
4483 ; GFX12-WGP-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4484 ; GFX12-WGP:       ; %bb.0: ; %entry
4485 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4486 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4487 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4488 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4489 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4490 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4491 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4492 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4493 ; GFX12-WGP-NEXT:    s_endpgm
4494 ;
4495 ; GFX12-CU-LABEL: local_singlethread_acquire_seq_cst_cmpxchg:
4496 ; GFX12-CU:       ; %bb.0: ; %entry
4497 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4498 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4499 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4500 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4501 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4502 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4503 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4504 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4505 ; GFX12-CU-NEXT:    s_endpgm
4506     ptr addrspace(3) %out, i32 %in, i32 %old) {
4507 entry:
4508   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4509   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire seq_cst
4510   ret void
4511 }
4512
4513 define amdgpu_kernel void @local_singlethread_release_seq_cst_cmpxchg(
4514 ; GFX6-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4515 ; GFX6:       ; %bb.0: ; %entry
4516 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4517 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4518 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4519 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4520 ; GFX6-NEXT:    s_mov_b32 m0, -1
4521 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4522 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4523 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4524 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4525 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4526 ; GFX6-NEXT:    s_endpgm
4527 ;
4528 ; GFX7-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4529 ; GFX7:       ; %bb.0: ; %entry
4530 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4531 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4532 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4533 ; GFX7-NEXT:    s_mov_b32 m0, -1
4534 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4535 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4536 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4537 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4538 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4539 ; GFX7-NEXT:    s_endpgm
4540 ;
4541 ; GFX10-WGP-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4542 ; GFX10-WGP:       ; %bb.0: ; %entry
4543 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4544 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4545 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4546 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4547 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4548 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4549 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4550 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4551 ; GFX10-WGP-NEXT:    s_endpgm
4552 ;
4553 ; GFX10-CU-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4554 ; GFX10-CU:       ; %bb.0: ; %entry
4555 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4556 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4557 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4558 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4559 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4560 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4561 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4562 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4563 ; GFX10-CU-NEXT:    s_endpgm
4564 ;
4565 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4566 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4567 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4568 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4569 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4570 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4571 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4572 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4573 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4574 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4575 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4576 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4577 ;
4578 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4579 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4580 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4581 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4582 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4583 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4584 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4585 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4586 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4587 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4588 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4589 ;
4590 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4591 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4592 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4593 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4594 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4595 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4596 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4597 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4598 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4599 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4600 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4601 ;
4602 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4603 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4604 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4605 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4606 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4607 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4608 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4609 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4610 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4611 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4612 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4613 ;
4614 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4615 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4616 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4617 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4618 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4619 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4620 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4621 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4622 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4623 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4624 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4625 ;
4626 ; GFX11-WGP-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4627 ; GFX11-WGP:       ; %bb.0: ; %entry
4628 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4629 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4630 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4631 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4632 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4633 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4634 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4635 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4636 ; GFX11-WGP-NEXT:    s_endpgm
4637 ;
4638 ; GFX11-CU-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4639 ; GFX11-CU:       ; %bb.0: ; %entry
4640 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4641 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4642 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4643 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4644 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4645 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4646 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4647 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4648 ; GFX11-CU-NEXT:    s_endpgm
4649 ;
4650 ; GFX12-WGP-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4651 ; GFX12-WGP:       ; %bb.0: ; %entry
4652 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4653 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4654 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4655 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4656 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4657 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4658 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4659 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4660 ; GFX12-WGP-NEXT:    s_endpgm
4661 ;
4662 ; GFX12-CU-LABEL: local_singlethread_release_seq_cst_cmpxchg:
4663 ; GFX12-CU:       ; %bb.0: ; %entry
4664 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4665 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4666 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4667 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4668 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4669 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4670 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4671 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4672 ; GFX12-CU-NEXT:    s_endpgm
4673     ptr addrspace(3) %out, i32 %in, i32 %old) {
4674 entry:
4675   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4676   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release seq_cst
4677   ret void
4678 }
4679
4680 define amdgpu_kernel void @local_singlethread_acq_rel_seq_cst_cmpxchg(
4681 ; GFX6-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4682 ; GFX6:       ; %bb.0: ; %entry
4683 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4684 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4685 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4686 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4687 ; GFX6-NEXT:    s_mov_b32 m0, -1
4688 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4689 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4690 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4691 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4692 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4693 ; GFX6-NEXT:    s_endpgm
4694 ;
4695 ; GFX7-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4696 ; GFX7:       ; %bb.0: ; %entry
4697 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4698 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4699 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4700 ; GFX7-NEXT:    s_mov_b32 m0, -1
4701 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4702 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4703 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4704 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4705 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4706 ; GFX7-NEXT:    s_endpgm
4707 ;
4708 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4709 ; GFX10-WGP:       ; %bb.0: ; %entry
4710 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4711 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4712 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4713 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4714 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4715 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4716 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4717 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4718 ; GFX10-WGP-NEXT:    s_endpgm
4719 ;
4720 ; GFX10-CU-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4721 ; GFX10-CU:       ; %bb.0: ; %entry
4722 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4723 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4724 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4725 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4726 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4727 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4728 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4729 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4730 ; GFX10-CU-NEXT:    s_endpgm
4731 ;
4732 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4733 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4734 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4735 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4736 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4737 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4738 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4739 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4740 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4741 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4742 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4743 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4744 ;
4745 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4746 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4747 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4748 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4749 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4750 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4751 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4752 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4753 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4754 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4755 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4756 ;
4757 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4758 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4759 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4760 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4761 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4762 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4763 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4764 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4765 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4766 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4767 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4768 ;
4769 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4770 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4771 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4772 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4773 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4774 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4775 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4776 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4777 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4778 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4779 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4780 ;
4781 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4782 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4783 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4784 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4785 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4786 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4787 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4788 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4789 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4790 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4791 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4792 ;
4793 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4794 ; GFX11-WGP:       ; %bb.0: ; %entry
4795 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4796 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4797 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4798 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4799 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4800 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4801 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4802 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4803 ; GFX11-WGP-NEXT:    s_endpgm
4804 ;
4805 ; GFX11-CU-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4806 ; GFX11-CU:       ; %bb.0: ; %entry
4807 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4808 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4809 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4810 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4811 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4812 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4813 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4814 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4815 ; GFX11-CU-NEXT:    s_endpgm
4816 ;
4817 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4818 ; GFX12-WGP:       ; %bb.0: ; %entry
4819 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4820 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4821 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4822 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4823 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4824 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4825 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4826 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4827 ; GFX12-WGP-NEXT:    s_endpgm
4828 ;
4829 ; GFX12-CU-LABEL: local_singlethread_acq_rel_seq_cst_cmpxchg:
4830 ; GFX12-CU:       ; %bb.0: ; %entry
4831 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4832 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4833 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4834 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
4835 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
4836 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
4837 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
4838 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4839 ; GFX12-CU-NEXT:    s_endpgm
4840     ptr addrspace(3) %out, i32 %in, i32 %old) {
4841 entry:
4842   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
4843   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel seq_cst
4844   ret void
4845 }
4846
4847 define amdgpu_kernel void @local_singlethread_seq_cst_seq_cst_cmpxchg(
4848 ; GFX6-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4849 ; GFX6:       ; %bb.0: ; %entry
4850 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
4851 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
4852 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
4853 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
4854 ; GFX6-NEXT:    s_mov_b32 m0, -1
4855 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
4856 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
4857 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
4858 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
4859 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4860 ; GFX6-NEXT:    s_endpgm
4861 ;
4862 ; GFX7-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4863 ; GFX7:       ; %bb.0: ; %entry
4864 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
4865 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
4866 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
4867 ; GFX7-NEXT:    s_mov_b32 m0, -1
4868 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4869 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4870 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4871 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4872 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4873 ; GFX7-NEXT:    s_endpgm
4874 ;
4875 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4876 ; GFX10-WGP:       ; %bb.0: ; %entry
4877 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
4878 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
4879 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
4880 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4881 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
4882 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
4883 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
4884 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4885 ; GFX10-WGP-NEXT:    s_endpgm
4886 ;
4887 ; GFX10-CU-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4888 ; GFX10-CU:       ; %bb.0: ; %entry
4889 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
4890 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
4891 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
4892 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
4893 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
4894 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
4895 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
4896 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4897 ; GFX10-CU-NEXT:    s_endpgm
4898 ;
4899 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4900 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
4901 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
4902 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
4903 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
4904 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
4905 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
4906 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
4907 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
4908 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
4909 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4910 ; SKIP-CACHE-INV-NEXT:    s_endpgm
4911 ;
4912 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4913 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
4914 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4915 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4916 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4917 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4918 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4919 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4920 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4921 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4922 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
4923 ;
4924 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4925 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
4926 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
4927 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
4928 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
4929 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4930 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
4931 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
4932 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
4933 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4934 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
4935 ;
4936 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4937 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
4938 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4939 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4940 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4941 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4942 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4943 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4944 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4945 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4946 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
4947 ;
4948 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4949 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
4950 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
4951 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
4952 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
4953 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
4954 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
4955 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
4956 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
4957 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
4958 ; GFX940-TGSPLIT-NEXT:    s_endpgm
4959 ;
4960 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4961 ; GFX11-WGP:       ; %bb.0: ; %entry
4962 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4963 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4964 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4965 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
4966 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
4967 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
4968 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
4969 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4970 ; GFX11-WGP-NEXT:    s_endpgm
4971 ;
4972 ; GFX11-CU-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4973 ; GFX11-CU:       ; %bb.0: ; %entry
4974 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4975 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
4976 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
4977 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
4978 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
4979 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
4980 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
4981 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4982 ; GFX11-CU-NEXT:    s_endpgm
4983 ;
4984 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4985 ; GFX12-WGP:       ; %bb.0: ; %entry
4986 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
4987 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
4988 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
4989 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
4990 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
4991 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
4992 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
4993 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
4994 ; GFX12-WGP-NEXT:    s_endpgm
4995 ;
4996 ; GFX12-CU-LABEL: local_singlethread_seq_cst_seq_cst_cmpxchg:
4997 ; GFX12-CU:       ; %bb.0: ; %entry
4998 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
4999 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
5000 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
5001 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
5002 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
5003 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
5004 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
5005 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
5006 ; GFX12-CU-NEXT:    s_endpgm
5007     ptr addrspace(3) %out, i32 %in, i32 %old) {
5008 entry:
5009   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5010   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst seq_cst
5011   ret void
5012 }
5013
5014 define amdgpu_kernel void @local_singlethread_monotonic_monotonic_ret_cmpxchg(
5015 ; GFX6-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5016 ; GFX6:       ; %bb.0: ; %entry
5017 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
5018 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
5019 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
5020 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
5021 ; GFX6-NEXT:    s_mov_b32 m0, -1
5022 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5023 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5024 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
5025 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
5026 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5027 ; GFX6-NEXT:    s_mov_b32 m0, -1
5028 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5029 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5030 ; GFX6-NEXT:    ds_write_b32 v0, v1
5031 ; GFX6-NEXT:    s_endpgm
5032 ;
5033 ; GFX7-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5034 ; GFX7:       ; %bb.0: ; %entry
5035 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
5036 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
5037 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
5038 ; GFX7-NEXT:    s_mov_b32 m0, -1
5039 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5040 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5041 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
5042 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
5043 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5044 ; GFX7-NEXT:    s_mov_b32 m0, -1
5045 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5046 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5047 ; GFX7-NEXT:    ds_write_b32 v0, v1
5048 ; GFX7-NEXT:    s_endpgm
5049 ;
5050 ; GFX10-WGP-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5051 ; GFX10-WGP:       ; %bb.0: ; %entry
5052 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
5053 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
5054 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
5055 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5056 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5057 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
5058 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
5059 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5060 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5061 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5062 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5063 ; GFX10-WGP-NEXT:    s_endpgm
5064 ;
5065 ; GFX10-CU-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5066 ; GFX10-CU:       ; %bb.0: ; %entry
5067 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
5068 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
5069 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
5070 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5071 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5072 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
5073 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
5074 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5075 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5076 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5077 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5078 ; GFX10-CU-NEXT:    s_endpgm
5079 ;
5080 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5081 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5082 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
5083 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
5084 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
5085 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5086 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5087 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5088 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5089 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5090 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5091 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5092 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5093 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5094 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5095 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5096 ;
5097 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5098 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5099 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5100 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5101 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5102 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5103 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5104 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5105 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5106 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5107 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5108 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5109 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5110 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5111 ;
5112 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5113 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5114 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5115 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5116 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5117 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5118 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5119 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5120 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5121 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5122 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5123 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5124 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5125 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5126 ;
5127 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5128 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5129 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5130 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5131 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5132 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5133 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5134 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5135 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5136 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5137 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5138 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5139 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5140 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5141 ;
5142 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5143 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5144 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5145 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5146 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5147 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5148 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5149 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5150 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5151 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5152 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5153 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5154 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5155 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5156 ;
5157 ; GFX11-WGP-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5158 ; GFX11-WGP:       ; %bb.0: ; %entry
5159 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5160 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5161 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5162 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5163 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5164 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
5165 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
5166 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5167 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5168 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5169 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5170 ; GFX11-WGP-NEXT:    s_endpgm
5171 ;
5172 ; GFX11-CU-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5173 ; GFX11-CU:       ; %bb.0: ; %entry
5174 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5175 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5176 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5177 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5178 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5179 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
5180 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
5181 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5182 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5183 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5184 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5185 ; GFX11-CU-NEXT:    s_endpgm
5186 ;
5187 ; GFX12-WGP-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5188 ; GFX12-WGP:       ; %bb.0: ; %entry
5189 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5190 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5191 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5192 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
5193 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5194 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
5195 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
5196 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5197 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5198 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
5199 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
5200 ; GFX12-WGP-NEXT:    s_endpgm
5201 ;
5202 ; GFX12-CU-LABEL: local_singlethread_monotonic_monotonic_ret_cmpxchg:
5203 ; GFX12-CU:       ; %bb.0: ; %entry
5204 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5205 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5206 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5207 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
5208 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5209 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
5210 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
5211 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5212 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5213 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
5214 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
5215 ; GFX12-CU-NEXT:    s_endpgm
5216     ptr addrspace(3) %out, i32 %in, i32 %old) {
5217 entry:
5218   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5219   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic monotonic
5220   %val0 = extractvalue { i32, i1 } %val, 0
5221   store i32 %val0, ptr addrspace(3) %out, align 4
5222   ret void
5223 }
5224
5225 define amdgpu_kernel void @local_singlethread_acquire_monotonic_ret_cmpxchg(
5226 ; GFX6-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5227 ; GFX6:       ; %bb.0: ; %entry
5228 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
5229 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
5230 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
5231 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
5232 ; GFX6-NEXT:    s_mov_b32 m0, -1
5233 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5234 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5235 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
5236 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
5237 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5238 ; GFX6-NEXT:    s_mov_b32 m0, -1
5239 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5240 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5241 ; GFX6-NEXT:    ds_write_b32 v0, v1
5242 ; GFX6-NEXT:    s_endpgm
5243 ;
5244 ; GFX7-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5245 ; GFX7:       ; %bb.0: ; %entry
5246 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
5247 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
5248 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
5249 ; GFX7-NEXT:    s_mov_b32 m0, -1
5250 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5251 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5252 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
5253 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
5254 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5255 ; GFX7-NEXT:    s_mov_b32 m0, -1
5256 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5257 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5258 ; GFX7-NEXT:    ds_write_b32 v0, v1
5259 ; GFX7-NEXT:    s_endpgm
5260 ;
5261 ; GFX10-WGP-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5262 ; GFX10-WGP:       ; %bb.0: ; %entry
5263 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
5264 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
5265 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
5266 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5267 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5268 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
5269 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
5270 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5271 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5272 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5273 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5274 ; GFX10-WGP-NEXT:    s_endpgm
5275 ;
5276 ; GFX10-CU-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5277 ; GFX10-CU:       ; %bb.0: ; %entry
5278 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
5279 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
5280 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
5281 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5282 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5283 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
5284 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
5285 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5286 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5287 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5288 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5289 ; GFX10-CU-NEXT:    s_endpgm
5290 ;
5291 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5292 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5293 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
5294 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
5295 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
5296 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5297 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5298 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5299 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5300 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5301 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5302 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5303 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5304 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5305 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5306 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5307 ;
5308 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5309 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5310 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5311 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5312 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5313 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5314 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5315 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5316 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5317 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5318 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5319 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5320 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5321 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5322 ;
5323 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5324 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5325 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5326 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5327 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5328 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5329 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5330 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5331 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5332 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5333 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5334 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5335 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5336 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5337 ;
5338 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5339 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5340 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5341 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5342 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5343 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5344 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5345 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5346 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5347 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5348 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5349 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5350 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5351 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5352 ;
5353 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5354 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5355 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5356 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5357 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5358 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5359 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5360 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5361 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5362 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5363 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5364 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5365 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5366 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5367 ;
5368 ; GFX11-WGP-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5369 ; GFX11-WGP:       ; %bb.0: ; %entry
5370 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5371 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5372 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5373 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5374 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5375 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
5376 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
5377 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5378 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5379 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5380 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5381 ; GFX11-WGP-NEXT:    s_endpgm
5382 ;
5383 ; GFX11-CU-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5384 ; GFX11-CU:       ; %bb.0: ; %entry
5385 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5386 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5387 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5388 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5389 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5390 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
5391 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
5392 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5393 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5394 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5395 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5396 ; GFX11-CU-NEXT:    s_endpgm
5397 ;
5398 ; GFX12-WGP-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5399 ; GFX12-WGP:       ; %bb.0: ; %entry
5400 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5401 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5402 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5403 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
5404 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5405 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
5406 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
5407 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5408 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5409 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
5410 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
5411 ; GFX12-WGP-NEXT:    s_endpgm
5412 ;
5413 ; GFX12-CU-LABEL: local_singlethread_acquire_monotonic_ret_cmpxchg:
5414 ; GFX12-CU:       ; %bb.0: ; %entry
5415 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5416 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5417 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5418 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
5419 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5420 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
5421 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
5422 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5423 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5424 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
5425 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
5426 ; GFX12-CU-NEXT:    s_endpgm
5427     ptr addrspace(3) %out, i32 %in, i32 %old) {
5428 entry:
5429   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5430   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire monotonic
5431   %val0 = extractvalue { i32, i1 } %val, 0
5432   store i32 %val0, ptr addrspace(3) %out, align 4
5433   ret void
5434 }
5435
5436 define amdgpu_kernel void @local_singlethread_release_monotonic_ret_cmpxchg(
5437 ; GFX6-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5438 ; GFX6:       ; %bb.0: ; %entry
5439 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
5440 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
5441 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
5442 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
5443 ; GFX6-NEXT:    s_mov_b32 m0, -1
5444 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5445 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5446 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
5447 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
5448 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5449 ; GFX6-NEXT:    s_mov_b32 m0, -1
5450 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5451 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5452 ; GFX6-NEXT:    ds_write_b32 v0, v1
5453 ; GFX6-NEXT:    s_endpgm
5454 ;
5455 ; GFX7-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5456 ; GFX7:       ; %bb.0: ; %entry
5457 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
5458 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
5459 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
5460 ; GFX7-NEXT:    s_mov_b32 m0, -1
5461 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5462 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5463 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
5464 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
5465 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5466 ; GFX7-NEXT:    s_mov_b32 m0, -1
5467 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5468 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5469 ; GFX7-NEXT:    ds_write_b32 v0, v1
5470 ; GFX7-NEXT:    s_endpgm
5471 ;
5472 ; GFX10-WGP-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5473 ; GFX10-WGP:       ; %bb.0: ; %entry
5474 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
5475 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
5476 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
5477 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5478 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5479 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
5480 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
5481 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5482 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5483 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5484 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5485 ; GFX10-WGP-NEXT:    s_endpgm
5486 ;
5487 ; GFX10-CU-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5488 ; GFX10-CU:       ; %bb.0: ; %entry
5489 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
5490 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
5491 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
5492 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5493 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5494 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
5495 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
5496 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5497 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5498 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5499 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5500 ; GFX10-CU-NEXT:    s_endpgm
5501 ;
5502 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5503 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5504 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
5505 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
5506 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
5507 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5508 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5509 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5510 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5511 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5512 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5513 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5514 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5515 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5516 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5517 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5518 ;
5519 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5520 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5521 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5522 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5523 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5524 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5525 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5526 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5527 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5528 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5529 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5530 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5531 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5532 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5533 ;
5534 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5535 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5536 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5537 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5538 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5539 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5540 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5541 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5542 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5543 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5544 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5545 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5546 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5547 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5548 ;
5549 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5550 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5551 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5552 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5553 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5554 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5555 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5556 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5557 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5558 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5559 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5560 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5561 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5562 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5563 ;
5564 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5565 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5566 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5567 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5568 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5569 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5570 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5571 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5572 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5573 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5574 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5575 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5576 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5577 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5578 ;
5579 ; GFX11-WGP-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5580 ; GFX11-WGP:       ; %bb.0: ; %entry
5581 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5582 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5583 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5584 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5585 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5586 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
5587 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
5588 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5589 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5590 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5591 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5592 ; GFX11-WGP-NEXT:    s_endpgm
5593 ;
5594 ; GFX11-CU-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5595 ; GFX11-CU:       ; %bb.0: ; %entry
5596 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5597 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5598 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5599 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5600 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5601 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
5602 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
5603 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5604 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5605 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5606 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5607 ; GFX11-CU-NEXT:    s_endpgm
5608 ;
5609 ; GFX12-WGP-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5610 ; GFX12-WGP:       ; %bb.0: ; %entry
5611 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5612 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5613 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5614 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
5615 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5616 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
5617 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
5618 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5619 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5620 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
5621 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
5622 ; GFX12-WGP-NEXT:    s_endpgm
5623 ;
5624 ; GFX12-CU-LABEL: local_singlethread_release_monotonic_ret_cmpxchg:
5625 ; GFX12-CU:       ; %bb.0: ; %entry
5626 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5627 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5628 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5629 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
5630 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5631 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
5632 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
5633 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5634 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5635 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
5636 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
5637 ; GFX12-CU-NEXT:    s_endpgm
5638     ptr addrspace(3) %out, i32 %in, i32 %old) {
5639 entry:
5640   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5641   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release monotonic
5642   %val0 = extractvalue { i32, i1 } %val, 0
5643   store i32 %val0, ptr addrspace(3) %out, align 4
5644   ret void
5645 }
5646
5647 define amdgpu_kernel void @local_singlethread_acq_rel_monotonic_ret_cmpxchg(
5648 ; GFX6-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5649 ; GFX6:       ; %bb.0: ; %entry
5650 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
5651 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
5652 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
5653 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
5654 ; GFX6-NEXT:    s_mov_b32 m0, -1
5655 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5656 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5657 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
5658 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
5659 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5660 ; GFX6-NEXT:    s_mov_b32 m0, -1
5661 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5662 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5663 ; GFX6-NEXT:    ds_write_b32 v0, v1
5664 ; GFX6-NEXT:    s_endpgm
5665 ;
5666 ; GFX7-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5667 ; GFX7:       ; %bb.0: ; %entry
5668 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
5669 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
5670 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
5671 ; GFX7-NEXT:    s_mov_b32 m0, -1
5672 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5673 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5674 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
5675 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
5676 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5677 ; GFX7-NEXT:    s_mov_b32 m0, -1
5678 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5679 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5680 ; GFX7-NEXT:    ds_write_b32 v0, v1
5681 ; GFX7-NEXT:    s_endpgm
5682 ;
5683 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5684 ; GFX10-WGP:       ; %bb.0: ; %entry
5685 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
5686 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
5687 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
5688 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5689 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5690 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
5691 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
5692 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5693 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5694 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5695 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5696 ; GFX10-WGP-NEXT:    s_endpgm
5697 ;
5698 ; GFX10-CU-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5699 ; GFX10-CU:       ; %bb.0: ; %entry
5700 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
5701 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
5702 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
5703 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5704 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5705 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
5706 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
5707 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5708 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5709 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5710 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5711 ; GFX10-CU-NEXT:    s_endpgm
5712 ;
5713 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5714 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5715 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
5716 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
5717 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
5718 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5719 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5720 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5721 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5722 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5723 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5724 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5725 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5726 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5727 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5728 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5729 ;
5730 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5731 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5732 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5733 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5734 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5735 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5736 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5737 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5738 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5739 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5740 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5741 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5742 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5743 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5744 ;
5745 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5746 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5747 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5748 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5749 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5750 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5751 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5752 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5753 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5754 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5755 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5756 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5757 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5758 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5759 ;
5760 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5761 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5762 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5763 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5764 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5765 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5766 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5767 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5768 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5769 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5770 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5771 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5772 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5773 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5774 ;
5775 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5776 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5777 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5778 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5779 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5780 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5781 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5782 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5783 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5784 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5785 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5786 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5787 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5788 ; GFX940-TGSPLIT-NEXT:    s_endpgm
5789 ;
5790 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5791 ; GFX11-WGP:       ; %bb.0: ; %entry
5792 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5793 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5794 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5795 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5796 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5797 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
5798 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
5799 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5800 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
5801 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5802 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
5803 ; GFX11-WGP-NEXT:    s_endpgm
5804 ;
5805 ; GFX11-CU-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5806 ; GFX11-CU:       ; %bb.0: ; %entry
5807 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5808 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5809 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5810 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5811 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5812 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
5813 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
5814 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5815 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
5816 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
5817 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
5818 ; GFX11-CU-NEXT:    s_endpgm
5819 ;
5820 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5821 ; GFX12-WGP:       ; %bb.0: ; %entry
5822 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
5823 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
5824 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
5825 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
5826 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5827 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
5828 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
5829 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5830 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
5831 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
5832 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
5833 ; GFX12-WGP-NEXT:    s_endpgm
5834 ;
5835 ; GFX12-CU-LABEL: local_singlethread_acq_rel_monotonic_ret_cmpxchg:
5836 ; GFX12-CU:       ; %bb.0: ; %entry
5837 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
5838 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
5839 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
5840 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
5841 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5842 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
5843 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
5844 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
5845 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
5846 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
5847 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
5848 ; GFX12-CU-NEXT:    s_endpgm
5849     ptr addrspace(3) %out, i32 %in, i32 %old) {
5850 entry:
5851   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
5852   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel monotonic
5853   %val0 = extractvalue { i32, i1 } %val, 0
5854   store i32 %val0, ptr addrspace(3) %out, align 4
5855   ret void
5856 }
5857
5858 define amdgpu_kernel void @local_singlethread_seq_cst_monotonic_ret_cmpxchg(
5859 ; GFX6-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5860 ; GFX6:       ; %bb.0: ; %entry
5861 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
5862 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
5863 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
5864 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
5865 ; GFX6-NEXT:    s_mov_b32 m0, -1
5866 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5867 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5868 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
5869 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
5870 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5871 ; GFX6-NEXT:    s_mov_b32 m0, -1
5872 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
5873 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
5874 ; GFX6-NEXT:    ds_write_b32 v0, v1
5875 ; GFX6-NEXT:    s_endpgm
5876 ;
5877 ; GFX7-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5878 ; GFX7:       ; %bb.0: ; %entry
5879 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
5880 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
5881 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
5882 ; GFX7-NEXT:    s_mov_b32 m0, -1
5883 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5884 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5885 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
5886 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
5887 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5888 ; GFX7-NEXT:    s_mov_b32 m0, -1
5889 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5890 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5891 ; GFX7-NEXT:    ds_write_b32 v0, v1
5892 ; GFX7-NEXT:    s_endpgm
5893 ;
5894 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5895 ; GFX10-WGP:       ; %bb.0: ; %entry
5896 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
5897 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
5898 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
5899 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5900 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5901 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
5902 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
5903 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5904 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
5905 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
5906 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
5907 ; GFX10-WGP-NEXT:    s_endpgm
5908 ;
5909 ; GFX10-CU-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5910 ; GFX10-CU:       ; %bb.0: ; %entry
5911 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
5912 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
5913 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
5914 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5915 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5916 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
5917 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
5918 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5919 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
5920 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
5921 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
5922 ; GFX10-CU-NEXT:    s_endpgm
5923 ;
5924 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5925 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
5926 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
5927 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
5928 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
5929 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5930 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5931 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5932 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
5933 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
5934 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5935 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
5936 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
5937 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
5938 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
5939 ; SKIP-CACHE-INV-NEXT:    s_endpgm
5940 ;
5941 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5942 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
5943 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5944 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5945 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5946 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5947 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5948 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5949 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5950 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5951 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5952 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5953 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5954 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
5955 ;
5956 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5957 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
5958 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
5959 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
5960 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
5961 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5962 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5963 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
5964 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
5965 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5966 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
5967 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5968 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5969 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
5970 ;
5971 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5972 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
5973 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5974 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5975 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5976 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5977 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5978 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5979 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5980 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5981 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5982 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5983 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
5984 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
5985 ;
5986 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
5987 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
5988 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
5989 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
5990 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
5991 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5992 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5993 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
5994 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
5995 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
5996 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
5997 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
5998 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
5999 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6000 ;
6001 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
6002 ; GFX11-WGP:       ; %bb.0: ; %entry
6003 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6004 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6005 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6006 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6007 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6008 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
6009 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
6010 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6011 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6012 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6013 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6014 ; GFX11-WGP-NEXT:    s_endpgm
6015 ;
6016 ; GFX11-CU-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
6017 ; GFX11-CU:       ; %bb.0: ; %entry
6018 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6019 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6020 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6021 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6022 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6023 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
6024 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
6025 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6026 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6027 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6028 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6029 ; GFX11-CU-NEXT:    s_endpgm
6030 ;
6031 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
6032 ; GFX12-WGP:       ; %bb.0: ; %entry
6033 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6034 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6035 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6036 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
6037 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6038 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
6039 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
6040 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6041 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6042 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
6043 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
6044 ; GFX12-WGP-NEXT:    s_endpgm
6045 ;
6046 ; GFX12-CU-LABEL: local_singlethread_seq_cst_monotonic_ret_cmpxchg:
6047 ; GFX12-CU:       ; %bb.0: ; %entry
6048 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6049 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6050 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6051 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
6052 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6053 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
6054 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
6055 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6056 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6057 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
6058 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
6059 ; GFX12-CU-NEXT:    s_endpgm
6060     ptr addrspace(3) %out, i32 %in, i32 %old) {
6061 entry:
6062   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6063   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst monotonic
6064   %val0 = extractvalue { i32, i1 } %val, 0
6065   store i32 %val0, ptr addrspace(3) %out, align 4
6066   ret void
6067 }
6068
6069 define amdgpu_kernel void @local_singlethread_monotonic_acquire_ret_cmpxchg(
6070 ; GFX6-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6071 ; GFX6:       ; %bb.0: ; %entry
6072 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
6073 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
6074 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
6075 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
6076 ; GFX6-NEXT:    s_mov_b32 m0, -1
6077 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6078 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6079 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
6080 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
6081 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6082 ; GFX6-NEXT:    s_mov_b32 m0, -1
6083 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6084 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6085 ; GFX6-NEXT:    ds_write_b32 v0, v1
6086 ; GFX6-NEXT:    s_endpgm
6087 ;
6088 ; GFX7-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6089 ; GFX7:       ; %bb.0: ; %entry
6090 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
6091 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
6092 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
6093 ; GFX7-NEXT:    s_mov_b32 m0, -1
6094 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6095 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6096 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
6097 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
6098 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6099 ; GFX7-NEXT:    s_mov_b32 m0, -1
6100 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6101 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6102 ; GFX7-NEXT:    ds_write_b32 v0, v1
6103 ; GFX7-NEXT:    s_endpgm
6104 ;
6105 ; GFX10-WGP-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6106 ; GFX10-WGP:       ; %bb.0: ; %entry
6107 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
6108 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
6109 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
6110 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6111 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6112 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
6113 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
6114 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6115 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6116 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6117 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6118 ; GFX10-WGP-NEXT:    s_endpgm
6119 ;
6120 ; GFX10-CU-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6121 ; GFX10-CU:       ; %bb.0: ; %entry
6122 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
6123 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
6124 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
6125 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6126 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6127 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
6128 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
6129 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6130 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6131 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6132 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6133 ; GFX10-CU-NEXT:    s_endpgm
6134 ;
6135 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6136 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6137 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
6138 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
6139 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
6140 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6141 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6142 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6143 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6144 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6145 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6146 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6147 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6148 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6149 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6150 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6151 ;
6152 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6153 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6154 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6155 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6156 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6157 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6158 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6159 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6160 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6161 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6162 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6163 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6164 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6165 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6166 ;
6167 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6168 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6169 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6170 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6171 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6172 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6173 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6174 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6175 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6176 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6177 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6178 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6179 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6180 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6181 ;
6182 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6183 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6184 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6185 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6186 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6187 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6188 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6189 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6190 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6191 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6192 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6193 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6194 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6195 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6196 ;
6197 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6198 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6199 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6200 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6201 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6202 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6203 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6204 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6205 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6206 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6207 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6208 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6209 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6210 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6211 ;
6212 ; GFX11-WGP-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6213 ; GFX11-WGP:       ; %bb.0: ; %entry
6214 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6215 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6216 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6217 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6218 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6219 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
6220 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
6221 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6222 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6223 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6224 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6225 ; GFX11-WGP-NEXT:    s_endpgm
6226 ;
6227 ; GFX11-CU-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6228 ; GFX11-CU:       ; %bb.0: ; %entry
6229 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6230 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6231 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6232 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6233 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6234 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
6235 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
6236 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6237 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6238 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6239 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6240 ; GFX11-CU-NEXT:    s_endpgm
6241 ;
6242 ; GFX12-WGP-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6243 ; GFX12-WGP:       ; %bb.0: ; %entry
6244 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6245 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6246 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6247 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
6248 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6249 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
6250 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
6251 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6252 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6253 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
6254 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
6255 ; GFX12-WGP-NEXT:    s_endpgm
6256 ;
6257 ; GFX12-CU-LABEL: local_singlethread_monotonic_acquire_ret_cmpxchg:
6258 ; GFX12-CU:       ; %bb.0: ; %entry
6259 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6260 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6261 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6262 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
6263 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6264 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
6265 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
6266 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6267 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6268 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
6269 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
6270 ; GFX12-CU-NEXT:    s_endpgm
6271     ptr addrspace(3) %out, i32 %in, i32 %old) {
6272 entry:
6273   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6274   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic acquire
6275   %val0 = extractvalue { i32, i1 } %val, 0
6276   store i32 %val0, ptr addrspace(3) %out, align 4
6277   ret void
6278 }
6279
6280 define amdgpu_kernel void @local_singlethread_acquire_acquire_ret_cmpxchg(
6281 ; GFX6-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6282 ; GFX6:       ; %bb.0: ; %entry
6283 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
6284 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
6285 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
6286 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
6287 ; GFX6-NEXT:    s_mov_b32 m0, -1
6288 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6289 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6290 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
6291 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
6292 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6293 ; GFX6-NEXT:    s_mov_b32 m0, -1
6294 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6295 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6296 ; GFX6-NEXT:    ds_write_b32 v0, v1
6297 ; GFX6-NEXT:    s_endpgm
6298 ;
6299 ; GFX7-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6300 ; GFX7:       ; %bb.0: ; %entry
6301 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
6302 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
6303 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
6304 ; GFX7-NEXT:    s_mov_b32 m0, -1
6305 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6306 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6307 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
6308 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
6309 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6310 ; GFX7-NEXT:    s_mov_b32 m0, -1
6311 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6312 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6313 ; GFX7-NEXT:    ds_write_b32 v0, v1
6314 ; GFX7-NEXT:    s_endpgm
6315 ;
6316 ; GFX10-WGP-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6317 ; GFX10-WGP:       ; %bb.0: ; %entry
6318 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
6319 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
6320 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
6321 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6322 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6323 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
6324 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
6325 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6326 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6327 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6328 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6329 ; GFX10-WGP-NEXT:    s_endpgm
6330 ;
6331 ; GFX10-CU-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6332 ; GFX10-CU:       ; %bb.0: ; %entry
6333 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
6334 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
6335 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
6336 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6337 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6338 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
6339 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
6340 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6341 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6342 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6343 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6344 ; GFX10-CU-NEXT:    s_endpgm
6345 ;
6346 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6347 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6348 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
6349 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
6350 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
6351 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6352 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6353 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6354 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6355 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6356 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6357 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6358 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6359 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6360 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6361 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6362 ;
6363 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6364 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6365 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6366 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6367 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6368 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6369 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6370 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6371 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6372 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6373 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6374 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6375 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6376 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6377 ;
6378 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6379 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6380 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6381 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6382 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6383 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6384 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6385 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6386 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6387 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6388 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6389 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6390 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6391 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6392 ;
6393 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6394 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6395 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6396 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6397 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6398 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6399 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6400 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6401 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6402 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6403 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6404 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6405 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6406 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6407 ;
6408 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6409 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6410 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6411 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6412 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6413 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6414 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6415 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6416 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6417 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6418 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6419 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6420 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6421 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6422 ;
6423 ; GFX11-WGP-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6424 ; GFX11-WGP:       ; %bb.0: ; %entry
6425 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6426 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6427 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6428 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6429 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6430 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
6431 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
6432 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6433 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6434 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6435 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6436 ; GFX11-WGP-NEXT:    s_endpgm
6437 ;
6438 ; GFX11-CU-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6439 ; GFX11-CU:       ; %bb.0: ; %entry
6440 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6441 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6442 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6443 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6444 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6445 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
6446 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
6447 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6448 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6449 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6450 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6451 ; GFX11-CU-NEXT:    s_endpgm
6452 ;
6453 ; GFX12-WGP-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6454 ; GFX12-WGP:       ; %bb.0: ; %entry
6455 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6456 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6457 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6458 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
6459 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6460 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
6461 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
6462 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6463 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6464 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
6465 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
6466 ; GFX12-WGP-NEXT:    s_endpgm
6467 ;
6468 ; GFX12-CU-LABEL: local_singlethread_acquire_acquire_ret_cmpxchg:
6469 ; GFX12-CU:       ; %bb.0: ; %entry
6470 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6471 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6472 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6473 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
6474 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6475 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
6476 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
6477 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6478 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6479 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
6480 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
6481 ; GFX12-CU-NEXT:    s_endpgm
6482     ptr addrspace(3) %out, i32 %in, i32 %old) {
6483 entry:
6484   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6485   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire acquire
6486   %val0 = extractvalue { i32, i1 } %val, 0
6487   store i32 %val0, ptr addrspace(3) %out, align 4
6488   ret void
6489 }
6490
6491 define amdgpu_kernel void @local_singlethread_release_acquire_ret_cmpxchg(
6492 ; GFX6-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6493 ; GFX6:       ; %bb.0: ; %entry
6494 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
6495 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
6496 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
6497 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
6498 ; GFX6-NEXT:    s_mov_b32 m0, -1
6499 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6500 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6501 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
6502 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
6503 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6504 ; GFX6-NEXT:    s_mov_b32 m0, -1
6505 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6506 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6507 ; GFX6-NEXT:    ds_write_b32 v0, v1
6508 ; GFX6-NEXT:    s_endpgm
6509 ;
6510 ; GFX7-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6511 ; GFX7:       ; %bb.0: ; %entry
6512 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
6513 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
6514 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
6515 ; GFX7-NEXT:    s_mov_b32 m0, -1
6516 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6517 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6518 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
6519 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
6520 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6521 ; GFX7-NEXT:    s_mov_b32 m0, -1
6522 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6523 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6524 ; GFX7-NEXT:    ds_write_b32 v0, v1
6525 ; GFX7-NEXT:    s_endpgm
6526 ;
6527 ; GFX10-WGP-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6528 ; GFX10-WGP:       ; %bb.0: ; %entry
6529 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
6530 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
6531 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
6532 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6533 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6534 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
6535 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
6536 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6537 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6538 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6539 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6540 ; GFX10-WGP-NEXT:    s_endpgm
6541 ;
6542 ; GFX10-CU-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6543 ; GFX10-CU:       ; %bb.0: ; %entry
6544 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
6545 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
6546 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
6547 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6548 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6549 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
6550 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
6551 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6552 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6553 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6554 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6555 ; GFX10-CU-NEXT:    s_endpgm
6556 ;
6557 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6558 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6559 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
6560 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
6561 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
6562 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6563 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6564 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6565 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6566 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6567 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6568 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6569 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6570 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6571 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6572 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6573 ;
6574 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6575 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6576 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6577 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6578 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6579 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6580 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6581 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6582 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6583 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6584 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6585 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6586 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6587 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6588 ;
6589 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6590 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6591 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6592 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6593 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6594 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6595 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6596 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6597 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6598 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6599 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6600 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6601 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6602 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6603 ;
6604 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6605 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6606 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6607 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6608 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6609 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6610 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6611 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6612 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6613 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6614 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6615 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6616 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6617 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6618 ;
6619 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6620 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6621 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6622 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6623 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6624 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6625 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6626 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6627 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6628 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6629 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6630 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6631 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6632 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6633 ;
6634 ; GFX11-WGP-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6635 ; GFX11-WGP:       ; %bb.0: ; %entry
6636 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6637 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6638 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6639 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6640 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6641 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
6642 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
6643 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6644 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6645 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6646 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6647 ; GFX11-WGP-NEXT:    s_endpgm
6648 ;
6649 ; GFX11-CU-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6650 ; GFX11-CU:       ; %bb.0: ; %entry
6651 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6652 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6653 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6654 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6655 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6656 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
6657 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
6658 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6659 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6660 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6661 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6662 ; GFX11-CU-NEXT:    s_endpgm
6663 ;
6664 ; GFX12-WGP-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6665 ; GFX12-WGP:       ; %bb.0: ; %entry
6666 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6667 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6668 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6669 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
6670 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6671 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
6672 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
6673 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6674 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6675 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
6676 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
6677 ; GFX12-WGP-NEXT:    s_endpgm
6678 ;
6679 ; GFX12-CU-LABEL: local_singlethread_release_acquire_ret_cmpxchg:
6680 ; GFX12-CU:       ; %bb.0: ; %entry
6681 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6682 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6683 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6684 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
6685 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6686 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
6687 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
6688 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6689 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6690 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
6691 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
6692 ; GFX12-CU-NEXT:    s_endpgm
6693     ptr addrspace(3) %out, i32 %in, i32 %old) {
6694 entry:
6695   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6696   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release acquire
6697   %val0 = extractvalue { i32, i1 } %val, 0
6698   store i32 %val0, ptr addrspace(3) %out, align 4
6699   ret void
6700 }
6701
6702 define amdgpu_kernel void @local_singlethread_acq_rel_acquire_ret_cmpxchg(
6703 ; GFX6-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6704 ; GFX6:       ; %bb.0: ; %entry
6705 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
6706 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
6707 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
6708 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
6709 ; GFX6-NEXT:    s_mov_b32 m0, -1
6710 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6711 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6712 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
6713 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
6714 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6715 ; GFX6-NEXT:    s_mov_b32 m0, -1
6716 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6717 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6718 ; GFX6-NEXT:    ds_write_b32 v0, v1
6719 ; GFX6-NEXT:    s_endpgm
6720 ;
6721 ; GFX7-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6722 ; GFX7:       ; %bb.0: ; %entry
6723 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
6724 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
6725 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
6726 ; GFX7-NEXT:    s_mov_b32 m0, -1
6727 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6728 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6729 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
6730 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
6731 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6732 ; GFX7-NEXT:    s_mov_b32 m0, -1
6733 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6734 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6735 ; GFX7-NEXT:    ds_write_b32 v0, v1
6736 ; GFX7-NEXT:    s_endpgm
6737 ;
6738 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6739 ; GFX10-WGP:       ; %bb.0: ; %entry
6740 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
6741 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
6742 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
6743 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6744 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6745 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
6746 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
6747 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6748 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6749 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6750 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6751 ; GFX10-WGP-NEXT:    s_endpgm
6752 ;
6753 ; GFX10-CU-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6754 ; GFX10-CU:       ; %bb.0: ; %entry
6755 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
6756 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
6757 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
6758 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6759 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6760 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
6761 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
6762 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6763 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6764 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6765 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6766 ; GFX10-CU-NEXT:    s_endpgm
6767 ;
6768 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6769 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6770 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
6771 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
6772 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
6773 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6774 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6775 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6776 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6777 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6778 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6779 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6780 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6781 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6782 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6783 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6784 ;
6785 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6786 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6787 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6788 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6789 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6790 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6791 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6792 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6793 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6794 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6795 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6796 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6797 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6798 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
6799 ;
6800 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6801 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
6802 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6803 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
6804 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
6805 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6806 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6807 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
6808 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
6809 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6810 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
6811 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6812 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6813 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
6814 ;
6815 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6816 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
6817 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6818 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6819 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6820 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6821 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6822 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6823 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6824 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6825 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6826 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6827 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
6828 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
6829 ;
6830 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6831 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
6832 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
6833 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
6834 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
6835 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6836 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6837 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
6838 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
6839 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6840 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
6841 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
6842 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
6843 ; GFX940-TGSPLIT-NEXT:    s_endpgm
6844 ;
6845 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6846 ; GFX11-WGP:       ; %bb.0: ; %entry
6847 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6848 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6849 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6850 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6851 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6852 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
6853 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
6854 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6855 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
6856 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6857 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
6858 ; GFX11-WGP-NEXT:    s_endpgm
6859 ;
6860 ; GFX11-CU-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6861 ; GFX11-CU:       ; %bb.0: ; %entry
6862 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6863 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6864 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6865 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6866 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6867 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
6868 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
6869 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6870 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
6871 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
6872 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
6873 ; GFX11-CU-NEXT:    s_endpgm
6874 ;
6875 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6876 ; GFX12-WGP:       ; %bb.0: ; %entry
6877 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
6878 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
6879 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
6880 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
6881 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6882 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
6883 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
6884 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6885 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
6886 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
6887 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
6888 ; GFX12-WGP-NEXT:    s_endpgm
6889 ;
6890 ; GFX12-CU-LABEL: local_singlethread_acq_rel_acquire_ret_cmpxchg:
6891 ; GFX12-CU:       ; %bb.0: ; %entry
6892 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
6893 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
6894 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
6895 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
6896 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6897 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
6898 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
6899 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
6900 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
6901 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
6902 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
6903 ; GFX12-CU-NEXT:    s_endpgm
6904     ptr addrspace(3) %out, i32 %in, i32 %old) {
6905 entry:
6906   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
6907   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel acquire
6908   %val0 = extractvalue { i32, i1 } %val, 0
6909   store i32 %val0, ptr addrspace(3) %out, align 4
6910   ret void
6911 }
6912
6913 define amdgpu_kernel void @local_singlethread_seq_cst_acquire_ret_cmpxchg(
6914 ; GFX6-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6915 ; GFX6:       ; %bb.0: ; %entry
6916 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
6917 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
6918 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
6919 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
6920 ; GFX6-NEXT:    s_mov_b32 m0, -1
6921 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6922 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6923 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
6924 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
6925 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6926 ; GFX6-NEXT:    s_mov_b32 m0, -1
6927 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
6928 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
6929 ; GFX6-NEXT:    ds_write_b32 v0, v1
6930 ; GFX6-NEXT:    s_endpgm
6931 ;
6932 ; GFX7-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6933 ; GFX7:       ; %bb.0: ; %entry
6934 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
6935 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
6936 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
6937 ; GFX7-NEXT:    s_mov_b32 m0, -1
6938 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6939 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6940 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
6941 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
6942 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6943 ; GFX7-NEXT:    s_mov_b32 m0, -1
6944 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6945 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6946 ; GFX7-NEXT:    ds_write_b32 v0, v1
6947 ; GFX7-NEXT:    s_endpgm
6948 ;
6949 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6950 ; GFX10-WGP:       ; %bb.0: ; %entry
6951 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
6952 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
6953 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
6954 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6955 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6956 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
6957 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
6958 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6959 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
6960 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
6961 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
6962 ; GFX10-WGP-NEXT:    s_endpgm
6963 ;
6964 ; GFX10-CU-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6965 ; GFX10-CU:       ; %bb.0: ; %entry
6966 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
6967 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
6968 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
6969 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6970 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6971 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
6972 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
6973 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6974 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
6975 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
6976 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
6977 ; GFX10-CU-NEXT:    s_endpgm
6978 ;
6979 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6980 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
6981 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
6982 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
6983 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
6984 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6985 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6986 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6987 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
6988 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
6989 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
6990 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
6991 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
6992 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
6993 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
6994 ; SKIP-CACHE-INV-NEXT:    s_endpgm
6995 ;
6996 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
6997 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
6998 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
6999 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7000 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7001 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7002 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7003 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7004 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7005 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7006 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7007 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7008 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7009 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7010 ;
7011 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7012 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7013 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7014 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7015 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7016 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7017 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7018 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7019 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7020 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7021 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7022 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7023 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7024 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7025 ;
7026 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7027 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7028 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7029 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7030 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7031 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7032 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7033 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7034 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7035 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7036 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7037 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7038 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7039 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7040 ;
7041 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7042 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7043 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7044 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7045 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7046 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7047 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7048 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7049 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7050 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7051 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7052 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7053 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7054 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7055 ;
7056 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7057 ; GFX11-WGP:       ; %bb.0: ; %entry
7058 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7059 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7060 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7061 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7062 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7063 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
7064 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
7065 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7066 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7067 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7068 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7069 ; GFX11-WGP-NEXT:    s_endpgm
7070 ;
7071 ; GFX11-CU-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7072 ; GFX11-CU:       ; %bb.0: ; %entry
7073 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7074 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7075 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7076 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7077 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7078 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
7079 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
7080 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7081 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7082 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7083 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7084 ; GFX11-CU-NEXT:    s_endpgm
7085 ;
7086 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7087 ; GFX12-WGP:       ; %bb.0: ; %entry
7088 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7089 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7090 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7091 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
7092 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7093 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
7094 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
7095 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7096 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7097 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
7098 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
7099 ; GFX12-WGP-NEXT:    s_endpgm
7100 ;
7101 ; GFX12-CU-LABEL: local_singlethread_seq_cst_acquire_ret_cmpxchg:
7102 ; GFX12-CU:       ; %bb.0: ; %entry
7103 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7104 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7105 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7106 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
7107 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7108 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
7109 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
7110 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7111 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7112 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
7113 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
7114 ; GFX12-CU-NEXT:    s_endpgm
7115     ptr addrspace(3) %out, i32 %in, i32 %old) {
7116 entry:
7117   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
7118   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst acquire
7119   %val0 = extractvalue { i32, i1 } %val, 0
7120   store i32 %val0, ptr addrspace(3) %out, align 4
7121   ret void
7122 }
7123
7124 define amdgpu_kernel void @local_singlethread_monotonic_seq_cst_ret_cmpxchg(
7125 ; GFX6-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7126 ; GFX6:       ; %bb.0: ; %entry
7127 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
7128 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
7129 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
7130 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
7131 ; GFX6-NEXT:    s_mov_b32 m0, -1
7132 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7133 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7134 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
7135 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
7136 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7137 ; GFX6-NEXT:    s_mov_b32 m0, -1
7138 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7139 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7140 ; GFX6-NEXT:    ds_write_b32 v0, v1
7141 ; GFX6-NEXT:    s_endpgm
7142 ;
7143 ; GFX7-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7144 ; GFX7:       ; %bb.0: ; %entry
7145 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
7146 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
7147 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
7148 ; GFX7-NEXT:    s_mov_b32 m0, -1
7149 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7150 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7151 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
7152 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
7153 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7154 ; GFX7-NEXT:    s_mov_b32 m0, -1
7155 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7156 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7157 ; GFX7-NEXT:    ds_write_b32 v0, v1
7158 ; GFX7-NEXT:    s_endpgm
7159 ;
7160 ; GFX10-WGP-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7161 ; GFX10-WGP:       ; %bb.0: ; %entry
7162 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
7163 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
7164 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
7165 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7166 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7167 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
7168 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
7169 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7170 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7171 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7172 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7173 ; GFX10-WGP-NEXT:    s_endpgm
7174 ;
7175 ; GFX10-CU-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7176 ; GFX10-CU:       ; %bb.0: ; %entry
7177 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
7178 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
7179 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
7180 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7181 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7182 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
7183 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
7184 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7185 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7186 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7187 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7188 ; GFX10-CU-NEXT:    s_endpgm
7189 ;
7190 ; SKIP-CACHE-INV-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7191 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7192 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
7193 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
7194 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
7195 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7196 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7197 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7198 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
7199 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
7200 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7201 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7202 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7203 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7204 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7205 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7206 ;
7207 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7208 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7209 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7210 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7211 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7212 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7213 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7214 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7215 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7216 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7217 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7218 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7219 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7220 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7221 ;
7222 ; GFX90A-TGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7223 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7224 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7225 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7226 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7227 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7228 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7229 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7230 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7231 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7232 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7233 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7234 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7235 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7236 ;
7237 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7238 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7239 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7240 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7241 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7242 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7243 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7244 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7245 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7246 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7247 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7248 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7249 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7250 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7251 ;
7252 ; GFX940-TGSPLIT-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7253 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7254 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7255 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7256 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7257 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7258 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7259 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7260 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7261 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7262 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7263 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7264 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7265 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7266 ;
7267 ; GFX11-WGP-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7268 ; GFX11-WGP:       ; %bb.0: ; %entry
7269 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7270 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7271 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7272 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7273 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7274 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
7275 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
7276 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7277 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7278 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7279 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7280 ; GFX11-WGP-NEXT:    s_endpgm
7281 ;
7282 ; GFX11-CU-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7283 ; GFX11-CU:       ; %bb.0: ; %entry
7284 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7285 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7286 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7287 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7288 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7289 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
7290 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
7291 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7292 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7293 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7294 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7295 ; GFX11-CU-NEXT:    s_endpgm
7296 ;
7297 ; GFX12-WGP-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7298 ; GFX12-WGP:       ; %bb.0: ; %entry
7299 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7300 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7301 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7302 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
7303 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7304 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
7305 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
7306 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7307 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7308 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
7309 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
7310 ; GFX12-WGP-NEXT:    s_endpgm
7311 ;
7312 ; GFX12-CU-LABEL: local_singlethread_monotonic_seq_cst_ret_cmpxchg:
7313 ; GFX12-CU:       ; %bb.0: ; %entry
7314 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7315 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7316 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7317 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
7318 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7319 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
7320 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
7321 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7322 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7323 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
7324 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
7325 ; GFX12-CU-NEXT:    s_endpgm
7326     ptr addrspace(3) %out, i32 %in, i32 %old) {
7327 entry:
7328   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
7329   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") monotonic seq_cst
7330   %val0 = extractvalue { i32, i1 } %val, 0
7331   store i32 %val0, ptr addrspace(3) %out, align 4
7332   ret void
7333 }
7334
7335 define amdgpu_kernel void @local_singlethread_acquire_seq_cst_ret_cmpxchg(
7336 ; GFX6-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7337 ; GFX6:       ; %bb.0: ; %entry
7338 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
7339 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
7340 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
7341 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
7342 ; GFX6-NEXT:    s_mov_b32 m0, -1
7343 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7344 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7345 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
7346 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
7347 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7348 ; GFX6-NEXT:    s_mov_b32 m0, -1
7349 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7350 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7351 ; GFX6-NEXT:    ds_write_b32 v0, v1
7352 ; GFX6-NEXT:    s_endpgm
7353 ;
7354 ; GFX7-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7355 ; GFX7:       ; %bb.0: ; %entry
7356 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
7357 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
7358 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
7359 ; GFX7-NEXT:    s_mov_b32 m0, -1
7360 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7361 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7362 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
7363 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
7364 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7365 ; GFX7-NEXT:    s_mov_b32 m0, -1
7366 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7367 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7368 ; GFX7-NEXT:    ds_write_b32 v0, v1
7369 ; GFX7-NEXT:    s_endpgm
7370 ;
7371 ; GFX10-WGP-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7372 ; GFX10-WGP:       ; %bb.0: ; %entry
7373 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
7374 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
7375 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
7376 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7377 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7378 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
7379 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
7380 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7381 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7382 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7383 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7384 ; GFX10-WGP-NEXT:    s_endpgm
7385 ;
7386 ; GFX10-CU-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7387 ; GFX10-CU:       ; %bb.0: ; %entry
7388 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
7389 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
7390 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
7391 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7392 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7393 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
7394 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
7395 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7396 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7397 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7398 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7399 ; GFX10-CU-NEXT:    s_endpgm
7400 ;
7401 ; SKIP-CACHE-INV-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7402 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7403 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
7404 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
7405 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
7406 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7407 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7408 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7409 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
7410 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
7411 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7412 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7413 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7414 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7415 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7416 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7417 ;
7418 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7419 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7420 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7421 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7422 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7423 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7424 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7425 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7426 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7427 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7428 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7429 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7430 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7431 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7432 ;
7433 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7434 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7435 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7436 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7437 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7438 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7439 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7440 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7441 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7442 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7443 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7444 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7445 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7446 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7447 ;
7448 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7449 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7450 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7451 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7452 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7453 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7454 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7455 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7456 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7457 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7458 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7459 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7460 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7461 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7462 ;
7463 ; GFX940-TGSPLIT-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7464 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7465 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7466 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7467 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7468 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7469 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7470 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7471 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7472 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7473 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7474 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7475 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7476 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7477 ;
7478 ; GFX11-WGP-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7479 ; GFX11-WGP:       ; %bb.0: ; %entry
7480 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7481 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7482 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7483 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7484 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7485 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
7486 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
7487 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7488 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7489 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7490 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7491 ; GFX11-WGP-NEXT:    s_endpgm
7492 ;
7493 ; GFX11-CU-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7494 ; GFX11-CU:       ; %bb.0: ; %entry
7495 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7496 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7497 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7498 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7499 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7500 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
7501 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
7502 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7503 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7504 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7505 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7506 ; GFX11-CU-NEXT:    s_endpgm
7507 ;
7508 ; GFX12-WGP-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7509 ; GFX12-WGP:       ; %bb.0: ; %entry
7510 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7511 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7512 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7513 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
7514 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7515 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
7516 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
7517 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7518 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7519 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
7520 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
7521 ; GFX12-WGP-NEXT:    s_endpgm
7522 ;
7523 ; GFX12-CU-LABEL: local_singlethread_acquire_seq_cst_ret_cmpxchg:
7524 ; GFX12-CU:       ; %bb.0: ; %entry
7525 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7526 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7527 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7528 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
7529 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7530 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
7531 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
7532 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7533 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7534 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
7535 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
7536 ; GFX12-CU-NEXT:    s_endpgm
7537     ptr addrspace(3) %out, i32 %in, i32 %old) {
7538 entry:
7539   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
7540   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acquire seq_cst
7541   %val0 = extractvalue { i32, i1 } %val, 0
7542   store i32 %val0, ptr addrspace(3) %out, align 4
7543   ret void
7544 }
7545
7546 define amdgpu_kernel void @local_singlethread_release_seq_cst_ret_cmpxchg(
7547 ; GFX6-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7548 ; GFX6:       ; %bb.0: ; %entry
7549 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
7550 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
7551 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
7552 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
7553 ; GFX6-NEXT:    s_mov_b32 m0, -1
7554 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7555 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7556 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
7557 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
7558 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7559 ; GFX6-NEXT:    s_mov_b32 m0, -1
7560 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7561 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7562 ; GFX6-NEXT:    ds_write_b32 v0, v1
7563 ; GFX6-NEXT:    s_endpgm
7564 ;
7565 ; GFX7-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7566 ; GFX7:       ; %bb.0: ; %entry
7567 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
7568 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
7569 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
7570 ; GFX7-NEXT:    s_mov_b32 m0, -1
7571 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7572 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7573 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
7574 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
7575 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7576 ; GFX7-NEXT:    s_mov_b32 m0, -1
7577 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7578 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7579 ; GFX7-NEXT:    ds_write_b32 v0, v1
7580 ; GFX7-NEXT:    s_endpgm
7581 ;
7582 ; GFX10-WGP-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7583 ; GFX10-WGP:       ; %bb.0: ; %entry
7584 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
7585 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
7586 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
7587 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7588 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7589 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
7590 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
7591 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7592 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7593 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7594 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7595 ; GFX10-WGP-NEXT:    s_endpgm
7596 ;
7597 ; GFX10-CU-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7598 ; GFX10-CU:       ; %bb.0: ; %entry
7599 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
7600 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
7601 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
7602 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7603 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7604 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
7605 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
7606 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7607 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7608 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7609 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7610 ; GFX10-CU-NEXT:    s_endpgm
7611 ;
7612 ; SKIP-CACHE-INV-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7613 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7614 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
7615 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
7616 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
7617 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7618 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7619 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7620 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
7621 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
7622 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7623 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7624 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7625 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7626 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7627 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7628 ;
7629 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7630 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7631 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7632 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7633 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7634 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7635 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7636 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7637 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7638 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7639 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7640 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7641 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7642 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7643 ;
7644 ; GFX90A-TGSPLIT-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7645 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7646 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7647 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7648 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7649 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7650 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7651 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7652 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7653 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7654 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7655 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7656 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7657 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7658 ;
7659 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7660 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7661 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7662 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7663 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7664 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7665 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7666 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7667 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7668 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7669 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7670 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7671 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7672 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7673 ;
7674 ; GFX940-TGSPLIT-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7675 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7676 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7677 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7678 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7679 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7680 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7681 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7682 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7683 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7684 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7685 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7686 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7687 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7688 ;
7689 ; GFX11-WGP-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7690 ; GFX11-WGP:       ; %bb.0: ; %entry
7691 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7692 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7693 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7694 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7695 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7696 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
7697 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
7698 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7699 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7700 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7701 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7702 ; GFX11-WGP-NEXT:    s_endpgm
7703 ;
7704 ; GFX11-CU-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7705 ; GFX11-CU:       ; %bb.0: ; %entry
7706 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7707 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7708 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7709 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7710 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7711 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
7712 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
7713 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7714 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7715 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7716 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7717 ; GFX11-CU-NEXT:    s_endpgm
7718 ;
7719 ; GFX12-WGP-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7720 ; GFX12-WGP:       ; %bb.0: ; %entry
7721 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7722 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7723 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7724 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
7725 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7726 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
7727 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
7728 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7729 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7730 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
7731 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
7732 ; GFX12-WGP-NEXT:    s_endpgm
7733 ;
7734 ; GFX12-CU-LABEL: local_singlethread_release_seq_cst_ret_cmpxchg:
7735 ; GFX12-CU:       ; %bb.0: ; %entry
7736 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7737 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7738 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7739 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
7740 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7741 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
7742 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
7743 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7744 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7745 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
7746 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
7747 ; GFX12-CU-NEXT:    s_endpgm
7748     ptr addrspace(3) %out, i32 %in, i32 %old) {
7749 entry:
7750   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
7751   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") release seq_cst
7752   %val0 = extractvalue { i32, i1 } %val, 0
7753   store i32 %val0, ptr addrspace(3) %out, align 4
7754   ret void
7755 }
7756
7757 define amdgpu_kernel void @local_singlethread_acq_rel_seq_cst_ret_cmpxchg(
7758 ; GFX6-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7759 ; GFX6:       ; %bb.0: ; %entry
7760 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
7761 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
7762 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
7763 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
7764 ; GFX6-NEXT:    s_mov_b32 m0, -1
7765 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7766 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7767 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
7768 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
7769 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7770 ; GFX6-NEXT:    s_mov_b32 m0, -1
7771 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7772 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7773 ; GFX6-NEXT:    ds_write_b32 v0, v1
7774 ; GFX6-NEXT:    s_endpgm
7775 ;
7776 ; GFX7-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7777 ; GFX7:       ; %bb.0: ; %entry
7778 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
7779 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
7780 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
7781 ; GFX7-NEXT:    s_mov_b32 m0, -1
7782 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7783 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7784 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
7785 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
7786 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7787 ; GFX7-NEXT:    s_mov_b32 m0, -1
7788 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7789 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7790 ; GFX7-NEXT:    ds_write_b32 v0, v1
7791 ; GFX7-NEXT:    s_endpgm
7792 ;
7793 ; GFX10-WGP-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7794 ; GFX10-WGP:       ; %bb.0: ; %entry
7795 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
7796 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
7797 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
7798 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7799 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7800 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
7801 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
7802 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7803 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
7804 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7805 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
7806 ; GFX10-WGP-NEXT:    s_endpgm
7807 ;
7808 ; GFX10-CU-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7809 ; GFX10-CU:       ; %bb.0: ; %entry
7810 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
7811 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
7812 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
7813 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7814 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7815 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
7816 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
7817 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7818 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
7819 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
7820 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
7821 ; GFX10-CU-NEXT:    s_endpgm
7822 ;
7823 ; SKIP-CACHE-INV-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7824 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
7825 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
7826 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
7827 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
7828 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7829 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7830 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7831 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
7832 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
7833 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7834 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
7835 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
7836 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
7837 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
7838 ; SKIP-CACHE-INV-NEXT:    s_endpgm
7839 ;
7840 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7841 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
7842 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7843 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7844 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7845 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7846 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7847 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7848 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7849 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7850 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7851 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7852 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7853 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
7854 ;
7855 ; GFX90A-TGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7856 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
7857 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
7858 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
7859 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
7860 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7861 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7862 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
7863 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
7864 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7865 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
7866 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7867 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7868 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
7869 ;
7870 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7871 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
7872 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7873 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7874 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7875 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7876 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7877 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7878 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7879 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7880 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7881 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7882 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
7883 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
7884 ;
7885 ; GFX940-TGSPLIT-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7886 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
7887 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
7888 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
7889 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
7890 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7891 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7892 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
7893 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
7894 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7895 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
7896 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
7897 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
7898 ; GFX940-TGSPLIT-NEXT:    s_endpgm
7899 ;
7900 ; GFX11-WGP-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7901 ; GFX11-WGP:       ; %bb.0: ; %entry
7902 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7903 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7904 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7905 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7906 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7907 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
7908 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
7909 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7910 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
7911 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
7912 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
7913 ; GFX11-WGP-NEXT:    s_endpgm
7914 ;
7915 ; GFX11-CU-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7916 ; GFX11-CU:       ; %bb.0: ; %entry
7917 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7918 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7919 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7920 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7921 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7922 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
7923 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
7924 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7925 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
7926 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
7927 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
7928 ; GFX11-CU-NEXT:    s_endpgm
7929 ;
7930 ; GFX12-WGP-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7931 ; GFX12-WGP:       ; %bb.0: ; %entry
7932 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
7933 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
7934 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
7935 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
7936 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7937 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
7938 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
7939 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7940 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
7941 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
7942 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
7943 ; GFX12-WGP-NEXT:    s_endpgm
7944 ;
7945 ; GFX12-CU-LABEL: local_singlethread_acq_rel_seq_cst_ret_cmpxchg:
7946 ; GFX12-CU:       ; %bb.0: ; %entry
7947 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
7948 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
7949 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
7950 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
7951 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7952 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
7953 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
7954 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
7955 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
7956 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
7957 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
7958 ; GFX12-CU-NEXT:    s_endpgm
7959     ptr addrspace(3) %out, i32 %in, i32 %old) {
7960 entry:
7961   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
7962   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") acq_rel seq_cst
7963   %val0 = extractvalue { i32, i1 } %val, 0
7964   store i32 %val0, ptr addrspace(3) %out, align 4
7965   ret void
7966 }
7967
7968 define amdgpu_kernel void @local_singlethread_seq_cst_seq_cst_ret_cmpxchg(
7969 ; GFX6-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
7970 ; GFX6:       ; %bb.0: ; %entry
7971 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
7972 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
7973 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
7974 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
7975 ; GFX6-NEXT:    s_mov_b32 m0, -1
7976 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7977 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7978 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
7979 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
7980 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7981 ; GFX6-NEXT:    s_mov_b32 m0, -1
7982 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
7983 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
7984 ; GFX6-NEXT:    ds_write_b32 v0, v1
7985 ; GFX6-NEXT:    s_endpgm
7986 ;
7987 ; GFX7-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
7988 ; GFX7:       ; %bb.0: ; %entry
7989 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
7990 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
7991 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
7992 ; GFX7-NEXT:    s_mov_b32 m0, -1
7993 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
7994 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
7995 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
7996 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
7997 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
7998 ; GFX7-NEXT:    s_mov_b32 m0, -1
7999 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
8000 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8001 ; GFX7-NEXT:    ds_write_b32 v0, v1
8002 ; GFX7-NEXT:    s_endpgm
8003 ;
8004 ; GFX10-WGP-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8005 ; GFX10-WGP:       ; %bb.0: ; %entry
8006 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
8007 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
8008 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
8009 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8010 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8011 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
8012 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
8013 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8014 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8015 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8016 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8017 ; GFX10-WGP-NEXT:    s_endpgm
8018 ;
8019 ; GFX10-CU-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8020 ; GFX10-CU:       ; %bb.0: ; %entry
8021 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
8022 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
8023 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
8024 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8025 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8026 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
8027 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
8028 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8029 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8030 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8031 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8032 ; GFX10-CU-NEXT:    s_endpgm
8033 ;
8034 ; SKIP-CACHE-INV-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8035 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8036 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
8037 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
8038 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
8039 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8040 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8041 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8042 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
8043 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
8044 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8045 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8046 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8047 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8048 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8049 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8050 ;
8051 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8052 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8053 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
8054 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
8055 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
8056 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8057 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8058 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
8059 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
8060 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8061 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8062 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8063 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8064 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8065 ;
8066 ; GFX90A-TGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8067 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8068 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
8069 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
8070 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
8071 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8072 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8073 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
8074 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
8075 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8076 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8077 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8078 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8079 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8080 ;
8081 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8082 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8083 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
8084 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
8085 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8086 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8087 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8088 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8089 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8090 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8091 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8092 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8093 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8094 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8095 ;
8096 ; GFX940-TGSPLIT-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8097 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8098 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
8099 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
8100 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
8101 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8102 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8103 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
8104 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
8105 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
8106 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8107 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8108 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8109 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8110 ;
8111 ; GFX11-WGP-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8112 ; GFX11-WGP:       ; %bb.0: ; %entry
8113 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
8114 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
8115 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
8116 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8117 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8118 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
8119 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
8120 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
8121 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8122 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8123 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8124 ; GFX11-WGP-NEXT:    s_endpgm
8125 ;
8126 ; GFX11-CU-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8127 ; GFX11-CU:       ; %bb.0: ; %entry
8128 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
8129 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
8130 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
8131 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8132 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8133 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
8134 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
8135 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
8136 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8137 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8138 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8139 ; GFX11-CU-NEXT:    s_endpgm
8140 ;
8141 ; GFX12-WGP-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8142 ; GFX12-WGP:       ; %bb.0: ; %entry
8143 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
8144 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
8145 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
8146 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8147 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8148 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
8149 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
8150 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
8151 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8152 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
8153 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8154 ; GFX12-WGP-NEXT:    s_endpgm
8155 ;
8156 ; GFX12-CU-LABEL: local_singlethread_seq_cst_seq_cst_ret_cmpxchg:
8157 ; GFX12-CU:       ; %bb.0: ; %entry
8158 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
8159 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
8160 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
8161 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8162 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8163 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
8164 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
8165 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
8166 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8167 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
8168 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8169 ; GFX12-CU-NEXT:    s_endpgm
8170     ptr addrspace(3) %out, i32 %in, i32 %old) {
8171 entry:
8172   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
8173   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread") seq_cst seq_cst
8174   %val0 = extractvalue { i32, i1 } %val, 0
8175   store i32 %val0, ptr addrspace(3) %out, align 4
8176   ret void
8177 }
8178
8179 define amdgpu_kernel void @local_singlethread_one_as_unordered_load(
8180 ; GFX6-LABEL: local_singlethread_one_as_unordered_load:
8181 ; GFX6:       ; %bb.0: ; %entry
8182 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
8183 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
8184 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
8185 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
8186 ; GFX6-NEXT:    s_mov_b32 m0, -1
8187 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8188 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
8189 ; GFX6-NEXT:    ds_read_b32 v1, v0
8190 ; GFX6-NEXT:    s_mov_b32 m0, -1
8191 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
8192 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8193 ; GFX6-NEXT:    ds_write_b32 v0, v1
8194 ; GFX6-NEXT:    s_endpgm
8195 ;
8196 ; GFX7-LABEL: local_singlethread_one_as_unordered_load:
8197 ; GFX7:       ; %bb.0: ; %entry
8198 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
8199 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
8200 ; GFX7-NEXT:    s_mov_b32 m0, -1
8201 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8202 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
8203 ; GFX7-NEXT:    ds_read_b32 v1, v0
8204 ; GFX7-NEXT:    s_mov_b32 m0, -1
8205 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
8206 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8207 ; GFX7-NEXT:    ds_write_b32 v0, v1
8208 ; GFX7-NEXT:    s_endpgm
8209 ;
8210 ; GFX10-WGP-LABEL: local_singlethread_one_as_unordered_load:
8211 ; GFX10-WGP:       ; %bb.0: ; %entry
8212 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
8213 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
8214 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8215 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
8216 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
8217 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8218 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8219 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8220 ; GFX10-WGP-NEXT:    s_endpgm
8221 ;
8222 ; GFX10-CU-LABEL: local_singlethread_one_as_unordered_load:
8223 ; GFX10-CU:       ; %bb.0: ; %entry
8224 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
8225 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
8226 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8227 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
8228 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
8229 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8230 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8231 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8232 ; GFX10-CU-NEXT:    s_endpgm
8233 ;
8234 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_unordered_load:
8235 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8236 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
8237 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
8238 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8239 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8240 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
8241 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
8242 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8243 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8244 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8245 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8246 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8247 ;
8248 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_unordered_load:
8249 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8250 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8251 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8252 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8253 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8254 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8255 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8256 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8257 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8258 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8259 ;
8260 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_unordered_load:
8261 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8262 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8263 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8264 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8265 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8266 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8267 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8268 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8269 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8270 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8271 ;
8272 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_unordered_load:
8273 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8274 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8275 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8276 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8277 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8278 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8279 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8280 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8281 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8282 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8283 ;
8284 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_unordered_load:
8285 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8286 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8287 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8288 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8289 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8290 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8291 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8292 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8293 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8294 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8295 ;
8296 ; GFX11-WGP-LABEL: local_singlethread_one_as_unordered_load:
8297 ; GFX11-WGP:       ; %bb.0: ; %entry
8298 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8299 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8300 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8301 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
8302 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
8303 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8304 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8305 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8306 ; GFX11-WGP-NEXT:    s_endpgm
8307 ;
8308 ; GFX11-CU-LABEL: local_singlethread_one_as_unordered_load:
8309 ; GFX11-CU:       ; %bb.0: ; %entry
8310 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8311 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8312 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8313 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
8314 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
8315 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8316 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8317 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8318 ; GFX11-CU-NEXT:    s_endpgm
8319 ;
8320 ; GFX12-WGP-LABEL: local_singlethread_one_as_unordered_load:
8321 ; GFX12-WGP:       ; %bb.0: ; %entry
8322 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8323 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8324 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8325 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
8326 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
8327 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8328 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
8329 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8330 ; GFX12-WGP-NEXT:    s_endpgm
8331 ;
8332 ; GFX12-CU-LABEL: local_singlethread_one_as_unordered_load:
8333 ; GFX12-CU:       ; %bb.0: ; %entry
8334 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8335 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8336 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8337 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
8338 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
8339 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8340 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
8341 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8342 ; GFX12-CU-NEXT:    s_endpgm
8343     ptr addrspace(3) %in, ptr addrspace(3) %out) {
8344 entry:
8345   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread-one-as") unordered, align 4
8346   store i32 %val, ptr addrspace(3) %out
8347   ret void
8348 }
8349
8350 define amdgpu_kernel void @local_singlethread_one_as_monotonic_load(
8351 ; GFX6-LABEL: local_singlethread_one_as_monotonic_load:
8352 ; GFX6:       ; %bb.0: ; %entry
8353 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
8354 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
8355 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
8356 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
8357 ; GFX6-NEXT:    s_mov_b32 m0, -1
8358 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8359 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
8360 ; GFX6-NEXT:    ds_read_b32 v1, v0
8361 ; GFX6-NEXT:    s_mov_b32 m0, -1
8362 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
8363 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8364 ; GFX6-NEXT:    ds_write_b32 v0, v1
8365 ; GFX6-NEXT:    s_endpgm
8366 ;
8367 ; GFX7-LABEL: local_singlethread_one_as_monotonic_load:
8368 ; GFX7:       ; %bb.0: ; %entry
8369 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
8370 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
8371 ; GFX7-NEXT:    s_mov_b32 m0, -1
8372 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8373 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
8374 ; GFX7-NEXT:    ds_read_b32 v1, v0
8375 ; GFX7-NEXT:    s_mov_b32 m0, -1
8376 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
8377 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8378 ; GFX7-NEXT:    ds_write_b32 v0, v1
8379 ; GFX7-NEXT:    s_endpgm
8380 ;
8381 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_load:
8382 ; GFX10-WGP:       ; %bb.0: ; %entry
8383 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
8384 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
8385 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8386 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
8387 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
8388 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8389 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8390 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8391 ; GFX10-WGP-NEXT:    s_endpgm
8392 ;
8393 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_load:
8394 ; GFX10-CU:       ; %bb.0: ; %entry
8395 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
8396 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
8397 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8398 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
8399 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
8400 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8401 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8402 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8403 ; GFX10-CU-NEXT:    s_endpgm
8404 ;
8405 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_load:
8406 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8407 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
8408 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
8409 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8410 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8411 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
8412 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
8413 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8414 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8415 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8416 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8417 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8418 ;
8419 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_load:
8420 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8421 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8422 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8423 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8424 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8425 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8426 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8427 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8428 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8429 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8430 ;
8431 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_load:
8432 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8433 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8434 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8435 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8436 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8437 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8438 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8439 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8440 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8441 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8442 ;
8443 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_load:
8444 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8445 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8446 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8447 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8448 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8449 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8450 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8451 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8452 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8453 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8454 ;
8455 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_load:
8456 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8457 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8458 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8459 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8460 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8461 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8462 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8463 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8464 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8465 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8466 ;
8467 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_load:
8468 ; GFX11-WGP:       ; %bb.0: ; %entry
8469 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8470 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8471 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8472 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
8473 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
8474 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8475 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8476 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8477 ; GFX11-WGP-NEXT:    s_endpgm
8478 ;
8479 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_load:
8480 ; GFX11-CU:       ; %bb.0: ; %entry
8481 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8482 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8483 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8484 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
8485 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
8486 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8487 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8488 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8489 ; GFX11-CU-NEXT:    s_endpgm
8490 ;
8491 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_load:
8492 ; GFX12-WGP:       ; %bb.0: ; %entry
8493 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8494 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8495 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8496 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
8497 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
8498 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8499 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
8500 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8501 ; GFX12-WGP-NEXT:    s_endpgm
8502 ;
8503 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_load:
8504 ; GFX12-CU:       ; %bb.0: ; %entry
8505 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8506 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8507 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8508 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
8509 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
8510 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8511 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
8512 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8513 ; GFX12-CU-NEXT:    s_endpgm
8514     ptr addrspace(3) %in, ptr addrspace(3) %out) {
8515 entry:
8516   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread-one-as") monotonic, align 4
8517   store i32 %val, ptr addrspace(3) %out
8518   ret void
8519 }
8520
8521 define amdgpu_kernel void @local_singlethread_one_as_acquire_load(
8522 ; GFX6-LABEL: local_singlethread_one_as_acquire_load:
8523 ; GFX6:       ; %bb.0: ; %entry
8524 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
8525 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
8526 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
8527 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
8528 ; GFX6-NEXT:    s_mov_b32 m0, -1
8529 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8530 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
8531 ; GFX6-NEXT:    ds_read_b32 v1, v0
8532 ; GFX6-NEXT:    s_mov_b32 m0, -1
8533 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
8534 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8535 ; GFX6-NEXT:    ds_write_b32 v0, v1
8536 ; GFX6-NEXT:    s_endpgm
8537 ;
8538 ; GFX7-LABEL: local_singlethread_one_as_acquire_load:
8539 ; GFX7:       ; %bb.0: ; %entry
8540 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
8541 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
8542 ; GFX7-NEXT:    s_mov_b32 m0, -1
8543 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8544 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
8545 ; GFX7-NEXT:    ds_read_b32 v1, v0
8546 ; GFX7-NEXT:    s_mov_b32 m0, -1
8547 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
8548 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8549 ; GFX7-NEXT:    ds_write_b32 v0, v1
8550 ; GFX7-NEXT:    s_endpgm
8551 ;
8552 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_load:
8553 ; GFX10-WGP:       ; %bb.0: ; %entry
8554 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
8555 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
8556 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8557 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
8558 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
8559 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8560 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8561 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8562 ; GFX10-WGP-NEXT:    s_endpgm
8563 ;
8564 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_load:
8565 ; GFX10-CU:       ; %bb.0: ; %entry
8566 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
8567 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
8568 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8569 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
8570 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
8571 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8572 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8573 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8574 ; GFX10-CU-NEXT:    s_endpgm
8575 ;
8576 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_load:
8577 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8578 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
8579 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
8580 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8581 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8582 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
8583 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
8584 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8585 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8586 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8587 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8588 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8589 ;
8590 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_load:
8591 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8592 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8593 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8594 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8595 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8596 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8597 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8598 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8599 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8600 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8601 ;
8602 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_load:
8603 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8604 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8605 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8606 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8607 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8608 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8609 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8610 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8611 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8612 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8613 ;
8614 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_load:
8615 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8616 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8617 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8618 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8619 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8620 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8621 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8622 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8623 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8624 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8625 ;
8626 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_load:
8627 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8628 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8629 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8630 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8631 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8632 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8633 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8634 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8635 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8636 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8637 ;
8638 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_load:
8639 ; GFX11-WGP:       ; %bb.0: ; %entry
8640 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8641 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8642 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8643 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
8644 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
8645 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8646 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8647 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8648 ; GFX11-WGP-NEXT:    s_endpgm
8649 ;
8650 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_load:
8651 ; GFX11-CU:       ; %bb.0: ; %entry
8652 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8653 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8654 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8655 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
8656 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
8657 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8658 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8659 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8660 ; GFX11-CU-NEXT:    s_endpgm
8661 ;
8662 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_load:
8663 ; GFX12-WGP:       ; %bb.0: ; %entry
8664 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8665 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8666 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8667 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
8668 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
8669 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8670 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
8671 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8672 ; GFX12-WGP-NEXT:    s_endpgm
8673 ;
8674 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_load:
8675 ; GFX12-CU:       ; %bb.0: ; %entry
8676 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8677 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8678 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8679 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
8680 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
8681 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8682 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
8683 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8684 ; GFX12-CU-NEXT:    s_endpgm
8685     ptr addrspace(3) %in, ptr addrspace(3) %out) {
8686 entry:
8687   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread-one-as") acquire, align 4
8688   store i32 %val, ptr addrspace(3) %out
8689   ret void
8690 }
8691
8692 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_load(
8693 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_load:
8694 ; GFX6:       ; %bb.0: ; %entry
8695 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
8696 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
8697 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr4
8698 ; GFX6-NEXT:    ; kill: def $sgpr6 killed $sgpr5
8699 ; GFX6-NEXT:    s_mov_b32 m0, -1
8700 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8701 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
8702 ; GFX6-NEXT:    ds_read_b32 v1, v0
8703 ; GFX6-NEXT:    s_mov_b32 m0, -1
8704 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
8705 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8706 ; GFX6-NEXT:    ds_write_b32 v0, v1
8707 ; GFX6-NEXT:    s_endpgm
8708 ;
8709 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_load:
8710 ; GFX7:       ; %bb.0: ; %entry
8711 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
8712 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
8713 ; GFX7-NEXT:    s_mov_b32 m0, -1
8714 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8715 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
8716 ; GFX7-NEXT:    ds_read_b32 v1, v0
8717 ; GFX7-NEXT:    s_mov_b32 m0, -1
8718 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
8719 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8720 ; GFX7-NEXT:    ds_write_b32 v0, v1
8721 ; GFX7-NEXT:    s_endpgm
8722 ;
8723 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_load:
8724 ; GFX10-WGP:       ; %bb.0: ; %entry
8725 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
8726 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
8727 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8728 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
8729 ; GFX10-WGP-NEXT:    ds_read_b32 v1, v0
8730 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
8731 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8732 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8733 ; GFX10-WGP-NEXT:    s_endpgm
8734 ;
8735 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_load:
8736 ; GFX10-CU:       ; %bb.0: ; %entry
8737 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
8738 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
8739 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8740 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
8741 ; GFX10-CU-NEXT:    ds_read_b32 v1, v0
8742 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
8743 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8744 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8745 ; GFX10-CU-NEXT:    s_endpgm
8746 ;
8747 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_load:
8748 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8749 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
8750 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
8751 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8752 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8753 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
8754 ; SKIP-CACHE-INV-NEXT:    ds_read_b32 v1, v0
8755 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8756 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
8757 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8758 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8759 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8760 ;
8761 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_load:
8762 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8763 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8764 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8765 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8766 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8767 ; GFX90A-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8768 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8769 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8770 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8771 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8772 ;
8773 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_load:
8774 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8775 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
8776 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
8777 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8778 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8779 ; GFX90A-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8780 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
8781 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8782 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8783 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8784 ;
8785 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_load:
8786 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8787 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8788 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8789 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8790 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8791 ; GFX940-NOTTGSPLIT-NEXT:    ds_read_b32 v1, v0
8792 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8793 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8794 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8795 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8796 ;
8797 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_load:
8798 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8799 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
8800 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
8801 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8802 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8803 ; GFX940-TGSPLIT-NEXT:    ds_read_b32 v1, v0
8804 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
8805 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8806 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8807 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8808 ;
8809 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_load:
8810 ; GFX11-WGP:       ; %bb.0: ; %entry
8811 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8812 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8813 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8814 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
8815 ; GFX11-WGP-NEXT:    ds_load_b32 v1, v0
8816 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
8817 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8818 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8819 ; GFX11-WGP-NEXT:    s_endpgm
8820 ;
8821 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_load:
8822 ; GFX11-CU:       ; %bb.0: ; %entry
8823 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8824 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8825 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8826 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
8827 ; GFX11-CU-NEXT:    ds_load_b32 v1, v0
8828 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
8829 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8830 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8831 ; GFX11-CU-NEXT:    s_endpgm
8832 ;
8833 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_load:
8834 ; GFX12-WGP:       ; %bb.0: ; %entry
8835 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
8836 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
8837 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8838 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
8839 ; GFX12-WGP-NEXT:    ds_load_b32 v1, v0
8840 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
8841 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
8842 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8843 ; GFX12-WGP-NEXT:    s_endpgm
8844 ;
8845 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_load:
8846 ; GFX12-CU:       ; %bb.0: ; %entry
8847 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
8848 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
8849 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8850 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
8851 ; GFX12-CU-NEXT:    ds_load_b32 v1, v0
8852 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
8853 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
8854 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8855 ; GFX12-CU-NEXT:    s_endpgm
8856     ptr addrspace(3) %in, ptr addrspace(3) %out) {
8857 entry:
8858   %val = load atomic i32, ptr addrspace(3) %in syncscope("singlethread-one-as") seq_cst, align 4
8859   store i32 %val, ptr addrspace(3) %out
8860   ret void
8861 }
8862
8863 define amdgpu_kernel void @local_singlethread_one_as_unordered_store(
8864 ; GFX6-LABEL: local_singlethread_one_as_unordered_store:
8865 ; GFX6:       ; %bb.0: ; %entry
8866 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
8867 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
8868 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
8869 ; GFX6-NEXT:    s_mov_b32 m0, -1
8870 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
8871 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
8872 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
8873 ; GFX6-NEXT:    ds_write_b32 v0, v1
8874 ; GFX6-NEXT:    s_endpgm
8875 ;
8876 ; GFX7-LABEL: local_singlethread_one_as_unordered_store:
8877 ; GFX7:       ; %bb.0: ; %entry
8878 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
8879 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
8880 ; GFX7-NEXT:    s_mov_b32 m0, -1
8881 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
8882 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
8883 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
8884 ; GFX7-NEXT:    ds_write_b32 v0, v1
8885 ; GFX7-NEXT:    s_endpgm
8886 ;
8887 ; GFX10-WGP-LABEL: local_singlethread_one_as_unordered_store:
8888 ; GFX10-WGP:       ; %bb.0: ; %entry
8889 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
8890 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
8891 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8892 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
8893 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
8894 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
8895 ; GFX10-WGP-NEXT:    s_endpgm
8896 ;
8897 ; GFX10-CU-LABEL: local_singlethread_one_as_unordered_store:
8898 ; GFX10-CU:       ; %bb.0: ; %entry
8899 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
8900 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
8901 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
8902 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
8903 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
8904 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
8905 ; GFX10-CU-NEXT:    s_endpgm
8906 ;
8907 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_unordered_store:
8908 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
8909 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
8910 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
8911 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
8912 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
8913 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
8914 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
8915 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
8916 ; SKIP-CACHE-INV-NEXT:    s_endpgm
8917 ;
8918 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_unordered_store:
8919 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
8920 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
8921 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
8922 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8923 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8924 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8925 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8926 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
8927 ;
8928 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_unordered_store:
8929 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
8930 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
8931 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
8932 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8933 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
8934 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
8935 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8936 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
8937 ;
8938 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_unordered_store:
8939 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
8940 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
8941 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
8942 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8943 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8944 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
8945 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
8946 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
8947 ;
8948 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_unordered_store:
8949 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
8950 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
8951 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
8952 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
8953 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
8954 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
8955 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
8956 ; GFX940-TGSPLIT-NEXT:    s_endpgm
8957 ;
8958 ; GFX11-WGP-LABEL: local_singlethread_one_as_unordered_store:
8959 ; GFX11-WGP:       ; %bb.0: ; %entry
8960 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
8961 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
8962 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
8963 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
8964 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
8965 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
8966 ; GFX11-WGP-NEXT:    s_endpgm
8967 ;
8968 ; GFX11-CU-LABEL: local_singlethread_one_as_unordered_store:
8969 ; GFX11-CU:       ; %bb.0: ; %entry
8970 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
8971 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
8972 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
8973 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
8974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
8975 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
8976 ; GFX11-CU-NEXT:    s_endpgm
8977 ;
8978 ; GFX12-WGP-LABEL: local_singlethread_one_as_unordered_store:
8979 ; GFX12-WGP:       ; %bb.0: ; %entry
8980 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
8981 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
8982 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
8983 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
8984 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
8985 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
8986 ; GFX12-WGP-NEXT:    s_endpgm
8987 ;
8988 ; GFX12-CU-LABEL: local_singlethread_one_as_unordered_store:
8989 ; GFX12-CU:       ; %bb.0: ; %entry
8990 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
8991 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
8992 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
8993 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
8994 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
8995 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
8996 ; GFX12-CU-NEXT:    s_endpgm
8997     i32 %in, ptr addrspace(3) %out) {
8998 entry:
8999   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread-one-as") unordered, align 4
9000   ret void
9001 }
9002
9003 define amdgpu_kernel void @local_singlethread_one_as_monotonic_store(
9004 ; GFX6-LABEL: local_singlethread_one_as_monotonic_store:
9005 ; GFX6:       ; %bb.0: ; %entry
9006 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
9007 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9008 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
9009 ; GFX6-NEXT:    s_mov_b32 m0, -1
9010 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9011 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9012 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9013 ; GFX6-NEXT:    ds_write_b32 v0, v1
9014 ; GFX6-NEXT:    s_endpgm
9015 ;
9016 ; GFX7-LABEL: local_singlethread_one_as_monotonic_store:
9017 ; GFX7:       ; %bb.0: ; %entry
9018 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
9019 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
9020 ; GFX7-NEXT:    s_mov_b32 m0, -1
9021 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9022 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9023 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9024 ; GFX7-NEXT:    ds_write_b32 v0, v1
9025 ; GFX7-NEXT:    s_endpgm
9026 ;
9027 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_store:
9028 ; GFX10-WGP:       ; %bb.0: ; %entry
9029 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
9030 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
9031 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9032 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9033 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9034 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
9035 ; GFX10-WGP-NEXT:    s_endpgm
9036 ;
9037 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_store:
9038 ; GFX10-CU:       ; %bb.0: ; %entry
9039 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
9040 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
9041 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9042 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9043 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9044 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
9045 ; GFX10-CU-NEXT:    s_endpgm
9046 ;
9047 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_store:
9048 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9049 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
9050 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
9051 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9052 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9053 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9054 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9055 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
9056 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9057 ;
9058 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_store:
9059 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9060 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9061 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9062 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9063 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9064 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9065 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9066 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9067 ;
9068 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_store:
9069 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9070 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9071 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9072 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9073 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9074 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9075 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9076 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9077 ;
9078 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_store:
9079 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9080 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9081 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9082 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9083 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9084 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9085 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9086 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9087 ;
9088 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_store:
9089 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9090 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9091 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9092 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9093 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9094 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9095 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9096 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9097 ;
9098 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_store:
9099 ; GFX11-WGP:       ; %bb.0: ; %entry
9100 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9101 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9102 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9103 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9104 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9105 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
9106 ; GFX11-WGP-NEXT:    s_endpgm
9107 ;
9108 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_store:
9109 ; GFX11-CU:       ; %bb.0: ; %entry
9110 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9111 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9112 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9113 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9114 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9115 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
9116 ; GFX11-CU-NEXT:    s_endpgm
9117 ;
9118 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_store:
9119 ; GFX12-WGP:       ; %bb.0: ; %entry
9120 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9121 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9122 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9123 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9124 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9125 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
9126 ; GFX12-WGP-NEXT:    s_endpgm
9127 ;
9128 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_store:
9129 ; GFX12-CU:       ; %bb.0: ; %entry
9130 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9131 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9132 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9133 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9134 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9135 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
9136 ; GFX12-CU-NEXT:    s_endpgm
9137     i32 %in, ptr addrspace(3) %out) {
9138 entry:
9139   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread-one-as") monotonic, align 4
9140   ret void
9141 }
9142
9143 define amdgpu_kernel void @local_singlethread_one_as_release_store(
9144 ; GFX6-LABEL: local_singlethread_one_as_release_store:
9145 ; GFX6:       ; %bb.0: ; %entry
9146 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
9147 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9148 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
9149 ; GFX6-NEXT:    s_mov_b32 m0, -1
9150 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9151 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9152 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9153 ; GFX6-NEXT:    ds_write_b32 v0, v1
9154 ; GFX6-NEXT:    s_endpgm
9155 ;
9156 ; GFX7-LABEL: local_singlethread_one_as_release_store:
9157 ; GFX7:       ; %bb.0: ; %entry
9158 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
9159 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
9160 ; GFX7-NEXT:    s_mov_b32 m0, -1
9161 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9162 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9163 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9164 ; GFX7-NEXT:    ds_write_b32 v0, v1
9165 ; GFX7-NEXT:    s_endpgm
9166 ;
9167 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_store:
9168 ; GFX10-WGP:       ; %bb.0: ; %entry
9169 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
9170 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
9171 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9172 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9173 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9174 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
9175 ; GFX10-WGP-NEXT:    s_endpgm
9176 ;
9177 ; GFX10-CU-LABEL: local_singlethread_one_as_release_store:
9178 ; GFX10-CU:       ; %bb.0: ; %entry
9179 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
9180 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
9181 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9182 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9183 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9184 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
9185 ; GFX10-CU-NEXT:    s_endpgm
9186 ;
9187 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_store:
9188 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9189 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
9190 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
9191 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9192 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9193 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9194 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9195 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
9196 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9197 ;
9198 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_store:
9199 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9200 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9201 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9202 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9203 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9204 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9205 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9206 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9207 ;
9208 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_store:
9209 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9210 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9211 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9212 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9213 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9214 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9215 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9216 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9217 ;
9218 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_store:
9219 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9220 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9221 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9222 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9223 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9224 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9225 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9226 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9227 ;
9228 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_store:
9229 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9230 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9231 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9232 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9233 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9234 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9235 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9236 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9237 ;
9238 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_store:
9239 ; GFX11-WGP:       ; %bb.0: ; %entry
9240 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9241 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9242 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9243 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9244 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9245 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
9246 ; GFX11-WGP-NEXT:    s_endpgm
9247 ;
9248 ; GFX11-CU-LABEL: local_singlethread_one_as_release_store:
9249 ; GFX11-CU:       ; %bb.0: ; %entry
9250 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9251 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9252 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9253 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9254 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9255 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
9256 ; GFX11-CU-NEXT:    s_endpgm
9257 ;
9258 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_store:
9259 ; GFX12-WGP:       ; %bb.0: ; %entry
9260 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9261 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9262 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9263 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9264 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9265 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
9266 ; GFX12-WGP-NEXT:    s_endpgm
9267 ;
9268 ; GFX12-CU-LABEL: local_singlethread_one_as_release_store:
9269 ; GFX12-CU:       ; %bb.0: ; %entry
9270 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9271 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9272 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9273 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9274 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9275 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
9276 ; GFX12-CU-NEXT:    s_endpgm
9277     i32 %in, ptr addrspace(3) %out) {
9278 entry:
9279   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread-one-as") release, align 4
9280   ret void
9281 }
9282
9283 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_store(
9284 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_store:
9285 ; GFX6:       ; %bb.0: ; %entry
9286 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
9287 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9288 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
9289 ; GFX6-NEXT:    s_mov_b32 m0, -1
9290 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9291 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9292 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9293 ; GFX6-NEXT:    ds_write_b32 v0, v1
9294 ; GFX6-NEXT:    s_endpgm
9295 ;
9296 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_store:
9297 ; GFX7:       ; %bb.0: ; %entry
9298 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
9299 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
9300 ; GFX7-NEXT:    s_mov_b32 m0, -1
9301 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9302 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9303 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9304 ; GFX7-NEXT:    ds_write_b32 v0, v1
9305 ; GFX7-NEXT:    s_endpgm
9306 ;
9307 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_store:
9308 ; GFX10-WGP:       ; %bb.0: ; %entry
9309 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
9310 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
9311 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9312 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9313 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9314 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
9315 ; GFX10-WGP-NEXT:    s_endpgm
9316 ;
9317 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_store:
9318 ; GFX10-CU:       ; %bb.0: ; %entry
9319 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
9320 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
9321 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9322 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9323 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9324 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
9325 ; GFX10-CU-NEXT:    s_endpgm
9326 ;
9327 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_store:
9328 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9329 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
9330 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
9331 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9332 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9333 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9334 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9335 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
9336 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9337 ;
9338 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_store:
9339 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9340 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9341 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9342 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9343 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9344 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9345 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9346 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9347 ;
9348 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_store:
9349 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9350 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
9351 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
9352 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9353 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9354 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9355 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9356 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9357 ;
9358 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_store:
9359 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9360 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9361 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9362 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9363 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9364 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9365 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
9366 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9367 ;
9368 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_store:
9369 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9370 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
9371 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
9372 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9373 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9374 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9375 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
9376 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9377 ;
9378 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_store:
9379 ; GFX11-WGP:       ; %bb.0: ; %entry
9380 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9381 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9382 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9383 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9384 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9385 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
9386 ; GFX11-WGP-NEXT:    s_endpgm
9387 ;
9388 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_store:
9389 ; GFX11-CU:       ; %bb.0: ; %entry
9390 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9391 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9392 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9393 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9394 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9395 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
9396 ; GFX11-CU-NEXT:    s_endpgm
9397 ;
9398 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_store:
9399 ; GFX12-WGP:       ; %bb.0: ; %entry
9400 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
9401 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
9402 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9403 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9404 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9405 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
9406 ; GFX12-WGP-NEXT:    s_endpgm
9407 ;
9408 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_store:
9409 ; GFX12-CU:       ; %bb.0: ; %entry
9410 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
9411 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
9412 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9413 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9414 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9415 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
9416 ; GFX12-CU-NEXT:    s_endpgm
9417     i32 %in, ptr addrspace(3) %out) {
9418 entry:
9419   store atomic i32 %in, ptr addrspace(3) %out syncscope("singlethread-one-as") seq_cst, align 4
9420   ret void
9421 }
9422
9423 define amdgpu_kernel void @local_singlethread_one_as_monotonic_atomicrmw(
9424 ; GFX6-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9425 ; GFX6:       ; %bb.0: ; %entry
9426 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
9427 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9428 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
9429 ; GFX6-NEXT:    s_mov_b32 m0, -1
9430 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9431 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9432 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9433 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9434 ; GFX6-NEXT:    s_endpgm
9435 ;
9436 ; GFX7-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9437 ; GFX7:       ; %bb.0: ; %entry
9438 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
9439 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
9440 ; GFX7-NEXT:    s_mov_b32 m0, -1
9441 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9442 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9443 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9444 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9445 ; GFX7-NEXT:    s_endpgm
9446 ;
9447 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9448 ; GFX10-WGP:       ; %bb.0: ; %entry
9449 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
9450 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
9451 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9452 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9453 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9454 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9455 ; GFX10-WGP-NEXT:    s_endpgm
9456 ;
9457 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9458 ; GFX10-CU:       ; %bb.0: ; %entry
9459 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
9460 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
9461 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9462 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9463 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9464 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9465 ; GFX10-CU-NEXT:    s_endpgm
9466 ;
9467 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9468 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9469 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
9470 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
9471 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9472 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9473 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9474 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9475 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9476 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9477 ;
9478 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9479 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9480 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9481 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9482 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9483 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9484 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9485 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9486 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9487 ;
9488 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9489 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9490 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9491 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9492 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9493 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9494 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9495 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9496 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9497 ;
9498 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9499 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9500 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9501 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9502 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9503 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9504 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9505 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9506 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9507 ;
9508 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9509 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9510 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9511 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9512 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9513 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9514 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9515 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9516 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9517 ;
9518 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9519 ; GFX11-WGP:       ; %bb.0: ; %entry
9520 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9521 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9522 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9523 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9524 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9525 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9526 ; GFX11-WGP-NEXT:    s_endpgm
9527 ;
9528 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9529 ; GFX11-CU:       ; %bb.0: ; %entry
9530 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9531 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9532 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9533 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9534 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9535 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9536 ; GFX11-CU-NEXT:    s_endpgm
9537 ;
9538 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9539 ; GFX12-WGP:       ; %bb.0: ; %entry
9540 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9541 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9542 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9543 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9544 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9545 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9546 ; GFX12-WGP-NEXT:    s_endpgm
9547 ;
9548 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_atomicrmw:
9549 ; GFX12-CU:       ; %bb.0: ; %entry
9550 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9551 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9552 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9553 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9554 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9555 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9556 ; GFX12-CU-NEXT:    s_endpgm
9557     ptr addrspace(3) %out, i32 %in) {
9558 entry:
9559   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") monotonic
9560   ret void
9561 }
9562
9563 define amdgpu_kernel void @local_singlethread_one_as_acquire_atomicrmw(
9564 ; GFX6-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9565 ; GFX6:       ; %bb.0: ; %entry
9566 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
9567 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9568 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
9569 ; GFX6-NEXT:    s_mov_b32 m0, -1
9570 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9571 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9572 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9573 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9574 ; GFX6-NEXT:    s_endpgm
9575 ;
9576 ; GFX7-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9577 ; GFX7:       ; %bb.0: ; %entry
9578 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
9579 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
9580 ; GFX7-NEXT:    s_mov_b32 m0, -1
9581 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9582 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9583 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9584 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9585 ; GFX7-NEXT:    s_endpgm
9586 ;
9587 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9588 ; GFX10-WGP:       ; %bb.0: ; %entry
9589 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
9590 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
9591 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9592 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9593 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9594 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9595 ; GFX10-WGP-NEXT:    s_endpgm
9596 ;
9597 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9598 ; GFX10-CU:       ; %bb.0: ; %entry
9599 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
9600 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
9601 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9602 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9603 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9604 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9605 ; GFX10-CU-NEXT:    s_endpgm
9606 ;
9607 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9608 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9609 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
9610 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
9611 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9612 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9613 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9614 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9615 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9616 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9617 ;
9618 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9619 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9620 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9621 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9622 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9623 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9624 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9625 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9626 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9627 ;
9628 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9629 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9630 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9631 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9632 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9633 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9634 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9635 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9636 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9637 ;
9638 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9639 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9640 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9641 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9642 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9643 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9644 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9645 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9646 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9647 ;
9648 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9649 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9650 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9651 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9652 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9653 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9654 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9655 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9656 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9657 ;
9658 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9659 ; GFX11-WGP:       ; %bb.0: ; %entry
9660 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9661 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9662 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9663 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9664 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9665 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9666 ; GFX11-WGP-NEXT:    s_endpgm
9667 ;
9668 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9669 ; GFX11-CU:       ; %bb.0: ; %entry
9670 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9671 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9672 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9673 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9674 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9675 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9676 ; GFX11-CU-NEXT:    s_endpgm
9677 ;
9678 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9679 ; GFX12-WGP:       ; %bb.0: ; %entry
9680 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9681 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9682 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9683 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9684 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9685 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9686 ; GFX12-WGP-NEXT:    s_endpgm
9687 ;
9688 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_atomicrmw:
9689 ; GFX12-CU:       ; %bb.0: ; %entry
9690 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9691 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9692 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9693 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9694 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9695 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9696 ; GFX12-CU-NEXT:    s_endpgm
9697     ptr addrspace(3) %out, i32 %in) {
9698 entry:
9699   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") acquire
9700   ret void
9701 }
9702
9703 define amdgpu_kernel void @local_singlethread_one_as_release_atomicrmw(
9704 ; GFX6-LABEL: local_singlethread_one_as_release_atomicrmw:
9705 ; GFX6:       ; %bb.0: ; %entry
9706 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
9707 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9708 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
9709 ; GFX6-NEXT:    s_mov_b32 m0, -1
9710 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9711 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9712 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9713 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9714 ; GFX6-NEXT:    s_endpgm
9715 ;
9716 ; GFX7-LABEL: local_singlethread_one_as_release_atomicrmw:
9717 ; GFX7:       ; %bb.0: ; %entry
9718 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
9719 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
9720 ; GFX7-NEXT:    s_mov_b32 m0, -1
9721 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9722 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9723 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9724 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9725 ; GFX7-NEXT:    s_endpgm
9726 ;
9727 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_atomicrmw:
9728 ; GFX10-WGP:       ; %bb.0: ; %entry
9729 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
9730 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
9731 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9732 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9733 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9734 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9735 ; GFX10-WGP-NEXT:    s_endpgm
9736 ;
9737 ; GFX10-CU-LABEL: local_singlethread_one_as_release_atomicrmw:
9738 ; GFX10-CU:       ; %bb.0: ; %entry
9739 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
9740 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
9741 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9742 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9743 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9744 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9745 ; GFX10-CU-NEXT:    s_endpgm
9746 ;
9747 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_atomicrmw:
9748 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9749 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
9750 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
9751 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9752 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9753 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9754 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9755 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9756 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9757 ;
9758 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_atomicrmw:
9759 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9760 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9761 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9762 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9763 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9764 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9765 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9766 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9767 ;
9768 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_atomicrmw:
9769 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9770 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9771 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9772 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9773 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9774 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9775 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9776 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9777 ;
9778 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_atomicrmw:
9779 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9780 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9781 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9782 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9783 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9784 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9785 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9786 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9787 ;
9788 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_atomicrmw:
9789 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9790 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9791 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9792 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9793 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9794 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9795 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9796 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9797 ;
9798 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_atomicrmw:
9799 ; GFX11-WGP:       ; %bb.0: ; %entry
9800 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9801 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9802 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9803 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9804 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9805 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9806 ; GFX11-WGP-NEXT:    s_endpgm
9807 ;
9808 ; GFX11-CU-LABEL: local_singlethread_one_as_release_atomicrmw:
9809 ; GFX11-CU:       ; %bb.0: ; %entry
9810 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9811 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9812 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9813 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9814 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9815 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9816 ; GFX11-CU-NEXT:    s_endpgm
9817 ;
9818 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_atomicrmw:
9819 ; GFX12-WGP:       ; %bb.0: ; %entry
9820 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9821 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9822 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9823 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9824 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9825 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9826 ; GFX12-WGP-NEXT:    s_endpgm
9827 ;
9828 ; GFX12-CU-LABEL: local_singlethread_one_as_release_atomicrmw:
9829 ; GFX12-CU:       ; %bb.0: ; %entry
9830 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9831 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9832 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9833 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9834 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9835 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9836 ; GFX12-CU-NEXT:    s_endpgm
9837     ptr addrspace(3) %out, i32 %in) {
9838 entry:
9839   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") release
9840   ret void
9841 }
9842
9843 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_atomicrmw(
9844 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9845 ; GFX6:       ; %bb.0: ; %entry
9846 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
9847 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9848 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
9849 ; GFX6-NEXT:    s_mov_b32 m0, -1
9850 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9851 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9852 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9853 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9854 ; GFX6-NEXT:    s_endpgm
9855 ;
9856 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9857 ; GFX7:       ; %bb.0: ; %entry
9858 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
9859 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
9860 ; GFX7-NEXT:    s_mov_b32 m0, -1
9861 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
9862 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
9863 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
9864 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9865 ; GFX7-NEXT:    s_endpgm
9866 ;
9867 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9868 ; GFX10-WGP:       ; %bb.0: ; %entry
9869 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
9870 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
9871 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9872 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
9873 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
9874 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9875 ; GFX10-WGP-NEXT:    s_endpgm
9876 ;
9877 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9878 ; GFX10-CU:       ; %bb.0: ; %entry
9879 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
9880 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
9881 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
9882 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
9883 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
9884 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9885 ; GFX10-CU-NEXT:    s_endpgm
9886 ;
9887 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9888 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
9889 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
9890 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
9891 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
9892 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
9893 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
9894 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
9895 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9896 ; SKIP-CACHE-INV-NEXT:    s_endpgm
9897 ;
9898 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9899 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
9900 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9901 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9902 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9903 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9904 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9905 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9906 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
9907 ;
9908 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9909 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
9910 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
9911 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
9912 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9913 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
9914 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
9915 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9916 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
9917 ;
9918 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9919 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
9920 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9921 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9922 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9923 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9924 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9925 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9926 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
9927 ;
9928 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9929 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
9930 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
9931 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
9932 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
9933 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
9934 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
9935 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9936 ; GFX940-TGSPLIT-NEXT:    s_endpgm
9937 ;
9938 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9939 ; GFX11-WGP:       ; %bb.0: ; %entry
9940 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9941 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9942 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
9943 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
9944 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
9945 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9946 ; GFX11-WGP-NEXT:    s_endpgm
9947 ;
9948 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9949 ; GFX11-CU:       ; %bb.0: ; %entry
9950 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9951 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9952 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
9953 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
9954 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
9955 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9956 ; GFX11-CU-NEXT:    s_endpgm
9957 ;
9958 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9959 ; GFX12-WGP:       ; %bb.0: ; %entry
9960 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
9961 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
9962 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
9963 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
9964 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
9965 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9966 ; GFX12-WGP-NEXT:    s_endpgm
9967 ;
9968 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_atomicrmw:
9969 ; GFX12-CU:       ; %bb.0: ; %entry
9970 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
9971 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
9972 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
9973 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
9974 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
9975 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
9976 ; GFX12-CU-NEXT:    s_endpgm
9977     ptr addrspace(3) %out, i32 %in) {
9978 entry:
9979   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") acq_rel
9980   ret void
9981 }
9982
9983 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_atomicrmw(
9984 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
9985 ; GFX6:       ; %bb.0: ; %entry
9986 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x0
9987 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr5
9988 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
9989 ; GFX6-NEXT:    s_mov_b32 m0, -1
9990 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
9991 ; GFX6-NEXT:    v_mov_b32_e32 v0, s5
9992 ; GFX6-NEXT:    v_mov_b32_e32 v1, s4
9993 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
9994 ; GFX6-NEXT:    s_endpgm
9995 ;
9996 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
9997 ; GFX7:       ; %bb.0: ; %entry
9998 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x0
9999 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
10000 ; GFX7-NEXT:    s_mov_b32 m0, -1
10001 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10002 ; GFX7-NEXT:    v_mov_b32_e32 v0, s5
10003 ; GFX7-NEXT:    v_mov_b32_e32 v1, s4
10004 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10005 ; GFX7-NEXT:    s_endpgm
10006 ;
10007 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10008 ; GFX10-WGP:       ; %bb.0: ; %entry
10009 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x0
10010 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
10011 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10012 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s5
10013 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s4
10014 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10015 ; GFX10-WGP-NEXT:    s_endpgm
10016 ;
10017 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10018 ; GFX10-CU:       ; %bb.0: ; %entry
10019 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x0
10020 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
10021 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10022 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s5
10023 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s4
10024 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10025 ; GFX10-CU-NEXT:    s_endpgm
10026 ;
10027 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10028 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10029 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x0
10030 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
10031 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10032 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10033 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s1
10034 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s0
10035 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10036 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10037 ;
10038 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10039 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10040 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
10041 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10042 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10043 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
10044 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
10045 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10046 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10047 ;
10048 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10049 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10050 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x0
10051 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10052 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10053 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s5
10054 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s4
10055 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10056 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10057 ;
10058 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10059 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10060 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
10061 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10062 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10063 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
10064 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
10065 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10066 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10067 ;
10068 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10069 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10070 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x0
10071 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10072 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10073 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s1
10074 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s0
10075 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v0, v0, v1
10076 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10077 ;
10078 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10079 ; GFX11-WGP:       ; %bb.0: ; %entry
10080 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
10081 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
10082 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10083 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s1
10084 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s0
10085 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
10086 ; GFX11-WGP-NEXT:    s_endpgm
10087 ;
10088 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10089 ; GFX11-CU:       ; %bb.0: ; %entry
10090 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
10091 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
10092 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10093 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s1
10094 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s0
10095 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
10096 ; GFX11-CU-NEXT:    s_endpgm
10097 ;
10098 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10099 ; GFX12-WGP:       ; %bb.0: ; %entry
10100 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x0
10101 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x4
10102 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10103 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s1
10104 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s0
10105 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
10106 ; GFX12-WGP-NEXT:    s_endpgm
10107 ;
10108 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_atomicrmw:
10109 ; GFX12-CU:       ; %bb.0: ; %entry
10110 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x0
10111 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x4
10112 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10113 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s1
10114 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s0
10115 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v0, v0, v1
10116 ; GFX12-CU-NEXT:    s_endpgm
10117     ptr addrspace(3) %out, i32 %in) {
10118 entry:
10119   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") seq_cst
10120   ret void
10121 }
10122
10123 define amdgpu_kernel void @local_singlethread_one_as_acquire_ret_atomicrmw(
10124 ; GFX6-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10125 ; GFX6:       ; %bb.0: ; %entry
10126 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
10127 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
10128 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
10129 ; GFX6-NEXT:    s_mov_b32 m0, -1
10130 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10131 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10132 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
10133 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10134 ; GFX6-NEXT:    s_mov_b32 m0, -1
10135 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10136 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10137 ; GFX6-NEXT:    ds_write_b32 v0, v1
10138 ; GFX6-NEXT:    s_endpgm
10139 ;
10140 ; GFX7-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10141 ; GFX7:       ; %bb.0: ; %entry
10142 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
10143 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
10144 ; GFX7-NEXT:    s_mov_b32 m0, -1
10145 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10146 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10147 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
10148 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10149 ; GFX7-NEXT:    s_mov_b32 m0, -1
10150 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10151 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10152 ; GFX7-NEXT:    ds_write_b32 v0, v1
10153 ; GFX7-NEXT:    s_endpgm
10154 ;
10155 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10156 ; GFX10-WGP:       ; %bb.0: ; %entry
10157 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
10158 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
10159 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10160 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10161 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
10162 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10163 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10164 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10165 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10166 ; GFX10-WGP-NEXT:    s_endpgm
10167 ;
10168 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10169 ; GFX10-CU:       ; %bb.0: ; %entry
10170 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
10171 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
10172 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10173 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10174 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
10175 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10176 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10177 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10178 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10179 ; GFX10-CU-NEXT:    s_endpgm
10180 ;
10181 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10182 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10183 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
10184 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
10185 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10186 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10187 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10188 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10189 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10190 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10191 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10192 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10193 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10194 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10195 ;
10196 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10197 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10198 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10199 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10200 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10201 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10202 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10203 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10204 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10205 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10206 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10207 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10208 ;
10209 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10210 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10211 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10212 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10213 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10214 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10215 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10216 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10217 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10218 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10219 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10220 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10221 ;
10222 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10223 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10224 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10225 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10226 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10227 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10228 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10229 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10230 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10231 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10232 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10233 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10234 ;
10235 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10236 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10237 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10238 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10239 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10240 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10241 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10242 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10243 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10244 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10245 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10246 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10247 ;
10248 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10249 ; GFX11-WGP:       ; %bb.0: ; %entry
10250 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10251 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10252 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10253 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10254 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
10255 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10256 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10257 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10258 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10259 ; GFX11-WGP-NEXT:    s_endpgm
10260 ;
10261 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10262 ; GFX11-CU:       ; %bb.0: ; %entry
10263 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10264 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10265 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10266 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10267 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
10268 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10269 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10270 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10271 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10272 ; GFX11-CU-NEXT:    s_endpgm
10273 ;
10274 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10275 ; GFX12-WGP:       ; %bb.0: ; %entry
10276 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10277 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10278 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10279 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10280 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
10281 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10282 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10283 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
10284 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
10285 ; GFX12-WGP-NEXT:    s_endpgm
10286 ;
10287 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_ret_atomicrmw:
10288 ; GFX12-CU:       ; %bb.0: ; %entry
10289 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10290 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10291 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10292 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10293 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
10294 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10295 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10296 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
10297 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
10298 ; GFX12-CU-NEXT:    s_endpgm
10299     ptr addrspace(3) %out, i32 %in) {
10300 entry:
10301   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") acquire
10302   store i32 %val, ptr addrspace(3) %out, align 4
10303   ret void
10304 }
10305
10306 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_ret_atomicrmw(
10307 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10308 ; GFX6:       ; %bb.0: ; %entry
10309 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
10310 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
10311 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
10312 ; GFX6-NEXT:    s_mov_b32 m0, -1
10313 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10314 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10315 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
10316 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10317 ; GFX6-NEXT:    s_mov_b32 m0, -1
10318 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10319 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10320 ; GFX6-NEXT:    ds_write_b32 v0, v1
10321 ; GFX6-NEXT:    s_endpgm
10322 ;
10323 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10324 ; GFX7:       ; %bb.0: ; %entry
10325 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
10326 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
10327 ; GFX7-NEXT:    s_mov_b32 m0, -1
10328 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10329 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10330 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
10331 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10332 ; GFX7-NEXT:    s_mov_b32 m0, -1
10333 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10334 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10335 ; GFX7-NEXT:    ds_write_b32 v0, v1
10336 ; GFX7-NEXT:    s_endpgm
10337 ;
10338 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10339 ; GFX10-WGP:       ; %bb.0: ; %entry
10340 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
10341 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
10342 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10343 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10344 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
10345 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10346 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10347 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10348 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10349 ; GFX10-WGP-NEXT:    s_endpgm
10350 ;
10351 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10352 ; GFX10-CU:       ; %bb.0: ; %entry
10353 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
10354 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
10355 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10356 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10357 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
10358 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10359 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10360 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10361 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10362 ; GFX10-CU-NEXT:    s_endpgm
10363 ;
10364 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10365 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10366 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
10367 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
10368 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10369 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10370 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10371 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10372 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10373 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10374 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10375 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10376 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10377 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10378 ;
10379 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10380 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10381 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10382 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10383 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10384 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10385 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10386 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10387 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10388 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10389 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10390 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10391 ;
10392 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10393 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10394 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10395 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10396 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10397 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10398 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10399 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10400 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10401 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10402 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10403 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10404 ;
10405 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10406 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10407 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10408 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10409 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10410 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10411 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10412 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10413 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10414 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10415 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10416 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10417 ;
10418 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10419 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10420 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10421 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10422 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10423 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10424 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10425 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10426 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10427 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10428 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10429 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10430 ;
10431 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10432 ; GFX11-WGP:       ; %bb.0: ; %entry
10433 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10434 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10435 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10436 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10437 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
10438 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10439 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10440 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10441 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10442 ; GFX11-WGP-NEXT:    s_endpgm
10443 ;
10444 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10445 ; GFX11-CU:       ; %bb.0: ; %entry
10446 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10447 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10448 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10449 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10450 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
10451 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10452 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10453 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10454 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10455 ; GFX11-CU-NEXT:    s_endpgm
10456 ;
10457 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10458 ; GFX12-WGP:       ; %bb.0: ; %entry
10459 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10460 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10461 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10462 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10463 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
10464 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10465 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10466 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
10467 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
10468 ; GFX12-WGP-NEXT:    s_endpgm
10469 ;
10470 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_ret_atomicrmw:
10471 ; GFX12-CU:       ; %bb.0: ; %entry
10472 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10473 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10474 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10475 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10476 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
10477 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10478 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10479 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
10480 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
10481 ; GFX12-CU-NEXT:    s_endpgm
10482     ptr addrspace(3) %out, i32 %in) {
10483 entry:
10484   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") acq_rel
10485   store i32 %val, ptr addrspace(3) %out, align 4
10486   ret void
10487 }
10488
10489 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_ret_atomicrmw(
10490 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10491 ; GFX6:       ; %bb.0: ; %entry
10492 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
10493 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
10494 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
10495 ; GFX6-NEXT:    s_mov_b32 m0, -1
10496 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10497 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10498 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
10499 ; GFX6-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10500 ; GFX6-NEXT:    s_mov_b32 m0, -1
10501 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
10502 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10503 ; GFX6-NEXT:    ds_write_b32 v0, v1
10504 ; GFX6-NEXT:    s_endpgm
10505 ;
10506 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10507 ; GFX7:       ; %bb.0: ; %entry
10508 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
10509 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
10510 ; GFX7-NEXT:    s_mov_b32 m0, -1
10511 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10512 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10513 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
10514 ; GFX7-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10515 ; GFX7-NEXT:    s_mov_b32 m0, -1
10516 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
10517 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10518 ; GFX7-NEXT:    ds_write_b32 v0, v1
10519 ; GFX7-NEXT:    s_endpgm
10520 ;
10521 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10522 ; GFX10-WGP:       ; %bb.0: ; %entry
10523 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
10524 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
10525 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10526 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10527 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
10528 ; GFX10-WGP-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10529 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
10530 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10531 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
10532 ; GFX10-WGP-NEXT:    s_endpgm
10533 ;
10534 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10535 ; GFX10-CU:       ; %bb.0: ; %entry
10536 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
10537 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
10538 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10539 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10540 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
10541 ; GFX10-CU-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10542 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
10543 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10544 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
10545 ; GFX10-CU-NEXT:    s_endpgm
10546 ;
10547 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10548 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10549 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
10550 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
10551 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10552 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10553 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10554 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10555 ; SKIP-CACHE-INV-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10556 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10557 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
10558 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10559 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
10560 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10561 ;
10562 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10563 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10564 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10565 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10566 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10567 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10568 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10569 ; GFX90A-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10570 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10571 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10572 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10573 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10574 ;
10575 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10576 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10577 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
10578 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
10579 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10580 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10581 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10582 ; GFX90A-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10583 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
10584 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10585 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10586 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10587 ;
10588 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10589 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10590 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10591 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10592 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10593 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10594 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10595 ; GFX940-NOTTGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10596 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10597 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10598 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
10599 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10600 ;
10601 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10602 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10603 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
10604 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
10605 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10606 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10607 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10608 ; GFX940-TGSPLIT-NEXT:    ds_wrxchg_rtn_b32 v1, v0, v1
10609 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
10610 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10611 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
10612 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10613 ;
10614 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10615 ; GFX11-WGP:       ; %bb.0: ; %entry
10616 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10617 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10618 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10619 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10620 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
10621 ; GFX11-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10622 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
10623 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10624 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
10625 ; GFX11-WGP-NEXT:    s_endpgm
10626 ;
10627 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10628 ; GFX11-CU:       ; %bb.0: ; %entry
10629 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10630 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10631 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10632 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10633 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
10634 ; GFX11-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10635 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
10636 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10637 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
10638 ; GFX11-CU-NEXT:    s_endpgm
10639 ;
10640 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10641 ; GFX12-WGP:       ; %bb.0: ; %entry
10642 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
10643 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10644 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10645 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10646 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
10647 ; GFX12-WGP-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10648 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
10649 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
10650 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
10651 ; GFX12-WGP-NEXT:    s_endpgm
10652 ;
10653 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_ret_atomicrmw:
10654 ; GFX12-CU:       ; %bb.0: ; %entry
10655 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
10656 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10657 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10658 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10659 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
10660 ; GFX12-CU-NEXT:    ds_storexchg_rtn_b32 v1, v0, v1
10661 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
10662 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
10663 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
10664 ; GFX12-CU-NEXT:    s_endpgm
10665     ptr addrspace(3) %out, i32 %in) {
10666 entry:
10667   %val = atomicrmw volatile xchg ptr addrspace(3) %out, i32 %in syncscope("singlethread-one-as") seq_cst
10668   store i32 %val, ptr addrspace(3) %out, align 4
10669   ret void
10670 }
10671
10672 define amdgpu_kernel void @local_singlethread_one_as_monotonic_monotonic_cmpxchg(
10673 ; GFX6-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10674 ; GFX6:       ; %bb.0: ; %entry
10675 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
10676 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
10677 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
10678 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
10679 ; GFX6-NEXT:    s_mov_b32 m0, -1
10680 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10681 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
10682 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
10683 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
10684 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10685 ; GFX6-NEXT:    s_endpgm
10686 ;
10687 ; GFX7-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10688 ; GFX7:       ; %bb.0: ; %entry
10689 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
10690 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
10691 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
10692 ; GFX7-NEXT:    s_mov_b32 m0, -1
10693 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10694 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
10695 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
10696 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
10697 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10698 ; GFX7-NEXT:    s_endpgm
10699 ;
10700 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10701 ; GFX10-WGP:       ; %bb.0: ; %entry
10702 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
10703 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
10704 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
10705 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10706 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
10707 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
10708 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
10709 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10710 ; GFX10-WGP-NEXT:    s_endpgm
10711 ;
10712 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10713 ; GFX10-CU:       ; %bb.0: ; %entry
10714 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
10715 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
10716 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
10717 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10718 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
10719 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
10720 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
10721 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10722 ; GFX10-CU-NEXT:    s_endpgm
10723 ;
10724 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10725 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10726 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
10727 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
10728 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
10729 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10730 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10731 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10732 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10733 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
10734 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10735 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10736 ;
10737 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10738 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10739 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
10740 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10741 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
10742 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10743 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
10744 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10745 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
10746 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10747 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10748 ;
10749 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10750 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10751 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
10752 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10753 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
10754 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10755 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
10756 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10757 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
10758 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10759 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10760 ;
10761 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10762 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10763 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
10764 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10765 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
10766 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10767 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
10768 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10769 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
10770 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10771 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10772 ;
10773 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10774 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10775 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
10776 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10777 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
10778 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10779 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
10780 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10781 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
10782 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10783 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10784 ;
10785 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10786 ; GFX11-WGP:       ; %bb.0: ; %entry
10787 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
10788 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10789 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
10790 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10791 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
10792 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
10793 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
10794 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10795 ; GFX11-WGP-NEXT:    s_endpgm
10796 ;
10797 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10798 ; GFX11-CU:       ; %bb.0: ; %entry
10799 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
10800 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10801 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
10802 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10803 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
10804 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
10805 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
10806 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10807 ; GFX11-CU-NEXT:    s_endpgm
10808 ;
10809 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10810 ; GFX12-WGP:       ; %bb.0: ; %entry
10811 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
10812 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10813 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
10814 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10815 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
10816 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
10817 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
10818 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10819 ; GFX12-WGP-NEXT:    s_endpgm
10820 ;
10821 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_cmpxchg:
10822 ; GFX12-CU:       ; %bb.0: ; %entry
10823 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
10824 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10825 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
10826 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10827 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
10828 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
10829 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
10830 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10831 ; GFX12-CU-NEXT:    s_endpgm
10832     ptr addrspace(3) %out, i32 %in, i32 %old) {
10833 entry:
10834   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
10835   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic monotonic
10836   ret void
10837 }
10838
10839 define amdgpu_kernel void @local_singlethread_one_as_acquire_monotonic_cmpxchg(
10840 ; GFX6-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10841 ; GFX6:       ; %bb.0: ; %entry
10842 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
10843 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
10844 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
10845 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
10846 ; GFX6-NEXT:    s_mov_b32 m0, -1
10847 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
10848 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
10849 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
10850 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
10851 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10852 ; GFX6-NEXT:    s_endpgm
10853 ;
10854 ; GFX7-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10855 ; GFX7:       ; %bb.0: ; %entry
10856 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
10857 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
10858 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
10859 ; GFX7-NEXT:    s_mov_b32 m0, -1
10860 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
10861 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
10862 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
10863 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
10864 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10865 ; GFX7-NEXT:    s_endpgm
10866 ;
10867 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10868 ; GFX10-WGP:       ; %bb.0: ; %entry
10869 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
10870 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
10871 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
10872 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10873 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
10874 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
10875 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
10876 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10877 ; GFX10-WGP-NEXT:    s_endpgm
10878 ;
10879 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10880 ; GFX10-CU:       ; %bb.0: ; %entry
10881 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
10882 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
10883 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
10884 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
10885 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
10886 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
10887 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
10888 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10889 ; GFX10-CU-NEXT:    s_endpgm
10890 ;
10891 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10892 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
10893 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
10894 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
10895 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
10896 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
10897 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
10898 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
10899 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
10900 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
10901 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10902 ; SKIP-CACHE-INV-NEXT:    s_endpgm
10903 ;
10904 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10905 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
10906 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
10907 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10908 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
10909 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10910 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
10911 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10912 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
10913 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10914 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
10915 ;
10916 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10917 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
10918 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
10919 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
10920 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
10921 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10922 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
10923 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
10924 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
10925 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10926 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
10927 ;
10928 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10929 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
10930 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
10931 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10932 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
10933 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10934 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
10935 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10936 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
10937 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10938 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
10939 ;
10940 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10941 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
10942 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
10943 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
10944 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
10945 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
10946 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
10947 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
10948 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
10949 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
10950 ; GFX940-TGSPLIT-NEXT:    s_endpgm
10951 ;
10952 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10953 ; GFX11-WGP:       ; %bb.0: ; %entry
10954 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
10955 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10956 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
10957 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
10958 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
10959 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
10960 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
10961 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10962 ; GFX11-WGP-NEXT:    s_endpgm
10963 ;
10964 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10965 ; GFX11-CU:       ; %bb.0: ; %entry
10966 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
10967 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10968 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
10969 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
10970 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
10971 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
10972 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
10973 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10974 ; GFX11-CU-NEXT:    s_endpgm
10975 ;
10976 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10977 ; GFX12-WGP:       ; %bb.0: ; %entry
10978 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
10979 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
10980 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
10981 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
10982 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
10983 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
10984 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
10985 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10986 ; GFX12-WGP-NEXT:    s_endpgm
10987 ;
10988 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_monotonic_cmpxchg:
10989 ; GFX12-CU:       ; %bb.0: ; %entry
10990 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
10991 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
10992 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
10993 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
10994 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
10995 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
10996 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
10997 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
10998 ; GFX12-CU-NEXT:    s_endpgm
10999     ptr addrspace(3) %out, i32 %in, i32 %old) {
11000 entry:
11001   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11002   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire monotonic
11003   ret void
11004 }
11005
11006 define amdgpu_kernel void @local_singlethread_one_as_release_monotonic_cmpxchg(
11007 ; GFX6-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11008 ; GFX6:       ; %bb.0: ; %entry
11009 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11010 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11011 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11012 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11013 ; GFX6-NEXT:    s_mov_b32 m0, -1
11014 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11015 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11016 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11017 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11018 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11019 ; GFX6-NEXT:    s_endpgm
11020 ;
11021 ; GFX7-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11022 ; GFX7:       ; %bb.0: ; %entry
11023 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11024 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11025 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11026 ; GFX7-NEXT:    s_mov_b32 m0, -1
11027 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11028 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11029 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11030 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11031 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11032 ; GFX7-NEXT:    s_endpgm
11033 ;
11034 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11035 ; GFX10-WGP:       ; %bb.0: ; %entry
11036 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11037 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11038 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11039 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11040 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11041 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11042 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11043 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11044 ; GFX10-WGP-NEXT:    s_endpgm
11045 ;
11046 ; GFX10-CU-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11047 ; GFX10-CU:       ; %bb.0: ; %entry
11048 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11049 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11050 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11051 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11052 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11053 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11054 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11055 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11056 ; GFX10-CU-NEXT:    s_endpgm
11057 ;
11058 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11059 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11060 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11061 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11062 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11063 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11064 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11065 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11066 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11067 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11068 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11069 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11070 ;
11071 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11072 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11073 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11074 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11075 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11076 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11077 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11078 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11079 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11080 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11081 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11082 ;
11083 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11084 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11085 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11086 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11087 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11088 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11089 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11090 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11091 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11092 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11093 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11094 ;
11095 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11096 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11097 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11098 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11099 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11100 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11101 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11102 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11103 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11104 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11105 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11106 ;
11107 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11108 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11109 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11110 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11111 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11112 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11113 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11114 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11115 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11116 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11117 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11118 ;
11119 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11120 ; GFX11-WGP:       ; %bb.0: ; %entry
11121 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11122 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11123 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11124 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11125 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11126 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11127 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11128 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11129 ; GFX11-WGP-NEXT:    s_endpgm
11130 ;
11131 ; GFX11-CU-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11132 ; GFX11-CU:       ; %bb.0: ; %entry
11133 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11134 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11135 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11136 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11137 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11138 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11139 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11140 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11141 ; GFX11-CU-NEXT:    s_endpgm
11142 ;
11143 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11144 ; GFX12-WGP:       ; %bb.0: ; %entry
11145 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11146 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11147 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11148 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11149 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11150 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11151 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11152 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11153 ; GFX12-WGP-NEXT:    s_endpgm
11154 ;
11155 ; GFX12-CU-LABEL: local_singlethread_one_as_release_monotonic_cmpxchg:
11156 ; GFX12-CU:       ; %bb.0: ; %entry
11157 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11158 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11159 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11160 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11161 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11162 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11163 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11164 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11165 ; GFX12-CU-NEXT:    s_endpgm
11166     ptr addrspace(3) %out, i32 %in, i32 %old) {
11167 entry:
11168   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11169   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release monotonic
11170   ret void
11171 }
11172
11173 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_monotonic_cmpxchg(
11174 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11175 ; GFX6:       ; %bb.0: ; %entry
11176 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11177 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11178 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11179 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11180 ; GFX6-NEXT:    s_mov_b32 m0, -1
11181 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11182 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11183 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11184 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11185 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11186 ; GFX6-NEXT:    s_endpgm
11187 ;
11188 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11189 ; GFX7:       ; %bb.0: ; %entry
11190 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11191 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11192 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11193 ; GFX7-NEXT:    s_mov_b32 m0, -1
11194 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11195 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11196 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11197 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11198 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11199 ; GFX7-NEXT:    s_endpgm
11200 ;
11201 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11202 ; GFX10-WGP:       ; %bb.0: ; %entry
11203 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11204 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11205 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11206 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11207 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11208 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11209 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11210 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11211 ; GFX10-WGP-NEXT:    s_endpgm
11212 ;
11213 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11214 ; GFX10-CU:       ; %bb.0: ; %entry
11215 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11216 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11217 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11218 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11219 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11220 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11221 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11222 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11223 ; GFX10-CU-NEXT:    s_endpgm
11224 ;
11225 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11226 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11227 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11228 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11229 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11230 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11231 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11232 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11233 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11234 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11235 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11236 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11237 ;
11238 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11239 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11240 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11241 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11242 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11243 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11244 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11245 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11246 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11247 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11248 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11249 ;
11250 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11251 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11252 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11253 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11254 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11255 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11256 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11257 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11258 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11259 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11260 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11261 ;
11262 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11263 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11264 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11265 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11266 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11267 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11268 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11269 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11270 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11271 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11272 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11273 ;
11274 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11275 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11276 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11277 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11278 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11279 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11280 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11281 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11282 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11283 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11284 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11285 ;
11286 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11287 ; GFX11-WGP:       ; %bb.0: ; %entry
11288 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11289 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11290 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11291 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11292 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11293 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11294 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11295 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11296 ; GFX11-WGP-NEXT:    s_endpgm
11297 ;
11298 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11299 ; GFX11-CU:       ; %bb.0: ; %entry
11300 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11301 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11302 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11303 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11304 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11305 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11306 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11307 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11308 ; GFX11-CU-NEXT:    s_endpgm
11309 ;
11310 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11311 ; GFX12-WGP:       ; %bb.0: ; %entry
11312 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11313 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11314 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11315 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11316 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11317 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11318 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11319 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11320 ; GFX12-WGP-NEXT:    s_endpgm
11321 ;
11322 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_cmpxchg:
11323 ; GFX12-CU:       ; %bb.0: ; %entry
11324 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11325 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11326 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11327 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11328 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11329 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11330 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11331 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11332 ; GFX12-CU-NEXT:    s_endpgm
11333     ptr addrspace(3) %out, i32 %in, i32 %old) {
11334 entry:
11335   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11336   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel monotonic
11337   ret void
11338 }
11339
11340 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_monotonic_cmpxchg(
11341 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11342 ; GFX6:       ; %bb.0: ; %entry
11343 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11344 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11345 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11346 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11347 ; GFX6-NEXT:    s_mov_b32 m0, -1
11348 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11349 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11350 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11351 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11352 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11353 ; GFX6-NEXT:    s_endpgm
11354 ;
11355 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11356 ; GFX7:       ; %bb.0: ; %entry
11357 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11358 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11359 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11360 ; GFX7-NEXT:    s_mov_b32 m0, -1
11361 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11362 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11363 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11364 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11365 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11366 ; GFX7-NEXT:    s_endpgm
11367 ;
11368 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11369 ; GFX10-WGP:       ; %bb.0: ; %entry
11370 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11371 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11372 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11373 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11374 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11375 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11376 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11377 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11378 ; GFX10-WGP-NEXT:    s_endpgm
11379 ;
11380 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11381 ; GFX10-CU:       ; %bb.0: ; %entry
11382 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11383 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11384 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11385 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11386 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11387 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11388 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11389 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11390 ; GFX10-CU-NEXT:    s_endpgm
11391 ;
11392 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11393 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11394 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11395 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11396 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11397 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11398 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11399 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11400 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11401 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11402 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11403 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11404 ;
11405 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11406 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11407 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11408 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11409 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11410 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11411 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11412 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11413 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11414 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11415 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11416 ;
11417 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11418 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11419 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11420 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11421 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11422 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11423 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11424 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11425 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11426 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11427 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11428 ;
11429 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11430 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11431 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11432 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11433 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11434 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11435 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11436 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11437 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11438 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11439 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11440 ;
11441 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11442 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11443 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11444 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11445 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11446 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11447 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11448 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11449 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11450 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11451 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11452 ;
11453 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11454 ; GFX11-WGP:       ; %bb.0: ; %entry
11455 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11456 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11457 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11458 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11459 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11460 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11461 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11462 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11463 ; GFX11-WGP-NEXT:    s_endpgm
11464 ;
11465 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11466 ; GFX11-CU:       ; %bb.0: ; %entry
11467 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11468 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11469 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11470 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11471 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11472 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11473 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11474 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11475 ; GFX11-CU-NEXT:    s_endpgm
11476 ;
11477 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11478 ; GFX12-WGP:       ; %bb.0: ; %entry
11479 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11480 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11481 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11482 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11483 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11484 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11485 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11486 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11487 ; GFX12-WGP-NEXT:    s_endpgm
11488 ;
11489 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_cmpxchg:
11490 ; GFX12-CU:       ; %bb.0: ; %entry
11491 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11492 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11493 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11494 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11495 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11496 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11497 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11498 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11499 ; GFX12-CU-NEXT:    s_endpgm
11500     ptr addrspace(3) %out, i32 %in, i32 %old) {
11501 entry:
11502   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11503   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst monotonic
11504   ret void
11505 }
11506
11507 define amdgpu_kernel void @local_singlethread_one_as_monotonic_acquire_cmpxchg(
11508 ; GFX6-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11509 ; GFX6:       ; %bb.0: ; %entry
11510 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11511 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11512 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11513 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11514 ; GFX6-NEXT:    s_mov_b32 m0, -1
11515 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11516 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11517 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11518 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11519 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11520 ; GFX6-NEXT:    s_endpgm
11521 ;
11522 ; GFX7-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11523 ; GFX7:       ; %bb.0: ; %entry
11524 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11525 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11526 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11527 ; GFX7-NEXT:    s_mov_b32 m0, -1
11528 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11529 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11530 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11531 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11532 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11533 ; GFX7-NEXT:    s_endpgm
11534 ;
11535 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11536 ; GFX10-WGP:       ; %bb.0: ; %entry
11537 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11538 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11539 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11540 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11541 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11542 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11544 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11545 ; GFX10-WGP-NEXT:    s_endpgm
11546 ;
11547 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11548 ; GFX10-CU:       ; %bb.0: ; %entry
11549 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11550 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11551 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11552 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11553 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11554 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11555 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11556 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11557 ; GFX10-CU-NEXT:    s_endpgm
11558 ;
11559 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11560 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11561 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11562 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11563 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11564 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11565 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11566 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11567 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11568 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11569 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11570 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11571 ;
11572 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11573 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11574 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11575 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11576 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11577 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11578 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11579 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11580 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11581 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11582 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11583 ;
11584 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11585 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11586 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11587 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11588 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11589 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11590 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11591 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11592 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11593 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11594 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11595 ;
11596 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11597 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11598 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11599 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11600 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11601 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11602 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11603 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11604 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11605 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11606 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11607 ;
11608 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11609 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11610 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11611 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11612 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11613 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11614 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11615 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11616 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11617 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11618 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11619 ;
11620 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11621 ; GFX11-WGP:       ; %bb.0: ; %entry
11622 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11623 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11624 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11625 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11626 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11627 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11628 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11629 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11630 ; GFX11-WGP-NEXT:    s_endpgm
11631 ;
11632 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11633 ; GFX11-CU:       ; %bb.0: ; %entry
11634 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11635 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11636 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11637 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11638 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11639 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11640 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11641 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11642 ; GFX11-CU-NEXT:    s_endpgm
11643 ;
11644 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11645 ; GFX12-WGP:       ; %bb.0: ; %entry
11646 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11647 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11648 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11649 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11650 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11651 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11652 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11653 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11654 ; GFX12-WGP-NEXT:    s_endpgm
11655 ;
11656 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_acquire_cmpxchg:
11657 ; GFX12-CU:       ; %bb.0: ; %entry
11658 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11659 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11660 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11661 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11662 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11663 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11664 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11665 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11666 ; GFX12-CU-NEXT:    s_endpgm
11667     ptr addrspace(3) %out, i32 %in, i32 %old) {
11668 entry:
11669   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11670   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic acquire
11671   ret void
11672 }
11673
11674 define amdgpu_kernel void @local_singlethread_one_as_acquire_acquire_cmpxchg(
11675 ; GFX6-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11676 ; GFX6:       ; %bb.0: ; %entry
11677 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11678 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11679 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11680 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11681 ; GFX6-NEXT:    s_mov_b32 m0, -1
11682 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11683 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11684 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11685 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11686 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11687 ; GFX6-NEXT:    s_endpgm
11688 ;
11689 ; GFX7-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11690 ; GFX7:       ; %bb.0: ; %entry
11691 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11692 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11693 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11694 ; GFX7-NEXT:    s_mov_b32 m0, -1
11695 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11696 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11697 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11698 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11699 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11700 ; GFX7-NEXT:    s_endpgm
11701 ;
11702 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11703 ; GFX10-WGP:       ; %bb.0: ; %entry
11704 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11705 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11706 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11707 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11708 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11709 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11710 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11711 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11712 ; GFX10-WGP-NEXT:    s_endpgm
11713 ;
11714 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11715 ; GFX10-CU:       ; %bb.0: ; %entry
11716 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11717 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11718 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11719 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11720 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11721 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11722 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11723 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11724 ; GFX10-CU-NEXT:    s_endpgm
11725 ;
11726 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11727 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11728 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11729 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11730 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11731 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11732 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11733 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11734 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11735 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11736 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11737 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11738 ;
11739 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11740 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11741 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11742 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11743 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11744 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11745 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11746 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11747 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11748 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11749 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11750 ;
11751 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11752 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11753 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11754 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11755 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11756 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11757 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11758 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11759 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11760 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11761 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11762 ;
11763 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11764 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11765 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11766 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11767 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11768 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11769 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11770 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11771 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11772 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11773 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11774 ;
11775 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11776 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11777 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11778 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11779 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11780 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11781 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11782 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11783 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11784 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11785 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11786 ;
11787 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11788 ; GFX11-WGP:       ; %bb.0: ; %entry
11789 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11790 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11791 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11792 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11793 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11794 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11795 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11796 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11797 ; GFX11-WGP-NEXT:    s_endpgm
11798 ;
11799 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11800 ; GFX11-CU:       ; %bb.0: ; %entry
11801 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11802 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11803 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11804 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11805 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11806 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11807 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11808 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11809 ; GFX11-CU-NEXT:    s_endpgm
11810 ;
11811 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11812 ; GFX12-WGP:       ; %bb.0: ; %entry
11813 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11814 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11815 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11816 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11817 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11818 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11819 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11820 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11821 ; GFX12-WGP-NEXT:    s_endpgm
11822 ;
11823 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_acquire_cmpxchg:
11824 ; GFX12-CU:       ; %bb.0: ; %entry
11825 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11826 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11827 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11828 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11829 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11830 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11831 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11832 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11833 ; GFX12-CU-NEXT:    s_endpgm
11834     ptr addrspace(3) %out, i32 %in, i32 %old) {
11835 entry:
11836   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
11837   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire acquire
11838   ret void
11839 }
11840
11841 define amdgpu_kernel void @local_singlethread_one_as_release_acquire_cmpxchg(
11842 ; GFX6-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11843 ; GFX6:       ; %bb.0: ; %entry
11844 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
11845 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
11846 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
11847 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
11848 ; GFX6-NEXT:    s_mov_b32 m0, -1
11849 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
11850 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
11851 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
11852 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
11853 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11854 ; GFX6-NEXT:    s_endpgm
11855 ;
11856 ; GFX7-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11857 ; GFX7:       ; %bb.0: ; %entry
11858 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
11859 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
11860 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
11861 ; GFX7-NEXT:    s_mov_b32 m0, -1
11862 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
11863 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
11864 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
11865 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
11866 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11867 ; GFX7-NEXT:    s_endpgm
11868 ;
11869 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11870 ; GFX10-WGP:       ; %bb.0: ; %entry
11871 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
11872 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
11873 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
11874 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11875 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
11876 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
11877 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
11878 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11879 ; GFX10-WGP-NEXT:    s_endpgm
11880 ;
11881 ; GFX10-CU-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11882 ; GFX10-CU:       ; %bb.0: ; %entry
11883 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
11884 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
11885 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
11886 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
11887 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
11888 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
11889 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
11890 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11891 ; GFX10-CU-NEXT:    s_endpgm
11892 ;
11893 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11894 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
11895 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
11896 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
11897 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
11898 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
11899 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
11900 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
11901 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
11902 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
11903 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11904 ; SKIP-CACHE-INV-NEXT:    s_endpgm
11905 ;
11906 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11907 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
11908 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11909 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11910 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11911 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11912 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11913 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11914 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11915 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11916 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
11917 ;
11918 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11919 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
11920 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
11921 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
11922 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
11923 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11924 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
11925 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
11926 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
11927 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11928 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
11929 ;
11930 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11931 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
11932 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11933 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11934 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11935 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11936 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11937 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11938 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11939 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11940 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
11941 ;
11942 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11943 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
11944 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
11945 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
11946 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
11947 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
11948 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
11949 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
11950 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
11951 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
11952 ; GFX940-TGSPLIT-NEXT:    s_endpgm
11953 ;
11954 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11955 ; GFX11-WGP:       ; %bb.0: ; %entry
11956 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11957 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11958 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11959 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
11960 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
11961 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
11962 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
11963 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11964 ; GFX11-WGP-NEXT:    s_endpgm
11965 ;
11966 ; GFX11-CU-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11967 ; GFX11-CU:       ; %bb.0: ; %entry
11968 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11969 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11970 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11971 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
11972 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
11973 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
11974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
11975 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11976 ; GFX11-CU-NEXT:    s_endpgm
11977 ;
11978 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11979 ; GFX12-WGP:       ; %bb.0: ; %entry
11980 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
11981 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
11982 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
11983 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
11984 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
11985 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
11986 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
11987 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
11988 ; GFX12-WGP-NEXT:    s_endpgm
11989 ;
11990 ; GFX12-CU-LABEL: local_singlethread_one_as_release_acquire_cmpxchg:
11991 ; GFX12-CU:       ; %bb.0: ; %entry
11992 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
11993 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
11994 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
11995 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
11996 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
11997 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
11998 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
11999 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12000 ; GFX12-CU-NEXT:    s_endpgm
12001     ptr addrspace(3) %out, i32 %in, i32 %old) {
12002 entry:
12003   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12004   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release acquire
12005   ret void
12006 }
12007
12008 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_acquire_cmpxchg(
12009 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12010 ; GFX6:       ; %bb.0: ; %entry
12011 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12012 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12013 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12014 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12015 ; GFX6-NEXT:    s_mov_b32 m0, -1
12016 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12017 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12018 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12019 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12020 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12021 ; GFX6-NEXT:    s_endpgm
12022 ;
12023 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12024 ; GFX7:       ; %bb.0: ; %entry
12025 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12026 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12027 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12028 ; GFX7-NEXT:    s_mov_b32 m0, -1
12029 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12030 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12031 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12032 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12033 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12034 ; GFX7-NEXT:    s_endpgm
12035 ;
12036 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12037 ; GFX10-WGP:       ; %bb.0: ; %entry
12038 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12039 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12040 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12041 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12042 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12043 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12044 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12045 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12046 ; GFX10-WGP-NEXT:    s_endpgm
12047 ;
12048 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12049 ; GFX10-CU:       ; %bb.0: ; %entry
12050 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12051 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12052 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12053 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12054 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12055 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12056 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12057 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12058 ; GFX10-CU-NEXT:    s_endpgm
12059 ;
12060 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12061 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12062 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12063 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12064 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12065 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12066 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12067 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12068 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12069 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12070 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12071 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12072 ;
12073 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12074 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12075 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12076 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12077 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12078 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12079 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12080 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12081 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12082 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12083 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12084 ;
12085 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12086 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12087 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12088 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12089 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12090 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12091 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12092 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12093 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12094 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12095 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12096 ;
12097 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12098 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12099 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12100 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12101 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12102 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12103 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12104 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12105 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12106 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12107 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12108 ;
12109 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12110 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12111 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12112 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12113 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12114 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12115 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12116 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12117 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12118 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12119 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12120 ;
12121 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12122 ; GFX11-WGP:       ; %bb.0: ; %entry
12123 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12124 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12125 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12126 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12127 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12128 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12129 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12130 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12131 ; GFX11-WGP-NEXT:    s_endpgm
12132 ;
12133 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12134 ; GFX11-CU:       ; %bb.0: ; %entry
12135 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12136 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12137 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12138 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12139 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12140 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12141 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12142 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12143 ; GFX11-CU-NEXT:    s_endpgm
12144 ;
12145 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12146 ; GFX12-WGP:       ; %bb.0: ; %entry
12147 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12148 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12149 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12150 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12151 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12152 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12153 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12154 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12155 ; GFX12-WGP-NEXT:    s_endpgm
12156 ;
12157 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_cmpxchg:
12158 ; GFX12-CU:       ; %bb.0: ; %entry
12159 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12160 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12161 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12162 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12163 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12164 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
12165 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
12166 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12167 ; GFX12-CU-NEXT:    s_endpgm
12168     ptr addrspace(3) %out, i32 %in, i32 %old) {
12169 entry:
12170   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12171   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel acquire
12172   ret void
12173 }
12174
12175 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_acquire_cmpxchg(
12176 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12177 ; GFX6:       ; %bb.0: ; %entry
12178 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12179 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12180 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12181 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12182 ; GFX6-NEXT:    s_mov_b32 m0, -1
12183 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12184 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12185 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12186 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12187 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12188 ; GFX6-NEXT:    s_endpgm
12189 ;
12190 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12191 ; GFX7:       ; %bb.0: ; %entry
12192 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12193 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12194 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12195 ; GFX7-NEXT:    s_mov_b32 m0, -1
12196 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12197 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12198 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12199 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12200 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12201 ; GFX7-NEXT:    s_endpgm
12202 ;
12203 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12204 ; GFX10-WGP:       ; %bb.0: ; %entry
12205 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12206 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12207 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12208 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12209 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12210 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12211 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12212 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12213 ; GFX10-WGP-NEXT:    s_endpgm
12214 ;
12215 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12216 ; GFX10-CU:       ; %bb.0: ; %entry
12217 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12218 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12219 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12220 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12221 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12222 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12223 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12224 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12225 ; GFX10-CU-NEXT:    s_endpgm
12226 ;
12227 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12228 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12229 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12230 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12231 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12232 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12233 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12234 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12235 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12236 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12237 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12238 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12239 ;
12240 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12241 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12242 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12243 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12244 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12245 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12246 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12247 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12248 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12249 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12250 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12251 ;
12252 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12253 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12254 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12255 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12256 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12257 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12258 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12259 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12260 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12261 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12262 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12263 ;
12264 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12265 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12266 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12267 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12268 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12269 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12270 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12271 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12272 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12273 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12274 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12275 ;
12276 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12277 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12278 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12279 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12280 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12281 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12282 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12283 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12284 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12285 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12286 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12287 ;
12288 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12289 ; GFX11-WGP:       ; %bb.0: ; %entry
12290 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12291 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12292 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12293 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12294 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12295 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12296 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12297 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12298 ; GFX11-WGP-NEXT:    s_endpgm
12299 ;
12300 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12301 ; GFX11-CU:       ; %bb.0: ; %entry
12302 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12303 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12304 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12305 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12306 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12307 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12308 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12309 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12310 ; GFX11-CU-NEXT:    s_endpgm
12311 ;
12312 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12313 ; GFX12-WGP:       ; %bb.0: ; %entry
12314 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12315 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12316 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12317 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12318 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12319 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12320 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12321 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12322 ; GFX12-WGP-NEXT:    s_endpgm
12323 ;
12324 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_cmpxchg:
12325 ; GFX12-CU:       ; %bb.0: ; %entry
12326 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12327 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12328 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12329 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12330 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12331 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
12332 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
12333 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12334 ; GFX12-CU-NEXT:    s_endpgm
12335     ptr addrspace(3) %out, i32 %in, i32 %old) {
12336 entry:
12337   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12338   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst acquire
12339   ret void
12340 }
12341
12342 define amdgpu_kernel void @local_singlethread_one_as_monotonic_seq_cst_cmpxchg(
12343 ; GFX6-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12344 ; GFX6:       ; %bb.0: ; %entry
12345 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12346 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12347 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12348 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12349 ; GFX6-NEXT:    s_mov_b32 m0, -1
12350 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12351 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12352 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12353 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12354 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12355 ; GFX6-NEXT:    s_endpgm
12356 ;
12357 ; GFX7-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12358 ; GFX7:       ; %bb.0: ; %entry
12359 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12360 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12361 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12362 ; GFX7-NEXT:    s_mov_b32 m0, -1
12363 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12364 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12365 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12366 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12367 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12368 ; GFX7-NEXT:    s_endpgm
12369 ;
12370 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12371 ; GFX10-WGP:       ; %bb.0: ; %entry
12372 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12373 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12374 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12375 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12376 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12377 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12378 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12379 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12380 ; GFX10-WGP-NEXT:    s_endpgm
12381 ;
12382 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12383 ; GFX10-CU:       ; %bb.0: ; %entry
12384 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12385 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12386 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12387 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12388 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12389 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12390 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12391 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12392 ; GFX10-CU-NEXT:    s_endpgm
12393 ;
12394 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12395 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12396 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12397 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12398 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12399 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12400 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12401 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12402 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12403 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12404 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12405 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12406 ;
12407 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12408 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12409 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12410 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12411 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12412 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12413 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12414 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12415 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12416 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12417 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12418 ;
12419 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12420 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12421 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12422 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12423 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12424 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12425 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12426 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12427 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12428 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12429 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12430 ;
12431 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12432 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12433 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12434 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12435 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12436 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12437 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12438 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12439 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12440 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12441 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12442 ;
12443 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12444 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12445 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12446 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12447 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12448 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12449 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12450 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12451 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12452 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12453 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12454 ;
12455 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12456 ; GFX11-WGP:       ; %bb.0: ; %entry
12457 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12458 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12459 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12460 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12461 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12462 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12463 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12464 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12465 ; GFX11-WGP-NEXT:    s_endpgm
12466 ;
12467 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12468 ; GFX11-CU:       ; %bb.0: ; %entry
12469 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12470 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12471 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12472 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12473 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12474 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12475 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12476 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12477 ; GFX11-CU-NEXT:    s_endpgm
12478 ;
12479 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12480 ; GFX12-WGP:       ; %bb.0: ; %entry
12481 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12482 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12483 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12484 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12485 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12486 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12487 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12488 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12489 ; GFX12-WGP-NEXT:    s_endpgm
12490 ;
12491 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_cmpxchg:
12492 ; GFX12-CU:       ; %bb.0: ; %entry
12493 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12494 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12495 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12496 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12497 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12498 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
12499 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
12500 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12501 ; GFX12-CU-NEXT:    s_endpgm
12502     ptr addrspace(3) %out, i32 %in, i32 %old) {
12503 entry:
12504   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12505   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic seq_cst
12506   ret void
12507 }
12508
12509 define amdgpu_kernel void @local_singlethread_one_as_acquire_seq_cst_cmpxchg(
12510 ; GFX6-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12511 ; GFX6:       ; %bb.0: ; %entry
12512 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12513 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12514 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12515 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12516 ; GFX6-NEXT:    s_mov_b32 m0, -1
12517 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12518 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12519 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12520 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12521 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12522 ; GFX6-NEXT:    s_endpgm
12523 ;
12524 ; GFX7-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12525 ; GFX7:       ; %bb.0: ; %entry
12526 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12527 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12528 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12529 ; GFX7-NEXT:    s_mov_b32 m0, -1
12530 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12531 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12532 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12533 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12534 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12535 ; GFX7-NEXT:    s_endpgm
12536 ;
12537 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12538 ; GFX10-WGP:       ; %bb.0: ; %entry
12539 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12540 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12541 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12542 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12543 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12544 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12545 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12546 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12547 ; GFX10-WGP-NEXT:    s_endpgm
12548 ;
12549 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12550 ; GFX10-CU:       ; %bb.0: ; %entry
12551 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12552 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12553 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12554 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12555 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12558 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12559 ; GFX10-CU-NEXT:    s_endpgm
12560 ;
12561 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12562 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12563 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12564 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12565 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12566 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12567 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12568 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12569 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12570 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12571 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12572 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12573 ;
12574 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12575 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12576 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12577 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12578 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12579 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12580 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12581 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12582 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12583 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12584 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12585 ;
12586 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12587 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12588 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12589 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12590 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12591 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12592 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12593 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12594 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12595 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12596 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12597 ;
12598 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12599 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12600 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12601 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12602 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12603 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12604 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12605 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12606 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12607 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12608 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12609 ;
12610 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12611 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12612 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12613 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12614 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12615 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12616 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12617 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12618 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12619 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12620 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12621 ;
12622 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12623 ; GFX11-WGP:       ; %bb.0: ; %entry
12624 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12625 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12626 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12627 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12628 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12629 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12630 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12631 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12632 ; GFX11-WGP-NEXT:    s_endpgm
12633 ;
12634 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12635 ; GFX11-CU:       ; %bb.0: ; %entry
12636 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12637 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12638 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12639 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12640 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12641 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12642 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12643 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12644 ; GFX11-CU-NEXT:    s_endpgm
12645 ;
12646 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12647 ; GFX12-WGP:       ; %bb.0: ; %entry
12648 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12649 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12650 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12651 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12652 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12653 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12654 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12655 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12656 ; GFX12-WGP-NEXT:    s_endpgm
12657 ;
12658 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_cmpxchg:
12659 ; GFX12-CU:       ; %bb.0: ; %entry
12660 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12661 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12662 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12663 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12664 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12665 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
12666 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
12667 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12668 ; GFX12-CU-NEXT:    s_endpgm
12669     ptr addrspace(3) %out, i32 %in, i32 %old) {
12670 entry:
12671   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12672   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire seq_cst
12673   ret void
12674 }
12675
12676 define amdgpu_kernel void @local_singlethread_one_as_release_seq_cst_cmpxchg(
12677 ; GFX6-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12678 ; GFX6:       ; %bb.0: ; %entry
12679 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12680 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12681 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12682 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12683 ; GFX6-NEXT:    s_mov_b32 m0, -1
12684 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12685 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12686 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12687 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12688 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12689 ; GFX6-NEXT:    s_endpgm
12690 ;
12691 ; GFX7-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12692 ; GFX7:       ; %bb.0: ; %entry
12693 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12694 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12695 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12696 ; GFX7-NEXT:    s_mov_b32 m0, -1
12697 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12698 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12699 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12700 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12701 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12702 ; GFX7-NEXT:    s_endpgm
12703 ;
12704 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12705 ; GFX10-WGP:       ; %bb.0: ; %entry
12706 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12707 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12708 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12709 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12710 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12711 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12712 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12713 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12714 ; GFX10-WGP-NEXT:    s_endpgm
12715 ;
12716 ; GFX10-CU-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12717 ; GFX10-CU:       ; %bb.0: ; %entry
12718 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12719 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12720 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12721 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12722 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12723 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12724 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12725 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12726 ; GFX10-CU-NEXT:    s_endpgm
12727 ;
12728 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12729 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12730 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12731 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12732 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12733 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12734 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12735 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12736 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12737 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12738 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12739 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12740 ;
12741 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12742 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12743 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12744 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12745 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12746 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12747 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12748 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12749 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12750 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12751 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12752 ;
12753 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12754 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12755 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12756 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12757 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12758 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12759 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12760 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12761 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12762 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12763 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12764 ;
12765 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12766 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12767 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12768 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12769 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12770 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12771 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12772 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12773 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12774 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12775 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12776 ;
12777 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12778 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12779 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12780 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12781 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12782 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12783 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12784 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12785 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12786 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12787 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12788 ;
12789 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12790 ; GFX11-WGP:       ; %bb.0: ; %entry
12791 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12792 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12793 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12794 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12795 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12796 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12797 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12798 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12799 ; GFX11-WGP-NEXT:    s_endpgm
12800 ;
12801 ; GFX11-CU-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12802 ; GFX11-CU:       ; %bb.0: ; %entry
12803 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12804 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12805 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12806 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12807 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12808 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12809 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12810 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12811 ; GFX11-CU-NEXT:    s_endpgm
12812 ;
12813 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12814 ; GFX12-WGP:       ; %bb.0: ; %entry
12815 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12816 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12817 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12818 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12819 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12820 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12821 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12822 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12823 ; GFX12-WGP-NEXT:    s_endpgm
12824 ;
12825 ; GFX12-CU-LABEL: local_singlethread_one_as_release_seq_cst_cmpxchg:
12826 ; GFX12-CU:       ; %bb.0: ; %entry
12827 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12828 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12829 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12830 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12831 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12832 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
12833 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
12834 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12835 ; GFX12-CU-NEXT:    s_endpgm
12836     ptr addrspace(3) %out, i32 %in, i32 %old) {
12837 entry:
12838   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
12839   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release seq_cst
12840   ret void
12841 }
12842
12843 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_seq_cst_cmpxchg(
12844 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12845 ; GFX6:       ; %bb.0: ; %entry
12846 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
12847 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
12848 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
12849 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
12850 ; GFX6-NEXT:    s_mov_b32 m0, -1
12851 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
12852 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
12853 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
12854 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
12855 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12856 ; GFX6-NEXT:    s_endpgm
12857 ;
12858 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12859 ; GFX7:       ; %bb.0: ; %entry
12860 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
12861 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
12862 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
12863 ; GFX7-NEXT:    s_mov_b32 m0, -1
12864 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
12865 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
12866 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
12867 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
12868 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12869 ; GFX7-NEXT:    s_endpgm
12870 ;
12871 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12872 ; GFX10-WGP:       ; %bb.0: ; %entry
12873 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
12874 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
12875 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
12876 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12877 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
12878 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
12879 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
12880 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12881 ; GFX10-WGP-NEXT:    s_endpgm
12882 ;
12883 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12884 ; GFX10-CU:       ; %bb.0: ; %entry
12885 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
12886 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
12887 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
12888 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
12889 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
12890 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
12891 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
12892 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12893 ; GFX10-CU-NEXT:    s_endpgm
12894 ;
12895 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12896 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
12897 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
12898 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
12899 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
12900 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
12901 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
12902 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
12903 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
12904 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
12905 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12906 ; SKIP-CACHE-INV-NEXT:    s_endpgm
12907 ;
12908 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12909 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
12910 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12911 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12912 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12913 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12914 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12915 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12916 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12917 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12918 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
12919 ;
12920 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12921 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
12922 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
12923 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
12924 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
12925 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12926 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
12927 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
12928 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
12929 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12930 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
12931 ;
12932 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12933 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
12934 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12935 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12936 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12937 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12938 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12939 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12940 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12941 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12942 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
12943 ;
12944 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12945 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
12946 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
12947 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
12948 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
12949 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
12950 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
12951 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
12952 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
12953 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
12954 ; GFX940-TGSPLIT-NEXT:    s_endpgm
12955 ;
12956 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12957 ; GFX11-WGP:       ; %bb.0: ; %entry
12958 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12959 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12960 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12961 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
12962 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
12963 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
12964 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
12965 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12966 ; GFX11-WGP-NEXT:    s_endpgm
12967 ;
12968 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12969 ; GFX11-CU:       ; %bb.0: ; %entry
12970 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12971 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12972 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12973 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
12974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
12975 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
12976 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
12977 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12978 ; GFX11-CU-NEXT:    s_endpgm
12979 ;
12980 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12981 ; GFX12-WGP:       ; %bb.0: ; %entry
12982 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
12983 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
12984 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
12985 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
12986 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
12987 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
12988 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
12989 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
12990 ; GFX12-WGP-NEXT:    s_endpgm
12991 ;
12992 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_cmpxchg:
12993 ; GFX12-CU:       ; %bb.0: ; %entry
12994 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
12995 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
12996 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
12997 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
12998 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
12999 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
13000 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
13001 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
13002 ; GFX12-CU-NEXT:    s_endpgm
13003     ptr addrspace(3) %out, i32 %in, i32 %old) {
13004 entry:
13005   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
13006   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel seq_cst
13007   ret void
13008 }
13009
13010 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_seq_cst_cmpxchg(
13011 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13012 ; GFX6:       ; %bb.0: ; %entry
13013 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x0
13014 ; GFX6-NEXT:    ; kill: def $sgpr4 killed $sgpr6
13015 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x1
13016 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x2
13017 ; GFX6-NEXT:    s_mov_b32 m0, -1
13018 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13019 ; GFX6-NEXT:    v_mov_b32_e32 v0, s6
13020 ; GFX6-NEXT:    v_mov_b32_e32 v1, s5
13021 ; GFX6-NEXT:    v_mov_b32_e32 v2, s4
13022 ; GFX6-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13023 ; GFX6-NEXT:    s_endpgm
13024 ;
13025 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13026 ; GFX7:       ; %bb.0: ; %entry
13027 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x0
13028 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x1
13029 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x2
13030 ; GFX7-NEXT:    s_mov_b32 m0, -1
13031 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13032 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
13033 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
13034 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
13035 ; GFX7-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13036 ; GFX7-NEXT:    s_endpgm
13037 ;
13038 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13039 ; GFX10-WGP:       ; %bb.0: ; %entry
13040 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x0
13041 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x4
13042 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x8
13043 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13044 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s6
13045 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s5
13046 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s4
13047 ; GFX10-WGP-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13048 ; GFX10-WGP-NEXT:    s_endpgm
13049 ;
13050 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13051 ; GFX10-CU:       ; %bb.0: ; %entry
13052 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x0
13053 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x4
13054 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x8
13055 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13056 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s6
13057 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s5
13058 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s4
13059 ; GFX10-CU-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13060 ; GFX10-CU-NEXT:    s_endpgm
13061 ;
13062 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13063 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13064 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x0
13065 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x1
13066 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x2
13067 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13068 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13069 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s2
13070 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s1
13071 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s0
13072 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13073 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13074 ;
13075 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13076 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13077 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
13078 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
13079 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
13080 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13081 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
13082 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
13083 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
13084 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13085 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13086 ;
13087 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13088 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13089 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x0
13090 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x4
13091 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x8
13092 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13093 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s6
13094 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s5
13095 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s4
13096 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13097 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13098 ;
13099 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13100 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13101 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
13102 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
13103 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
13104 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13105 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
13106 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
13107 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
13108 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13109 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13110 ;
13111 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13112 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13113 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x0
13114 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x4
13115 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x8
13116 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13117 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s2
13118 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s1
13119 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s0
13120 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_b32 v0, v1, v2 offset:16
13121 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13122 ;
13123 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13124 ; GFX11-WGP:       ; %bb.0: ; %entry
13125 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
13126 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
13127 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
13128 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13129 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s2
13130 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s1
13131 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s0
13132 ; GFX11-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
13133 ; GFX11-WGP-NEXT:    s_endpgm
13134 ;
13135 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13136 ; GFX11-CU:       ; %bb.0: ; %entry
13137 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
13138 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
13139 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
13140 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13141 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s2
13142 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s1
13143 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s0
13144 ; GFX11-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
13145 ; GFX11-CU-NEXT:    s_endpgm
13146 ;
13147 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13148 ; GFX12-WGP:       ; %bb.0: ; %entry
13149 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x0
13150 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x4
13151 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x8
13152 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
13153 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s2
13154 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s1
13155 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s0
13156 ; GFX12-WGP-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
13157 ; GFX12-WGP-NEXT:    s_endpgm
13158 ;
13159 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_cmpxchg:
13160 ; GFX12-CU:       ; %bb.0: ; %entry
13161 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x0
13162 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x4
13163 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x8
13164 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
13165 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s2
13166 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s1
13167 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s0
13168 ; GFX12-CU-NEXT:    ds_cmpstore_b32 v0, v1, v2 offset:16
13169 ; GFX12-CU-NEXT:    s_endpgm
13170     ptr addrspace(3) %out, i32 %in, i32 %old) {
13171 entry:
13172   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
13173   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst seq_cst
13174   ret void
13175 }
13176
13177 define amdgpu_kernel void @local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg(
13178 ; GFX6-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13179 ; GFX6:       ; %bb.0: ; %entry
13180 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
13181 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
13182 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
13183 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
13184 ; GFX6-NEXT:    s_mov_b32 m0, -1
13185 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13186 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13187 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
13188 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
13189 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13190 ; GFX6-NEXT:    s_mov_b32 m0, -1
13191 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13192 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13193 ; GFX6-NEXT:    ds_write_b32 v0, v1
13194 ; GFX6-NEXT:    s_endpgm
13195 ;
13196 ; GFX7-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13197 ; GFX7:       ; %bb.0: ; %entry
13198 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
13199 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
13200 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
13201 ; GFX7-NEXT:    s_mov_b32 m0, -1
13202 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13203 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13204 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
13205 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
13206 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13207 ; GFX7-NEXT:    s_mov_b32 m0, -1
13208 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13209 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13210 ; GFX7-NEXT:    ds_write_b32 v0, v1
13211 ; GFX7-NEXT:    s_endpgm
13212 ;
13213 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13214 ; GFX10-WGP:       ; %bb.0: ; %entry
13215 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
13216 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
13217 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
13218 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13219 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13220 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
13221 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
13222 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13223 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13224 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13225 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
13226 ; GFX10-WGP-NEXT:    s_endpgm
13227 ;
13228 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13229 ; GFX10-CU:       ; %bb.0: ; %entry
13230 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
13231 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
13232 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
13233 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13234 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13235 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
13236 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
13237 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13238 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13239 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13240 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
13241 ; GFX10-CU-NEXT:    s_endpgm
13242 ;
13243 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13244 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13245 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
13246 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
13247 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
13248 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13249 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13250 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13251 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
13252 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
13253 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13254 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13255 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13256 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13257 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
13258 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13259 ;
13260 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13261 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13262 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13263 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13264 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13265 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13266 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13267 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13268 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13269 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13270 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13271 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13272 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13273 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13274 ;
13275 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13276 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13277 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13278 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13279 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13280 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13281 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13282 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13283 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13284 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13285 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13286 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13287 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13288 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13289 ;
13290 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13291 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13292 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13293 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13294 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13295 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13296 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13297 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13298 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13299 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13300 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13301 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13302 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13303 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13304 ;
13305 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13306 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13307 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13308 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13309 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13310 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13311 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13312 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13313 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13314 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13315 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13316 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13317 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13318 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13319 ;
13320 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13321 ; GFX11-WGP:       ; %bb.0: ; %entry
13322 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13323 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13324 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13325 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13326 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13327 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
13328 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
13329 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13330 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13331 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13332 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
13333 ; GFX11-WGP-NEXT:    s_endpgm
13334 ;
13335 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13336 ; GFX11-CU:       ; %bb.0: ; %entry
13337 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13338 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13339 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13340 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13341 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13342 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
13343 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
13344 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13345 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13346 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13347 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
13348 ; GFX11-CU-NEXT:    s_endpgm
13349 ;
13350 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13351 ; GFX12-WGP:       ; %bb.0: ; %entry
13352 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13353 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13354 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13355 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
13356 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13357 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
13358 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
13359 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13360 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13361 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
13362 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
13363 ; GFX12-WGP-NEXT:    s_endpgm
13364 ;
13365 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_monotonic_ret_cmpxchg:
13366 ; GFX12-CU:       ; %bb.0: ; %entry
13367 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13368 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13369 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13370 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
13371 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13372 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
13373 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
13374 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13375 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13376 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
13377 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
13378 ; GFX12-CU-NEXT:    s_endpgm
13379     ptr addrspace(3) %out, i32 %in, i32 %old) {
13380 entry:
13381   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
13382   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic monotonic
13383   %val0 = extractvalue { i32, i1 } %val, 0
13384   store i32 %val0, ptr addrspace(3) %out, align 4
13385   ret void
13386 }
13387
13388 define amdgpu_kernel void @local_singlethread_one_as_acquire_monotonic_ret_cmpxchg(
13389 ; GFX6-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13390 ; GFX6:       ; %bb.0: ; %entry
13391 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
13392 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
13393 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
13394 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
13395 ; GFX6-NEXT:    s_mov_b32 m0, -1
13396 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13397 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13398 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
13399 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
13400 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13401 ; GFX6-NEXT:    s_mov_b32 m0, -1
13402 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13403 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13404 ; GFX6-NEXT:    ds_write_b32 v0, v1
13405 ; GFX6-NEXT:    s_endpgm
13406 ;
13407 ; GFX7-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13408 ; GFX7:       ; %bb.0: ; %entry
13409 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
13410 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
13411 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
13412 ; GFX7-NEXT:    s_mov_b32 m0, -1
13413 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13414 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13415 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
13416 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
13417 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13418 ; GFX7-NEXT:    s_mov_b32 m0, -1
13419 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13420 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13421 ; GFX7-NEXT:    ds_write_b32 v0, v1
13422 ; GFX7-NEXT:    s_endpgm
13423 ;
13424 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13425 ; GFX10-WGP:       ; %bb.0: ; %entry
13426 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
13427 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
13428 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
13429 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13430 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13431 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
13432 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
13433 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13434 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13435 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13436 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
13437 ; GFX10-WGP-NEXT:    s_endpgm
13438 ;
13439 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13440 ; GFX10-CU:       ; %bb.0: ; %entry
13441 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
13442 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
13443 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
13444 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13445 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13446 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
13447 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
13448 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13449 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13450 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13451 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
13452 ; GFX10-CU-NEXT:    s_endpgm
13453 ;
13454 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13455 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13456 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
13457 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
13458 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
13459 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13460 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13461 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13462 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
13463 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
13464 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13465 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13466 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13467 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13468 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
13469 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13470 ;
13471 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13472 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13473 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13474 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13475 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13476 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13477 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13478 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13479 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13480 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13481 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13482 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13483 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13484 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13485 ;
13486 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13487 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13488 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13489 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13490 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13491 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13492 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13493 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13494 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13495 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13496 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13497 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13498 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13499 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13500 ;
13501 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13502 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13503 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13504 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13505 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13506 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13507 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13508 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13509 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13510 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13511 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13512 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13513 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13514 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13515 ;
13516 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13517 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13518 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13519 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13520 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13521 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13522 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13523 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13524 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13525 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13526 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13527 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13528 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13529 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13530 ;
13531 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13532 ; GFX11-WGP:       ; %bb.0: ; %entry
13533 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13534 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13535 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13536 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13537 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13538 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
13539 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
13540 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13541 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13542 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13543 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
13544 ; GFX11-WGP-NEXT:    s_endpgm
13545 ;
13546 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13547 ; GFX11-CU:       ; %bb.0: ; %entry
13548 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13549 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13550 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13551 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13552 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13553 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
13554 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
13555 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13556 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13557 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13558 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
13559 ; GFX11-CU-NEXT:    s_endpgm
13560 ;
13561 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13562 ; GFX12-WGP:       ; %bb.0: ; %entry
13563 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13564 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13565 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13566 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
13567 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13568 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
13569 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
13570 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13571 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13572 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
13573 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
13574 ; GFX12-WGP-NEXT:    s_endpgm
13575 ;
13576 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_monotonic_ret_cmpxchg:
13577 ; GFX12-CU:       ; %bb.0: ; %entry
13578 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13579 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13580 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13581 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
13582 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13583 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
13584 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
13585 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13586 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13587 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
13588 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
13589 ; GFX12-CU-NEXT:    s_endpgm
13590     ptr addrspace(3) %out, i32 %in, i32 %old) {
13591 entry:
13592   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
13593   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire monotonic
13594   %val0 = extractvalue { i32, i1 } %val, 0
13595   store i32 %val0, ptr addrspace(3) %out, align 4
13596   ret void
13597 }
13598
13599 define amdgpu_kernel void @local_singlethread_one_as_release_monotonic_ret_cmpxchg(
13600 ; GFX6-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13601 ; GFX6:       ; %bb.0: ; %entry
13602 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
13603 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
13604 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
13605 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
13606 ; GFX6-NEXT:    s_mov_b32 m0, -1
13607 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13608 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13609 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
13610 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
13611 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13612 ; GFX6-NEXT:    s_mov_b32 m0, -1
13613 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13614 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13615 ; GFX6-NEXT:    ds_write_b32 v0, v1
13616 ; GFX6-NEXT:    s_endpgm
13617 ;
13618 ; GFX7-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13619 ; GFX7:       ; %bb.0: ; %entry
13620 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
13621 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
13622 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
13623 ; GFX7-NEXT:    s_mov_b32 m0, -1
13624 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13625 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13626 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
13627 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
13628 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13629 ; GFX7-NEXT:    s_mov_b32 m0, -1
13630 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13631 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13632 ; GFX7-NEXT:    ds_write_b32 v0, v1
13633 ; GFX7-NEXT:    s_endpgm
13634 ;
13635 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13636 ; GFX10-WGP:       ; %bb.0: ; %entry
13637 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
13638 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
13639 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
13640 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13641 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13642 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
13643 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
13644 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13645 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13646 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13647 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
13648 ; GFX10-WGP-NEXT:    s_endpgm
13649 ;
13650 ; GFX10-CU-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13651 ; GFX10-CU:       ; %bb.0: ; %entry
13652 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
13653 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
13654 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
13655 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13656 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13657 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
13658 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
13659 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13660 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13661 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13662 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
13663 ; GFX10-CU-NEXT:    s_endpgm
13664 ;
13665 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13666 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13667 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
13668 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
13669 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
13670 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13671 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13672 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13673 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
13674 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
13675 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13676 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13677 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13678 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13679 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
13680 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13681 ;
13682 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13683 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13684 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13685 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13686 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13687 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13688 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13689 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13690 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13691 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13692 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13693 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13694 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13695 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13696 ;
13697 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13698 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13699 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13700 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13701 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13702 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13703 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13704 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13705 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13706 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13707 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13708 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13709 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13710 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13711 ;
13712 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13713 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13714 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13715 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13716 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13717 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13718 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13719 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13720 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13721 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13722 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13723 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13724 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13725 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13726 ;
13727 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13728 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13729 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13730 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13731 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13732 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13733 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13734 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13735 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13736 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13737 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13738 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13739 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13740 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13741 ;
13742 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13743 ; GFX11-WGP:       ; %bb.0: ; %entry
13744 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13745 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13746 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13747 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13748 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13749 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
13750 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
13751 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13752 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13753 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13754 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
13755 ; GFX11-WGP-NEXT:    s_endpgm
13756 ;
13757 ; GFX11-CU-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13758 ; GFX11-CU:       ; %bb.0: ; %entry
13759 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13760 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13761 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13762 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13763 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13764 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
13765 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
13766 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13767 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13768 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13769 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
13770 ; GFX11-CU-NEXT:    s_endpgm
13771 ;
13772 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13773 ; GFX12-WGP:       ; %bb.0: ; %entry
13774 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13775 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13776 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13777 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
13778 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13779 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
13780 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
13781 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13782 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13783 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
13784 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
13785 ; GFX12-WGP-NEXT:    s_endpgm
13786 ;
13787 ; GFX12-CU-LABEL: local_singlethread_one_as_release_monotonic_ret_cmpxchg:
13788 ; GFX12-CU:       ; %bb.0: ; %entry
13789 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13790 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13791 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13792 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
13793 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13794 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
13795 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
13796 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13797 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
13798 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
13799 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
13800 ; GFX12-CU-NEXT:    s_endpgm
13801     ptr addrspace(3) %out, i32 %in, i32 %old) {
13802 entry:
13803   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
13804   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release monotonic
13805   %val0 = extractvalue { i32, i1 } %val, 0
13806   store i32 %val0, ptr addrspace(3) %out, align 4
13807   ret void
13808 }
13809
13810 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg(
13811 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13812 ; GFX6:       ; %bb.0: ; %entry
13813 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
13814 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
13815 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
13816 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
13817 ; GFX6-NEXT:    s_mov_b32 m0, -1
13818 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13819 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13820 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
13821 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
13822 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13823 ; GFX6-NEXT:    s_mov_b32 m0, -1
13824 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
13825 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
13826 ; GFX6-NEXT:    ds_write_b32 v0, v1
13827 ; GFX6-NEXT:    s_endpgm
13828 ;
13829 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13830 ; GFX7:       ; %bb.0: ; %entry
13831 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
13832 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
13833 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
13834 ; GFX7-NEXT:    s_mov_b32 m0, -1
13835 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13836 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13837 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
13838 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
13839 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13840 ; GFX7-NEXT:    s_mov_b32 m0, -1
13841 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
13842 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
13843 ; GFX7-NEXT:    ds_write_b32 v0, v1
13844 ; GFX7-NEXT:    s_endpgm
13845 ;
13846 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13847 ; GFX10-WGP:       ; %bb.0: ; %entry
13848 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
13849 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
13850 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
13851 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13852 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13853 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
13854 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
13855 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13856 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
13857 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13858 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
13859 ; GFX10-WGP-NEXT:    s_endpgm
13860 ;
13861 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13862 ; GFX10-CU:       ; %bb.0: ; %entry
13863 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
13864 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
13865 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
13866 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13867 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13868 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
13869 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
13870 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13871 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
13872 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
13873 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
13874 ; GFX10-CU-NEXT:    s_endpgm
13875 ;
13876 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13877 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
13878 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
13879 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
13880 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
13881 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13882 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13883 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13884 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
13885 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
13886 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13887 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
13888 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
13889 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
13890 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
13891 ; SKIP-CACHE-INV-NEXT:    s_endpgm
13892 ;
13893 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13894 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
13895 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13896 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13897 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13898 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13899 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13900 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13901 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13902 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13903 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13904 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13905 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13906 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
13907 ;
13908 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13909 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
13910 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
13911 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
13912 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
13913 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13914 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13915 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
13916 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
13917 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13918 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
13919 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13920 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13921 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
13922 ;
13923 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13924 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
13925 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13926 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13927 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13928 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13929 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13930 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13931 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13932 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13933 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13934 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13935 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
13936 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
13937 ;
13938 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13939 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
13940 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
13941 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
13942 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
13943 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13944 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13945 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
13946 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
13947 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
13948 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
13949 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
13950 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
13951 ; GFX940-TGSPLIT-NEXT:    s_endpgm
13952 ;
13953 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13954 ; GFX11-WGP:       ; %bb.0: ; %entry
13955 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13956 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13957 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13958 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13959 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13960 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
13961 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
13962 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13963 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
13964 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
13965 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
13966 ; GFX11-WGP-NEXT:    s_endpgm
13967 ;
13968 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13969 ; GFX11-CU:       ; %bb.0: ; %entry
13970 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
13971 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
13972 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
13973 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13974 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13975 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
13976 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
13977 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13978 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
13979 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
13980 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
13981 ; GFX11-CU-NEXT:    s_endpgm
13982 ;
13983 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13984 ; GFX12-WGP:       ; %bb.0: ; %entry
13985 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
13986 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
13987 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
13988 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
13989 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13990 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
13991 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
13992 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
13993 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
13994 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
13995 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
13996 ; GFX12-WGP-NEXT:    s_endpgm
13997 ;
13998 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_monotonic_ret_cmpxchg:
13999 ; GFX12-CU:       ; %bb.0: ; %entry
14000 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14001 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14002 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14003 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
14004 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14005 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
14006 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
14007 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14008 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14009 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
14010 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
14011 ; GFX12-CU-NEXT:    s_endpgm
14012     ptr addrspace(3) %out, i32 %in, i32 %old) {
14013 entry:
14014   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
14015   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel monotonic
14016   %val0 = extractvalue { i32, i1 } %val, 0
14017   store i32 %val0, ptr addrspace(3) %out, align 4
14018   ret void
14019 }
14020
14021 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg(
14022 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14023 ; GFX6:       ; %bb.0: ; %entry
14024 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
14025 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
14026 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
14027 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
14028 ; GFX6-NEXT:    s_mov_b32 m0, -1
14029 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14030 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14031 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
14032 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
14033 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14034 ; GFX6-NEXT:    s_mov_b32 m0, -1
14035 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14036 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14037 ; GFX6-NEXT:    ds_write_b32 v0, v1
14038 ; GFX6-NEXT:    s_endpgm
14039 ;
14040 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14041 ; GFX7:       ; %bb.0: ; %entry
14042 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
14043 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
14044 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
14045 ; GFX7-NEXT:    s_mov_b32 m0, -1
14046 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14047 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14048 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
14049 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
14050 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14051 ; GFX7-NEXT:    s_mov_b32 m0, -1
14052 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14053 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14054 ; GFX7-NEXT:    ds_write_b32 v0, v1
14055 ; GFX7-NEXT:    s_endpgm
14056 ;
14057 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14058 ; GFX10-WGP:       ; %bb.0: ; %entry
14059 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
14060 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
14061 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
14062 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14063 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14064 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
14065 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
14066 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14067 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14068 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14069 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
14070 ; GFX10-WGP-NEXT:    s_endpgm
14071 ;
14072 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14073 ; GFX10-CU:       ; %bb.0: ; %entry
14074 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
14075 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
14076 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
14077 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14078 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14079 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
14080 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
14081 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14082 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14083 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14084 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
14085 ; GFX10-CU-NEXT:    s_endpgm
14086 ;
14087 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14088 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
14089 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
14090 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
14091 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
14092 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14093 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14094 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14095 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
14096 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
14097 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14098 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14099 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14100 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14101 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
14102 ; SKIP-CACHE-INV-NEXT:    s_endpgm
14103 ;
14104 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14105 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
14106 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14107 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14108 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14109 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14110 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14111 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14112 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14113 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14114 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14115 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14116 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14117 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
14118 ;
14119 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14120 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
14121 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14122 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14123 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14124 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14125 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14126 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14127 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14128 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14129 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14130 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14131 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14132 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
14133 ;
14134 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14135 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
14136 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14137 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14138 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14139 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14140 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14141 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14142 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14143 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14144 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14145 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14146 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14147 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
14148 ;
14149 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14150 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
14151 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14152 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14153 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14154 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14155 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14156 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14157 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14158 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14159 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14160 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14161 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14162 ; GFX940-TGSPLIT-NEXT:    s_endpgm
14163 ;
14164 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14165 ; GFX11-WGP:       ; %bb.0: ; %entry
14166 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14167 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14168 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14169 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14170 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14171 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
14172 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
14173 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14174 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14175 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14176 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
14177 ; GFX11-WGP-NEXT:    s_endpgm
14178 ;
14179 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14180 ; GFX11-CU:       ; %bb.0: ; %entry
14181 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14182 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14183 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14184 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14185 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14186 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
14187 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
14188 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14189 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14190 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14191 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
14192 ; GFX11-CU-NEXT:    s_endpgm
14193 ;
14194 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14195 ; GFX12-WGP:       ; %bb.0: ; %entry
14196 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14197 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14198 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14199 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
14200 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14201 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
14202 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
14203 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14204 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14205 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
14206 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
14207 ; GFX12-WGP-NEXT:    s_endpgm
14208 ;
14209 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_monotonic_ret_cmpxchg:
14210 ; GFX12-CU:       ; %bb.0: ; %entry
14211 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14212 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14213 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14214 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
14215 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14216 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
14217 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
14218 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14219 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14220 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
14221 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
14222 ; GFX12-CU-NEXT:    s_endpgm
14223     ptr addrspace(3) %out, i32 %in, i32 %old) {
14224 entry:
14225   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
14226   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst monotonic
14227   %val0 = extractvalue { i32, i1 } %val, 0
14228   store i32 %val0, ptr addrspace(3) %out, align 4
14229   ret void
14230 }
14231
14232 define amdgpu_kernel void @local_singlethread_one_as_monotonic_acquire_ret_cmpxchg(
14233 ; GFX6-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14234 ; GFX6:       ; %bb.0: ; %entry
14235 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
14236 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
14237 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
14238 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
14239 ; GFX6-NEXT:    s_mov_b32 m0, -1
14240 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14241 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14242 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
14243 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
14244 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14245 ; GFX6-NEXT:    s_mov_b32 m0, -1
14246 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14247 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14248 ; GFX6-NEXT:    ds_write_b32 v0, v1
14249 ; GFX6-NEXT:    s_endpgm
14250 ;
14251 ; GFX7-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14252 ; GFX7:       ; %bb.0: ; %entry
14253 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
14254 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
14255 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
14256 ; GFX7-NEXT:    s_mov_b32 m0, -1
14257 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14258 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14259 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
14260 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
14261 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14262 ; GFX7-NEXT:    s_mov_b32 m0, -1
14263 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14264 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14265 ; GFX7-NEXT:    ds_write_b32 v0, v1
14266 ; GFX7-NEXT:    s_endpgm
14267 ;
14268 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14269 ; GFX10-WGP:       ; %bb.0: ; %entry
14270 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
14271 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
14272 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
14273 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14274 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14275 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
14276 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
14277 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14278 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14279 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14280 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
14281 ; GFX10-WGP-NEXT:    s_endpgm
14282 ;
14283 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14284 ; GFX10-CU:       ; %bb.0: ; %entry
14285 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
14286 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
14287 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
14288 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14289 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14290 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
14291 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
14292 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14293 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14294 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14295 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
14296 ; GFX10-CU-NEXT:    s_endpgm
14297 ;
14298 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14299 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
14300 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
14301 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
14302 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
14303 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14304 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14305 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14306 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
14307 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
14308 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14309 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14310 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14311 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14312 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
14313 ; SKIP-CACHE-INV-NEXT:    s_endpgm
14314 ;
14315 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14316 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
14317 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14318 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14319 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14320 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14321 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14322 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14323 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14324 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14325 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14326 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14327 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14328 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
14329 ;
14330 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14331 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
14332 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14333 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14334 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14335 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14336 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14337 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14338 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14339 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14340 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14341 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14342 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14343 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
14344 ;
14345 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14346 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
14347 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14348 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14349 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14350 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14351 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14352 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14353 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14354 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14355 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14356 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14357 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14358 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
14359 ;
14360 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14361 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
14362 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14363 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14364 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14365 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14366 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14367 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14368 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14369 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14370 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14371 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14372 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14373 ; GFX940-TGSPLIT-NEXT:    s_endpgm
14374 ;
14375 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14376 ; GFX11-WGP:       ; %bb.0: ; %entry
14377 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14378 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14379 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14380 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14381 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14382 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
14383 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
14384 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14385 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14386 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14387 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
14388 ; GFX11-WGP-NEXT:    s_endpgm
14389 ;
14390 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14391 ; GFX11-CU:       ; %bb.0: ; %entry
14392 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14393 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14394 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14395 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14396 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14397 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
14398 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
14399 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14400 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14401 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14402 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
14403 ; GFX11-CU-NEXT:    s_endpgm
14404 ;
14405 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14406 ; GFX12-WGP:       ; %bb.0: ; %entry
14407 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14408 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14409 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14410 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
14411 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14412 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
14413 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
14414 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14415 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14416 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
14417 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
14418 ; GFX12-WGP-NEXT:    s_endpgm
14419 ;
14420 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_acquire_ret_cmpxchg:
14421 ; GFX12-CU:       ; %bb.0: ; %entry
14422 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14423 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14424 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14425 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
14426 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14427 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
14428 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
14429 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14430 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14431 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
14432 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
14433 ; GFX12-CU-NEXT:    s_endpgm
14434     ptr addrspace(3) %out, i32 %in, i32 %old) {
14435 entry:
14436   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
14437   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic acquire
14438   %val0 = extractvalue { i32, i1 } %val, 0
14439   store i32 %val0, ptr addrspace(3) %out, align 4
14440   ret void
14441 }
14442
14443 define amdgpu_kernel void @local_singlethread_one_as_acquire_acquire_ret_cmpxchg(
14444 ; GFX6-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14445 ; GFX6:       ; %bb.0: ; %entry
14446 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
14447 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
14448 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
14449 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
14450 ; GFX6-NEXT:    s_mov_b32 m0, -1
14451 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14452 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14453 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
14454 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
14455 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14456 ; GFX6-NEXT:    s_mov_b32 m0, -1
14457 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14458 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14459 ; GFX6-NEXT:    ds_write_b32 v0, v1
14460 ; GFX6-NEXT:    s_endpgm
14461 ;
14462 ; GFX7-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14463 ; GFX7:       ; %bb.0: ; %entry
14464 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
14465 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
14466 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
14467 ; GFX7-NEXT:    s_mov_b32 m0, -1
14468 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14469 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14470 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
14471 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
14472 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14473 ; GFX7-NEXT:    s_mov_b32 m0, -1
14474 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14475 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14476 ; GFX7-NEXT:    ds_write_b32 v0, v1
14477 ; GFX7-NEXT:    s_endpgm
14478 ;
14479 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14480 ; GFX10-WGP:       ; %bb.0: ; %entry
14481 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
14482 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
14483 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
14484 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14485 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14486 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
14487 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
14488 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14489 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14490 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14491 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
14492 ; GFX10-WGP-NEXT:    s_endpgm
14493 ;
14494 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14495 ; GFX10-CU:       ; %bb.0: ; %entry
14496 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
14497 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
14498 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
14499 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14500 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14501 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
14502 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
14503 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14504 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14505 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14506 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
14507 ; GFX10-CU-NEXT:    s_endpgm
14508 ;
14509 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14510 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
14511 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
14512 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
14513 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
14514 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14515 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14516 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14517 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
14518 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
14519 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14520 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14521 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14522 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14523 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
14524 ; SKIP-CACHE-INV-NEXT:    s_endpgm
14525 ;
14526 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14527 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
14528 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14529 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14530 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14531 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14532 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14533 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14534 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14535 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14536 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14537 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14538 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14539 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
14540 ;
14541 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14542 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
14543 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14544 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14545 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14546 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14547 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14548 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14549 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14550 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14551 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14552 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14553 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14554 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
14555 ;
14556 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14557 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
14558 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14559 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14560 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14561 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14562 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14563 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14564 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14565 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14566 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14567 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14568 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14569 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
14570 ;
14571 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14572 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
14573 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14574 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14575 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14576 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14577 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14578 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14579 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14580 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14581 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14582 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14583 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14584 ; GFX940-TGSPLIT-NEXT:    s_endpgm
14585 ;
14586 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14587 ; GFX11-WGP:       ; %bb.0: ; %entry
14588 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14589 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14590 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14591 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14592 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14593 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
14594 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
14595 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14596 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14597 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14598 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
14599 ; GFX11-WGP-NEXT:    s_endpgm
14600 ;
14601 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14602 ; GFX11-CU:       ; %bb.0: ; %entry
14603 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14604 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14605 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14606 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14607 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14608 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
14609 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
14610 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14611 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14612 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14613 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
14614 ; GFX11-CU-NEXT:    s_endpgm
14615 ;
14616 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14617 ; GFX12-WGP:       ; %bb.0: ; %entry
14618 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14619 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14620 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14621 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
14622 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14623 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
14624 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
14625 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14626 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14627 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
14628 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
14629 ; GFX12-WGP-NEXT:    s_endpgm
14630 ;
14631 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_acquire_ret_cmpxchg:
14632 ; GFX12-CU:       ; %bb.0: ; %entry
14633 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14634 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14635 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14636 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
14637 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14638 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
14639 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
14640 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14641 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14642 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
14643 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
14644 ; GFX12-CU-NEXT:    s_endpgm
14645     ptr addrspace(3) %out, i32 %in, i32 %old) {
14646 entry:
14647   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
14648   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire acquire
14649   %val0 = extractvalue { i32, i1 } %val, 0
14650   store i32 %val0, ptr addrspace(3) %out, align 4
14651   ret void
14652 }
14653
14654 define amdgpu_kernel void @local_singlethread_one_as_release_acquire_ret_cmpxchg(
14655 ; GFX6-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14656 ; GFX6:       ; %bb.0: ; %entry
14657 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
14658 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
14659 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
14660 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
14661 ; GFX6-NEXT:    s_mov_b32 m0, -1
14662 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14663 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14664 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
14665 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
14666 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14667 ; GFX6-NEXT:    s_mov_b32 m0, -1
14668 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14669 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14670 ; GFX6-NEXT:    ds_write_b32 v0, v1
14671 ; GFX6-NEXT:    s_endpgm
14672 ;
14673 ; GFX7-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14674 ; GFX7:       ; %bb.0: ; %entry
14675 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
14676 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
14677 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
14678 ; GFX7-NEXT:    s_mov_b32 m0, -1
14679 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14680 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14681 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
14682 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
14683 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14684 ; GFX7-NEXT:    s_mov_b32 m0, -1
14685 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14686 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14687 ; GFX7-NEXT:    ds_write_b32 v0, v1
14688 ; GFX7-NEXT:    s_endpgm
14689 ;
14690 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14691 ; GFX10-WGP:       ; %bb.0: ; %entry
14692 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
14693 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
14694 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
14695 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14696 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14697 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
14698 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
14699 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14700 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14701 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14702 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
14703 ; GFX10-WGP-NEXT:    s_endpgm
14704 ;
14705 ; GFX10-CU-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14706 ; GFX10-CU:       ; %bb.0: ; %entry
14707 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
14708 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
14709 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
14710 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14711 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14712 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
14713 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
14714 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14715 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14716 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14717 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
14718 ; GFX10-CU-NEXT:    s_endpgm
14719 ;
14720 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14721 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
14722 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
14723 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
14724 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
14725 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14726 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14727 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14728 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
14729 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
14730 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14731 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14732 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14733 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14734 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
14735 ; SKIP-CACHE-INV-NEXT:    s_endpgm
14736 ;
14737 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14738 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
14739 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14740 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14741 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14742 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14743 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14744 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14745 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14746 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14747 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14748 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14749 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14750 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
14751 ;
14752 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14753 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
14754 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14755 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14756 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14757 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14758 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14759 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14760 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14761 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14762 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14763 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14764 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14765 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
14766 ;
14767 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14768 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
14769 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14770 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14771 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14772 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14773 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14774 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14775 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14776 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14777 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14778 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14779 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14780 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
14781 ;
14782 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14783 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
14784 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14785 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14786 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14787 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14788 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14789 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14790 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14791 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14792 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14793 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14794 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14795 ; GFX940-TGSPLIT-NEXT:    s_endpgm
14796 ;
14797 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14798 ; GFX11-WGP:       ; %bb.0: ; %entry
14799 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14800 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14801 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14802 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14803 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14804 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
14805 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
14806 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14807 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
14808 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14809 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
14810 ; GFX11-WGP-NEXT:    s_endpgm
14811 ;
14812 ; GFX11-CU-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14813 ; GFX11-CU:       ; %bb.0: ; %entry
14814 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14815 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14816 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14817 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14818 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14819 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
14820 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
14821 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14822 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
14823 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
14824 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
14825 ; GFX11-CU-NEXT:    s_endpgm
14826 ;
14827 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14828 ; GFX12-WGP:       ; %bb.0: ; %entry
14829 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
14830 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
14831 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
14832 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
14833 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14834 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
14835 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
14836 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14837 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
14838 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
14839 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
14840 ; GFX12-WGP-NEXT:    s_endpgm
14841 ;
14842 ; GFX12-CU-LABEL: local_singlethread_one_as_release_acquire_ret_cmpxchg:
14843 ; GFX12-CU:       ; %bb.0: ; %entry
14844 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
14845 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
14846 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
14847 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
14848 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14849 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
14850 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
14851 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
14852 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
14853 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
14854 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
14855 ; GFX12-CU-NEXT:    s_endpgm
14856     ptr addrspace(3) %out, i32 %in, i32 %old) {
14857 entry:
14858   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
14859   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release acquire
14860   %val0 = extractvalue { i32, i1 } %val, 0
14861   store i32 %val0, ptr addrspace(3) %out, align 4
14862   ret void
14863 }
14864
14865 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg(
14866 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14867 ; GFX6:       ; %bb.0: ; %entry
14868 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
14869 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
14870 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
14871 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
14872 ; GFX6-NEXT:    s_mov_b32 m0, -1
14873 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14874 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14875 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
14876 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
14877 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14878 ; GFX6-NEXT:    s_mov_b32 m0, -1
14879 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
14880 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
14881 ; GFX6-NEXT:    ds_write_b32 v0, v1
14882 ; GFX6-NEXT:    s_endpgm
14883 ;
14884 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14885 ; GFX7:       ; %bb.0: ; %entry
14886 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
14887 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
14888 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
14889 ; GFX7-NEXT:    s_mov_b32 m0, -1
14890 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14891 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14892 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
14893 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
14894 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14895 ; GFX7-NEXT:    s_mov_b32 m0, -1
14896 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
14897 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
14898 ; GFX7-NEXT:    ds_write_b32 v0, v1
14899 ; GFX7-NEXT:    s_endpgm
14900 ;
14901 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14902 ; GFX10-WGP:       ; %bb.0: ; %entry
14903 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
14904 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
14905 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
14906 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14907 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14908 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
14909 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
14910 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14911 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
14912 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
14913 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
14914 ; GFX10-WGP-NEXT:    s_endpgm
14915 ;
14916 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14917 ; GFX10-CU:       ; %bb.0: ; %entry
14918 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
14919 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
14920 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
14921 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14922 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14923 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
14924 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
14925 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14926 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
14927 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
14928 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
14929 ; GFX10-CU-NEXT:    s_endpgm
14930 ;
14931 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14932 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
14933 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
14934 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
14935 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
14936 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14937 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14938 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14939 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
14940 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
14941 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14942 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
14943 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
14944 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
14945 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
14946 ; SKIP-CACHE-INV-NEXT:    s_endpgm
14947 ;
14948 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14949 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
14950 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14951 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14952 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14953 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14954 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14955 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14956 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14957 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14958 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14959 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14960 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14961 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
14962 ;
14963 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14964 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
14965 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
14966 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
14967 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
14968 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14969 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14970 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
14971 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
14972 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14973 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
14974 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14975 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
14976 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
14977 ;
14978 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14979 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
14980 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14981 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14982 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14983 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14984 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14985 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
14986 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
14987 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
14988 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
14989 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14990 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
14991 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
14992 ;
14993 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
14994 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
14995 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
14996 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
14997 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
14998 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
14999 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15000 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15001 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15002 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15003 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15004 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15005 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15006 ; GFX940-TGSPLIT-NEXT:    s_endpgm
15007 ;
15008 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
15009 ; GFX11-WGP:       ; %bb.0: ; %entry
15010 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15011 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15012 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15013 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15014 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15015 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
15016 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
15017 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15018 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15019 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15020 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
15021 ; GFX11-WGP-NEXT:    s_endpgm
15022 ;
15023 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
15024 ; GFX11-CU:       ; %bb.0: ; %entry
15025 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15026 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15027 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15028 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15029 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15030 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
15031 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
15032 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15033 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15034 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15035 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
15036 ; GFX11-CU-NEXT:    s_endpgm
15037 ;
15038 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
15039 ; GFX12-WGP:       ; %bb.0: ; %entry
15040 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15041 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15042 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15043 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
15044 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15045 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
15046 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
15047 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15048 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15049 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
15050 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
15051 ; GFX12-WGP-NEXT:    s_endpgm
15052 ;
15053 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_acquire_ret_cmpxchg:
15054 ; GFX12-CU:       ; %bb.0: ; %entry
15055 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15056 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15057 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15058 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
15059 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15060 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
15061 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
15062 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15063 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15064 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
15065 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
15066 ; GFX12-CU-NEXT:    s_endpgm
15067     ptr addrspace(3) %out, i32 %in, i32 %old) {
15068 entry:
15069   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
15070   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel acquire
15071   %val0 = extractvalue { i32, i1 } %val, 0
15072   store i32 %val0, ptr addrspace(3) %out, align 4
15073   ret void
15074 }
15075
15076 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg(
15077 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15078 ; GFX6:       ; %bb.0: ; %entry
15079 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
15080 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
15081 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
15082 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
15083 ; GFX6-NEXT:    s_mov_b32 m0, -1
15084 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15085 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15086 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
15087 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
15088 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15089 ; GFX6-NEXT:    s_mov_b32 m0, -1
15090 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15091 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15092 ; GFX6-NEXT:    ds_write_b32 v0, v1
15093 ; GFX6-NEXT:    s_endpgm
15094 ;
15095 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15096 ; GFX7:       ; %bb.0: ; %entry
15097 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
15098 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
15099 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
15100 ; GFX7-NEXT:    s_mov_b32 m0, -1
15101 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15102 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15103 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
15104 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
15105 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15106 ; GFX7-NEXT:    s_mov_b32 m0, -1
15107 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15108 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15109 ; GFX7-NEXT:    ds_write_b32 v0, v1
15110 ; GFX7-NEXT:    s_endpgm
15111 ;
15112 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15113 ; GFX10-WGP:       ; %bb.0: ; %entry
15114 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
15115 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
15116 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
15117 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15118 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15119 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
15120 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
15121 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15122 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15123 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15124 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
15125 ; GFX10-WGP-NEXT:    s_endpgm
15126 ;
15127 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15128 ; GFX10-CU:       ; %bb.0: ; %entry
15129 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
15130 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
15131 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
15132 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15133 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15134 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
15135 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
15136 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15137 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15138 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15139 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
15140 ; GFX10-CU-NEXT:    s_endpgm
15141 ;
15142 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15143 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
15144 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
15145 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
15146 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
15147 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15148 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15149 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15150 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
15151 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
15152 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15153 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15154 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15155 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15156 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
15157 ; SKIP-CACHE-INV-NEXT:    s_endpgm
15158 ;
15159 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15160 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
15161 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15162 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15163 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15164 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15165 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15166 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15167 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15168 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15169 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15170 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15171 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15172 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
15173 ;
15174 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15175 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
15176 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15177 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15178 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15179 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15180 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15181 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15182 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15183 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15184 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15185 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15186 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15187 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
15188 ;
15189 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15190 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
15191 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15192 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15193 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15194 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15195 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15196 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15197 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15198 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15199 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15200 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15201 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15202 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
15203 ;
15204 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15205 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
15206 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15207 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15208 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15209 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15210 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15211 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15212 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15213 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15214 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15215 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15216 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15217 ; GFX940-TGSPLIT-NEXT:    s_endpgm
15218 ;
15219 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15220 ; GFX11-WGP:       ; %bb.0: ; %entry
15221 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15222 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15223 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15224 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15225 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15226 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
15227 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
15228 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15229 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15230 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15231 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
15232 ; GFX11-WGP-NEXT:    s_endpgm
15233 ;
15234 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15235 ; GFX11-CU:       ; %bb.0: ; %entry
15236 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15237 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15238 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15239 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15240 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15241 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
15242 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
15243 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15244 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15245 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15246 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
15247 ; GFX11-CU-NEXT:    s_endpgm
15248 ;
15249 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15250 ; GFX12-WGP:       ; %bb.0: ; %entry
15251 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15252 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15253 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15254 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
15255 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15256 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
15257 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
15258 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15259 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15260 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
15261 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
15262 ; GFX12-WGP-NEXT:    s_endpgm
15263 ;
15264 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_acquire_ret_cmpxchg:
15265 ; GFX12-CU:       ; %bb.0: ; %entry
15266 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15267 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15268 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15269 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
15270 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15271 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
15272 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
15273 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15274 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15275 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
15276 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
15277 ; GFX12-CU-NEXT:    s_endpgm
15278     ptr addrspace(3) %out, i32 %in, i32 %old) {
15279 entry:
15280   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
15281   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst acquire
15282   %val0 = extractvalue { i32, i1 } %val, 0
15283   store i32 %val0, ptr addrspace(3) %out, align 4
15284   ret void
15285 }
15286
15287 define amdgpu_kernel void @local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg(
15288 ; GFX6-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15289 ; GFX6:       ; %bb.0: ; %entry
15290 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
15291 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
15292 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
15293 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
15294 ; GFX6-NEXT:    s_mov_b32 m0, -1
15295 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15296 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15297 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
15298 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
15299 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15300 ; GFX6-NEXT:    s_mov_b32 m0, -1
15301 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15302 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15303 ; GFX6-NEXT:    ds_write_b32 v0, v1
15304 ; GFX6-NEXT:    s_endpgm
15305 ;
15306 ; GFX7-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15307 ; GFX7:       ; %bb.0: ; %entry
15308 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
15309 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
15310 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
15311 ; GFX7-NEXT:    s_mov_b32 m0, -1
15312 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15313 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15314 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
15315 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
15316 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15317 ; GFX7-NEXT:    s_mov_b32 m0, -1
15318 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15319 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15320 ; GFX7-NEXT:    ds_write_b32 v0, v1
15321 ; GFX7-NEXT:    s_endpgm
15322 ;
15323 ; GFX10-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15324 ; GFX10-WGP:       ; %bb.0: ; %entry
15325 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
15326 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
15327 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
15328 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15329 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15330 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
15331 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
15332 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15333 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15334 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15335 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
15336 ; GFX10-WGP-NEXT:    s_endpgm
15337 ;
15338 ; GFX10-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15339 ; GFX10-CU:       ; %bb.0: ; %entry
15340 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
15341 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
15342 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
15343 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15344 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15345 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
15346 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
15347 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15348 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15349 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15350 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
15351 ; GFX10-CU-NEXT:    s_endpgm
15352 ;
15353 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15354 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
15355 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
15356 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
15357 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
15358 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15359 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15360 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15361 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
15362 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
15363 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15364 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15365 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15366 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15367 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
15368 ; SKIP-CACHE-INV-NEXT:    s_endpgm
15369 ;
15370 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15371 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
15372 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15373 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15374 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15375 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15376 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15377 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15378 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15379 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15380 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15381 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15382 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15383 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
15384 ;
15385 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15386 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
15387 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15388 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15389 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15390 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15391 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15392 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15393 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15394 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15395 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15396 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15397 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15398 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
15399 ;
15400 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15401 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
15402 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15403 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15404 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15405 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15406 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15407 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15408 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15409 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15410 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15411 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15412 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15413 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
15414 ;
15415 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15416 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
15417 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15418 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15419 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15420 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15421 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15422 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15423 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15424 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15425 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15426 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15427 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15428 ; GFX940-TGSPLIT-NEXT:    s_endpgm
15429 ;
15430 ; GFX11-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15431 ; GFX11-WGP:       ; %bb.0: ; %entry
15432 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15433 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15434 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15435 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15436 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15437 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
15438 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
15439 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15440 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15441 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15442 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
15443 ; GFX11-WGP-NEXT:    s_endpgm
15444 ;
15445 ; GFX11-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15446 ; GFX11-CU:       ; %bb.0: ; %entry
15447 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15448 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15449 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15450 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15451 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15452 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
15453 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
15454 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15455 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15456 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15457 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
15458 ; GFX11-CU-NEXT:    s_endpgm
15459 ;
15460 ; GFX12-WGP-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15461 ; GFX12-WGP:       ; %bb.0: ; %entry
15462 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15463 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15464 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15465 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
15466 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15467 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
15468 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
15469 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15470 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15471 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
15472 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
15473 ; GFX12-WGP-NEXT:    s_endpgm
15474 ;
15475 ; GFX12-CU-LABEL: local_singlethread_one_as_monotonic_seq_cst_ret_cmpxchg:
15476 ; GFX12-CU:       ; %bb.0: ; %entry
15477 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15478 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15479 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15480 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
15481 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15482 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
15483 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
15484 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15485 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15486 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
15487 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
15488 ; GFX12-CU-NEXT:    s_endpgm
15489     ptr addrspace(3) %out, i32 %in, i32 %old) {
15490 entry:
15491   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
15492   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") monotonic seq_cst
15493   %val0 = extractvalue { i32, i1 } %val, 0
15494   store i32 %val0, ptr addrspace(3) %out, align 4
15495   ret void
15496 }
15497
15498 define amdgpu_kernel void @local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg(
15499 ; GFX6-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15500 ; GFX6:       ; %bb.0: ; %entry
15501 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
15502 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
15503 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
15504 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
15505 ; GFX6-NEXT:    s_mov_b32 m0, -1
15506 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15507 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15508 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
15509 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
15510 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15511 ; GFX6-NEXT:    s_mov_b32 m0, -1
15512 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15513 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15514 ; GFX6-NEXT:    ds_write_b32 v0, v1
15515 ; GFX6-NEXT:    s_endpgm
15516 ;
15517 ; GFX7-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15518 ; GFX7:       ; %bb.0: ; %entry
15519 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
15520 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
15521 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
15522 ; GFX7-NEXT:    s_mov_b32 m0, -1
15523 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15524 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15525 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
15526 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
15527 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15528 ; GFX7-NEXT:    s_mov_b32 m0, -1
15529 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15530 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15531 ; GFX7-NEXT:    ds_write_b32 v0, v1
15532 ; GFX7-NEXT:    s_endpgm
15533 ;
15534 ; GFX10-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15535 ; GFX10-WGP:       ; %bb.0: ; %entry
15536 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
15537 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
15538 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
15539 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15540 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15541 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
15542 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
15543 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15544 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15545 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15546 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
15547 ; GFX10-WGP-NEXT:    s_endpgm
15548 ;
15549 ; GFX10-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15550 ; GFX10-CU:       ; %bb.0: ; %entry
15551 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
15552 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
15553 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
15554 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15555 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15556 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
15557 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
15558 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15559 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15560 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15561 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
15562 ; GFX10-CU-NEXT:    s_endpgm
15563 ;
15564 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15565 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
15566 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
15567 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
15568 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
15569 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15570 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15571 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15572 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
15573 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
15574 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15575 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15576 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15577 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15578 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
15579 ; SKIP-CACHE-INV-NEXT:    s_endpgm
15580 ;
15581 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15582 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
15583 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15584 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15585 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15586 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15587 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15588 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15589 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15590 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15591 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15592 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15593 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15594 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
15595 ;
15596 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15597 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
15598 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15599 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15600 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15601 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15602 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15603 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15604 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15605 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15606 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15607 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15608 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15609 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
15610 ;
15611 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15612 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
15613 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15614 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15615 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15616 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15617 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15618 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15619 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15620 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15621 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15622 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15623 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15624 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
15625 ;
15626 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15627 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
15628 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15629 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15630 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15631 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15632 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15633 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15634 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15635 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15636 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15637 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15638 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15639 ; GFX940-TGSPLIT-NEXT:    s_endpgm
15640 ;
15641 ; GFX11-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15642 ; GFX11-WGP:       ; %bb.0: ; %entry
15643 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15644 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15645 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15646 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15647 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15648 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
15649 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
15650 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15651 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15652 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15653 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
15654 ; GFX11-WGP-NEXT:    s_endpgm
15655 ;
15656 ; GFX11-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15657 ; GFX11-CU:       ; %bb.0: ; %entry
15658 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15659 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15660 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15661 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15662 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15663 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
15664 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
15665 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15666 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15667 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15668 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
15669 ; GFX11-CU-NEXT:    s_endpgm
15670 ;
15671 ; GFX12-WGP-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15672 ; GFX12-WGP:       ; %bb.0: ; %entry
15673 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15674 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15675 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15676 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
15677 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15678 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
15679 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
15680 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15681 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15682 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
15683 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
15684 ; GFX12-WGP-NEXT:    s_endpgm
15685 ;
15686 ; GFX12-CU-LABEL: local_singlethread_one_as_acquire_seq_cst_ret_cmpxchg:
15687 ; GFX12-CU:       ; %bb.0: ; %entry
15688 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15689 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15690 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15691 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
15692 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15693 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
15694 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
15695 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15696 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15697 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
15698 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
15699 ; GFX12-CU-NEXT:    s_endpgm
15700     ptr addrspace(3) %out, i32 %in, i32 %old) {
15701 entry:
15702   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
15703   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acquire seq_cst
15704   %val0 = extractvalue { i32, i1 } %val, 0
15705   store i32 %val0, ptr addrspace(3) %out, align 4
15706   ret void
15707 }
15708
15709 define amdgpu_kernel void @local_singlethread_one_as_release_seq_cst_ret_cmpxchg(
15710 ; GFX6-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15711 ; GFX6:       ; %bb.0: ; %entry
15712 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
15713 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
15714 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
15715 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
15716 ; GFX6-NEXT:    s_mov_b32 m0, -1
15717 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15718 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15719 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
15720 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
15721 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15722 ; GFX6-NEXT:    s_mov_b32 m0, -1
15723 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15724 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15725 ; GFX6-NEXT:    ds_write_b32 v0, v1
15726 ; GFX6-NEXT:    s_endpgm
15727 ;
15728 ; GFX7-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15729 ; GFX7:       ; %bb.0: ; %entry
15730 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
15731 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
15732 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
15733 ; GFX7-NEXT:    s_mov_b32 m0, -1
15734 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15735 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15736 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
15737 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
15738 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15739 ; GFX7-NEXT:    s_mov_b32 m0, -1
15740 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15741 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15742 ; GFX7-NEXT:    ds_write_b32 v0, v1
15743 ; GFX7-NEXT:    s_endpgm
15744 ;
15745 ; GFX10-WGP-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15746 ; GFX10-WGP:       ; %bb.0: ; %entry
15747 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
15748 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
15749 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
15750 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15751 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15752 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
15753 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
15754 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15755 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15756 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15757 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
15758 ; GFX10-WGP-NEXT:    s_endpgm
15759 ;
15760 ; GFX10-CU-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15761 ; GFX10-CU:       ; %bb.0: ; %entry
15762 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
15763 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
15764 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
15765 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15766 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15767 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
15768 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
15769 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15770 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15771 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15772 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
15773 ; GFX10-CU-NEXT:    s_endpgm
15774 ;
15775 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15776 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
15777 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
15778 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
15779 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
15780 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15781 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15782 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15783 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
15784 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
15785 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15786 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15787 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15788 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15789 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
15790 ; SKIP-CACHE-INV-NEXT:    s_endpgm
15791 ;
15792 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15793 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
15794 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15795 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15796 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15797 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15798 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15799 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15800 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15801 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15802 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15803 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15804 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15805 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
15806 ;
15807 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15808 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
15809 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
15810 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
15811 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
15812 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15813 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15814 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
15815 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
15816 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15817 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
15818 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15819 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15820 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
15821 ;
15822 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15823 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
15824 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15825 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15826 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15827 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15828 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15829 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15830 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15831 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15832 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15833 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15834 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
15835 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
15836 ;
15837 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15838 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
15839 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
15840 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
15841 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
15842 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15843 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15844 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
15845 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
15846 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15847 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
15848 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
15849 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
15850 ; GFX940-TGSPLIT-NEXT:    s_endpgm
15851 ;
15852 ; GFX11-WGP-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15853 ; GFX11-WGP:       ; %bb.0: ; %entry
15854 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15855 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15856 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15857 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15858 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15859 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
15860 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
15861 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15862 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
15863 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15864 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
15865 ; GFX11-WGP-NEXT:    s_endpgm
15866 ;
15867 ; GFX11-CU-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15868 ; GFX11-CU:       ; %bb.0: ; %entry
15869 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15870 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15871 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15872 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15873 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15874 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
15875 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
15876 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15877 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
15878 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
15879 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
15880 ; GFX11-CU-NEXT:    s_endpgm
15881 ;
15882 ; GFX12-WGP-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15883 ; GFX12-WGP:       ; %bb.0: ; %entry
15884 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
15885 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
15886 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
15887 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
15888 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15889 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
15890 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
15891 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15892 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
15893 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
15894 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
15895 ; GFX12-WGP-NEXT:    s_endpgm
15896 ;
15897 ; GFX12-CU-LABEL: local_singlethread_one_as_release_seq_cst_ret_cmpxchg:
15898 ; GFX12-CU:       ; %bb.0: ; %entry
15899 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
15900 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
15901 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
15902 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
15903 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15904 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
15905 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
15906 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
15907 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
15908 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
15909 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
15910 ; GFX12-CU-NEXT:    s_endpgm
15911     ptr addrspace(3) %out, i32 %in, i32 %old) {
15912 entry:
15913   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
15914   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") release seq_cst
15915   %val0 = extractvalue { i32, i1 } %val, 0
15916   store i32 %val0, ptr addrspace(3) %out, align 4
15917   ret void
15918 }
15919
15920 define amdgpu_kernel void @local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg(
15921 ; GFX6-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
15922 ; GFX6:       ; %bb.0: ; %entry
15923 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
15924 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
15925 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
15926 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
15927 ; GFX6-NEXT:    s_mov_b32 m0, -1
15928 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15929 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15930 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
15931 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
15932 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15933 ; GFX6-NEXT:    s_mov_b32 m0, -1
15934 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
15935 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
15936 ; GFX6-NEXT:    ds_write_b32 v0, v1
15937 ; GFX6-NEXT:    s_endpgm
15938 ;
15939 ; GFX7-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
15940 ; GFX7:       ; %bb.0: ; %entry
15941 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
15942 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
15943 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
15944 ; GFX7-NEXT:    s_mov_b32 m0, -1
15945 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15946 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15947 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
15948 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
15949 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15950 ; GFX7-NEXT:    s_mov_b32 m0, -1
15951 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
15952 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
15953 ; GFX7-NEXT:    ds_write_b32 v0, v1
15954 ; GFX7-NEXT:    s_endpgm
15955 ;
15956 ; GFX10-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
15957 ; GFX10-WGP:       ; %bb.0: ; %entry
15958 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
15959 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
15960 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
15961 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15962 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15963 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
15964 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
15965 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15966 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
15967 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
15968 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
15969 ; GFX10-WGP-NEXT:    s_endpgm
15970 ;
15971 ; GFX10-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
15972 ; GFX10-CU:       ; %bb.0: ; %entry
15973 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
15974 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
15975 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
15976 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15977 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15978 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
15979 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
15980 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15981 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
15982 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
15983 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
15984 ; GFX10-CU-NEXT:    s_endpgm
15985 ;
15986 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
15987 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
15988 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
15989 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
15990 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
15991 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15992 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
15993 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15994 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
15995 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
15996 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
15997 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
15998 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
15999 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
16000 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
16001 ; SKIP-CACHE-INV-NEXT:    s_endpgm
16002 ;
16003 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16004 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
16005 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
16006 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
16007 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
16008 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16009 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16010 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
16011 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
16012 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16013 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16014 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16015 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
16016 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
16017 ;
16018 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16019 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
16020 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
16021 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
16022 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
16023 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16024 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16025 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
16026 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
16027 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16028 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16029 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16030 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
16031 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
16032 ;
16033 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16034 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
16035 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
16036 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
16037 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
16038 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16039 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16040 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
16041 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
16042 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16043 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16044 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16045 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
16046 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
16047 ;
16048 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16049 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
16050 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
16051 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
16052 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
16053 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16054 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16055 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
16056 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
16057 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16058 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16059 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16060 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
16061 ; GFX940-TGSPLIT-NEXT:    s_endpgm
16062 ;
16063 ; GFX11-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16064 ; GFX11-WGP:       ; %bb.0: ; %entry
16065 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
16066 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
16067 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
16068 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16069 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
16070 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
16071 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
16072 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16073 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
16074 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16075 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
16076 ; GFX11-WGP-NEXT:    s_endpgm
16077 ;
16078 ; GFX11-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16079 ; GFX11-CU:       ; %bb.0: ; %entry
16080 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
16081 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
16082 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
16083 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
16084 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
16085 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
16086 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
16087 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16088 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
16089 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
16090 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
16091 ; GFX11-CU-NEXT:    s_endpgm
16092 ;
16093 ; GFX12-WGP-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16094 ; GFX12-WGP:       ; %bb.0: ; %entry
16095 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
16096 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
16097 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
16098 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
16099 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
16100 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
16101 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
16102 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16103 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
16104 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
16105 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
16106 ; GFX12-WGP-NEXT:    s_endpgm
16107 ;
16108 ; GFX12-CU-LABEL: local_singlethread_one_as_acq_rel_seq_cst_ret_cmpxchg:
16109 ; GFX12-CU:       ; %bb.0: ; %entry
16110 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
16111 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
16112 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
16113 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
16114 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
16115 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
16116 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
16117 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16118 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
16119 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
16120 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
16121 ; GFX12-CU-NEXT:    s_endpgm
16122     ptr addrspace(3) %out, i32 %in, i32 %old) {
16123 entry:
16124   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
16125   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") acq_rel seq_cst
16126   %val0 = extractvalue { i32, i1 } %val, 0
16127   store i32 %val0, ptr addrspace(3) %out, align 4
16128   ret void
16129 }
16130
16131 define amdgpu_kernel void @local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg(
16132 ; GFX6-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16133 ; GFX6:       ; %bb.0: ; %entry
16134 ; GFX6-NEXT:    s_load_dword s4, s[8:9], 0x0
16135 ; GFX6-NEXT:    ; kill: def $sgpr5 killed $sgpr4
16136 ; GFX6-NEXT:    s_load_dword s5, s[8:9], 0x1
16137 ; GFX6-NEXT:    s_load_dword s6, s[8:9], 0x2
16138 ; GFX6-NEXT:    s_mov_b32 m0, -1
16139 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
16140 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
16141 ; GFX6-NEXT:    v_mov_b32_e32 v1, s6
16142 ; GFX6-NEXT:    v_mov_b32_e32 v2, s5
16143 ; GFX6-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16144 ; GFX6-NEXT:    s_mov_b32 m0, -1
16145 ; GFX6-NEXT:    v_mov_b32_e32 v0, s4
16146 ; GFX6-NEXT:    s_waitcnt lgkmcnt(0)
16147 ; GFX6-NEXT:    ds_write_b32 v0, v1
16148 ; GFX6-NEXT:    s_endpgm
16149 ;
16150 ; GFX7-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16151 ; GFX7:       ; %bb.0: ; %entry
16152 ; GFX7-NEXT:    s_load_dword s4, s[8:9], 0x0
16153 ; GFX7-NEXT:    s_load_dword s5, s[8:9], 0x1
16154 ; GFX7-NEXT:    s_load_dword s6, s[8:9], 0x2
16155 ; GFX7-NEXT:    s_mov_b32 m0, -1
16156 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
16157 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
16158 ; GFX7-NEXT:    v_mov_b32_e32 v1, s6
16159 ; GFX7-NEXT:    v_mov_b32_e32 v2, s5
16160 ; GFX7-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16161 ; GFX7-NEXT:    s_mov_b32 m0, -1
16162 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
16163 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
16164 ; GFX7-NEXT:    ds_write_b32 v0, v1
16165 ; GFX7-NEXT:    s_endpgm
16166 ;
16167 ; GFX10-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16168 ; GFX10-WGP:       ; %bb.0: ; %entry
16169 ; GFX10-WGP-NEXT:    s_load_dword s4, s[8:9], 0x0
16170 ; GFX10-WGP-NEXT:    s_load_dword s5, s[8:9], 0x4
16171 ; GFX10-WGP-NEXT:    s_load_dword s6, s[8:9], 0x8
16172 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16173 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
16174 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v1, s6
16175 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v2, s5
16176 ; GFX10-WGP-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16177 ; GFX10-WGP-NEXT:    v_mov_b32_e32 v0, s4
16178 ; GFX10-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16179 ; GFX10-WGP-NEXT:    ds_write_b32 v0, v1
16180 ; GFX10-WGP-NEXT:    s_endpgm
16181 ;
16182 ; GFX10-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16183 ; GFX10-CU:       ; %bb.0: ; %entry
16184 ; GFX10-CU-NEXT:    s_load_dword s4, s[8:9], 0x0
16185 ; GFX10-CU-NEXT:    s_load_dword s5, s[8:9], 0x4
16186 ; GFX10-CU-NEXT:    s_load_dword s6, s[8:9], 0x8
16187 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
16188 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
16189 ; GFX10-CU-NEXT:    v_mov_b32_e32 v1, s6
16190 ; GFX10-CU-NEXT:    v_mov_b32_e32 v2, s5
16191 ; GFX10-CU-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16192 ; GFX10-CU-NEXT:    v_mov_b32_e32 v0, s4
16193 ; GFX10-CU-NEXT:    s_waitcnt lgkmcnt(0)
16194 ; GFX10-CU-NEXT:    ds_write_b32 v0, v1
16195 ; GFX10-CU-NEXT:    s_endpgm
16196 ;
16197 ; SKIP-CACHE-INV-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16198 ; SKIP-CACHE-INV:       ; %bb.0: ; %entry
16199 ; SKIP-CACHE-INV-NEXT:    s_load_dword s0, s[4:5], 0x0
16200 ; SKIP-CACHE-INV-NEXT:    s_load_dword s1, s[4:5], 0x1
16201 ; SKIP-CACHE-INV-NEXT:    s_load_dword s2, s[4:5], 0x2
16202 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
16203 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
16204 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
16205 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v1, s2
16206 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v2, s1
16207 ; SKIP-CACHE-INV-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16208 ; SKIP-CACHE-INV-NEXT:    s_mov_b32 m0, -1
16209 ; SKIP-CACHE-INV-NEXT:    v_mov_b32_e32 v0, s0
16210 ; SKIP-CACHE-INV-NEXT:    s_waitcnt lgkmcnt(0)
16211 ; SKIP-CACHE-INV-NEXT:    ds_write_b32 v0, v1
16212 ; SKIP-CACHE-INV-NEXT:    s_endpgm
16213 ;
16214 ; GFX90A-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16215 ; GFX90A-NOTTGSPLIT:       ; %bb.0: ; %entry
16216 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
16217 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
16218 ; GFX90A-NOTTGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
16219 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16220 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16221 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
16222 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
16223 ; GFX90A-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16224 ; GFX90A-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16225 ; GFX90A-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16226 ; GFX90A-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
16227 ; GFX90A-NOTTGSPLIT-NEXT:    s_endpgm
16228 ;
16229 ; GFX90A-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16230 ; GFX90A-TGSPLIT:       ; %bb.0: ; %entry
16231 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s4, s[8:9], 0x0
16232 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s5, s[8:9], 0x4
16233 ; GFX90A-TGSPLIT-NEXT:    s_load_dword s6, s[8:9], 0x8
16234 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16235 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16236 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s6
16237 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s5
16238 ; GFX90A-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16239 ; GFX90A-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s4
16240 ; GFX90A-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16241 ; GFX90A-TGSPLIT-NEXT:    ds_write_b32 v0, v1
16242 ; GFX90A-TGSPLIT-NEXT:    s_endpgm
16243 ;
16244 ; GFX940-NOTTGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16245 ; GFX940-NOTTGSPLIT:       ; %bb.0: ; %entry
16246 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
16247 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
16248 ; GFX940-NOTTGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
16249 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16250 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16251 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
16252 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
16253 ; GFX940-NOTTGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16254 ; GFX940-NOTTGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16255 ; GFX940-NOTTGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16256 ; GFX940-NOTTGSPLIT-NEXT:    ds_write_b32 v0, v1
16257 ; GFX940-NOTTGSPLIT-NEXT:    s_endpgm
16258 ;
16259 ; GFX940-TGSPLIT-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16260 ; GFX940-TGSPLIT:       ; %bb.0: ; %entry
16261 ; GFX940-TGSPLIT-NEXT:    s_load_dword s0, s[4:5], 0x0
16262 ; GFX940-TGSPLIT-NEXT:    s_load_dword s1, s[4:5], 0x4
16263 ; GFX940-TGSPLIT-NEXT:    s_load_dword s2, s[4:5], 0x8
16264 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16265 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16266 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v1, s2
16267 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v2, s1
16268 ; GFX940-TGSPLIT-NEXT:    ds_cmpst_rtn_b32 v1, v0, v1, v2 offset:16
16269 ; GFX940-TGSPLIT-NEXT:    v_mov_b32_e32 v0, s0
16270 ; GFX940-TGSPLIT-NEXT:    s_waitcnt lgkmcnt(0)
16271 ; GFX940-TGSPLIT-NEXT:    ds_write_b32 v0, v1
16272 ; GFX940-TGSPLIT-NEXT:    s_endpgm
16273 ;
16274 ; GFX11-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16275 ; GFX11-WGP:       ; %bb.0: ; %entry
16276 ; GFX11-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
16277 ; GFX11-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
16278 ; GFX11-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
16279 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16280 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
16281 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v1, s2
16282 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v2, s1
16283 ; GFX11-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16284 ; GFX11-WGP-NEXT:    v_mov_b32_e32 v0, s0
16285 ; GFX11-WGP-NEXT:    s_waitcnt lgkmcnt(0)
16286 ; GFX11-WGP-NEXT:    ds_store_b32 v0, v1
16287 ; GFX11-WGP-NEXT:    s_endpgm
16288 ;
16289 ; GFX11-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16290 ; GFX11-CU:       ; %bb.0: ; %entry
16291 ; GFX11-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
16292 ; GFX11-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
16293 ; GFX11-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
16294 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
16295 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
16296 ; GFX11-CU-NEXT:    v_mov_b32_e32 v1, s2
16297 ; GFX11-CU-NEXT:    v_mov_b32_e32 v2, s1
16298 ; GFX11-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16299 ; GFX11-CU-NEXT:    v_mov_b32_e32 v0, s0
16300 ; GFX11-CU-NEXT:    s_waitcnt lgkmcnt(0)
16301 ; GFX11-CU-NEXT:    ds_store_b32 v0, v1
16302 ; GFX11-CU-NEXT:    s_endpgm
16303 ;
16304 ; GFX12-WGP-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16305 ; GFX12-WGP:       ; %bb.0: ; %entry
16306 ; GFX12-WGP-NEXT:    s_load_b32 s0, s[4:5], 0x0
16307 ; GFX12-WGP-NEXT:    s_load_b32 s2, s[4:5], 0x4
16308 ; GFX12-WGP-NEXT:    s_load_b32 s1, s[4:5], 0x8
16309 ; GFX12-WGP-NEXT:    s_wait_kmcnt 0x0
16310 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
16311 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v1, s2
16312 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v2, s1
16313 ; GFX12-WGP-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16314 ; GFX12-WGP-NEXT:    v_mov_b32_e32 v0, s0
16315 ; GFX12-WGP-NEXT:    s_wait_dscnt 0x0
16316 ; GFX12-WGP-NEXT:    ds_store_b32 v0, v1
16317 ; GFX12-WGP-NEXT:    s_endpgm
16318 ;
16319 ; GFX12-CU-LABEL: local_singlethread_one_as_seq_cst_seq_cst_ret_cmpxchg:
16320 ; GFX12-CU:       ; %bb.0: ; %entry
16321 ; GFX12-CU-NEXT:    s_load_b32 s0, s[4:5], 0x0
16322 ; GFX12-CU-NEXT:    s_load_b32 s2, s[4:5], 0x4
16323 ; GFX12-CU-NEXT:    s_load_b32 s1, s[4:5], 0x8
16324 ; GFX12-CU-NEXT:    s_wait_kmcnt 0x0
16325 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
16326 ; GFX12-CU-NEXT:    v_mov_b32_e32 v1, s2
16327 ; GFX12-CU-NEXT:    v_mov_b32_e32 v2, s1
16328 ; GFX12-CU-NEXT:    ds_cmpstore_rtn_b32 v1, v0, v1, v2 offset:16
16329 ; GFX12-CU-NEXT:    v_mov_b32_e32 v0, s0
16330 ; GFX12-CU-NEXT:    s_wait_dscnt 0x0
16331 ; GFX12-CU-NEXT:    ds_store_b32 v0, v1
16332 ; GFX12-CU-NEXT:    s_endpgm
16333     ptr addrspace(3) %out, i32 %in, i32 %old) {
16334 entry:
16335   %gep = getelementptr i32, ptr addrspace(3) %out, i32 4
16336   %val = cmpxchg volatile ptr addrspace(3) %gep, i32 %old, i32 %in syncscope("singlethread-one-as") seq_cst seq_cst
16337   %val0 = extractvalue { i32, i1 } %val, 0
16338   store i32 %val0, ptr addrspace(3) %out, align 4
16339   ret void
16340 }