llvm/test/CodeGen/AMDGPU/global_atomics_i64.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn -mcpu=bonaire -amdgpu-atomic-optimizer-strategy=None -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=CI %s
   3 ; RUN: llc -mtriple=amdgcn -mcpu=tonga -amdgpu-atomic-optimizer-strategy=None -mattr=-flat-for-global -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=VI %s
   4 ; RUN: llc -mtriple=amdgcn -mcpu=gfx900 -amdgpu-atomic-optimizer-strategy=None -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=GFX9 %s
   5 ; RUN: llc -mtriple=amdgcn -mcpu=gfx1200 -amdgpu-atomic-optimizer-strategy=None -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefixes=GFX12 %s
   6
   7 define amdgpu_kernel void @atomic_add_i64_offset(ptr addrspace(1) %out, i64 %in) {
   8 ; CI-LABEL: atomic_add_i64_offset:
   9 ; CI:       ; %bb.0: ; %entry
  10 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
  11 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
  12 ; CI-NEXT:    v_mov_b32_e32 v0, s2
  13 ; CI-NEXT:    v_mov_b32_e32 v1, s3
  14 ; CI-NEXT:    s_mov_b32 s3, 0xf000
  15 ; CI-NEXT:    s_mov_b32 s2, -1
  16 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[0:3], 0 offset:32
  17 ; CI-NEXT:    s_waitcnt vmcnt(0)
  18 ; CI-NEXT:    buffer_wbinvl1_vol
  19 ; CI-NEXT:    s_endpgm
  20 ;
  21 ; VI-LABEL: atomic_add_i64_offset:
  22 ; VI:       ; %bb.0: ; %entry
  23 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
  24 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
  25 ; VI-NEXT:    v_mov_b32_e32 v0, s2
  26 ; VI-NEXT:    v_mov_b32_e32 v1, s3
  27 ; VI-NEXT:    s_mov_b32 s3, 0xf000
  28 ; VI-NEXT:    s_mov_b32 s2, -1
  29 ; VI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[0:3], 0 offset:32
  30 ; VI-NEXT:    s_waitcnt vmcnt(0)
  31 ; VI-NEXT:    buffer_wbinvl1_vol
  32 ; VI-NEXT:    s_endpgm
  33 ;
  34 ; GFX9-LABEL: atomic_add_i64_offset:
  35 ; GFX9:       ; %bb.0: ; %entry
  36 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
  37 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
  38 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
  39 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
  40 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
  41 ; GFX9-NEXT:    global_atomic_add_x2 v2, v[0:1], s[0:1] offset:32
  42 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
  43 ; GFX9-NEXT:    buffer_wbinvl1_vol
  44 ; GFX9-NEXT:    s_endpgm
  45 ;
  46 ; GFX12-LABEL: atomic_add_i64_offset:
  47 ; GFX12:       ; %bb.0: ; %entry
  48 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  49 ; GFX12-NEXT:    s_wait_kmcnt 0x0
  50 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
  51 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
  52 ; GFX12-NEXT:    global_atomic_add_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
  53 ; GFX12-NEXT:    s_wait_storecnt 0x0
  54 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
  55 ; GFX12-NEXT:    s_endpgm
  56 entry:
  57   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
  58   %tmp0 = atomicrmw volatile add ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
  59   ret void
  60 }
  61
  62 define amdgpu_kernel void @atomic_add_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
  63 ; CI-LABEL: atomic_add_i64_ret_offset:
  64 ; CI:       ; %bb.0: ; %entry
  65 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
  66 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
  67 ; CI-NEXT:    s_mov_b32 s7, 0xf000
  68 ; CI-NEXT:    s_mov_b32 s6, -1
  69 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
  70 ; CI-NEXT:    s_mov_b32 s4, s2
  71 ; CI-NEXT:    s_mov_b32 s5, s3
  72 ; CI-NEXT:    v_mov_b32_e32 v0, s8
  73 ; CI-NEXT:    v_mov_b32_e32 v1, s9
  74 ; CI-NEXT:    s_mov_b32 s2, s6
  75 ; CI-NEXT:    s_mov_b32 s3, s7
  76 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[0:3], 0 offset:32 glc
  77 ; CI-NEXT:    s_waitcnt vmcnt(0)
  78 ; CI-NEXT:    buffer_wbinvl1_vol
  79 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
  80 ; CI-NEXT:    s_endpgm
  81 ;
  82 ; VI-LABEL: atomic_add_i64_ret_offset:
  83 ; VI:       ; %bb.0: ; %entry
  84 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
  85 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
  86 ; VI-NEXT:    s_mov_b32 s7, 0xf000
  87 ; VI-NEXT:    s_mov_b32 s6, -1
  88 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
  89 ; VI-NEXT:    s_mov_b32 s4, s2
  90 ; VI-NEXT:    s_mov_b32 s5, s3
  91 ; VI-NEXT:    v_mov_b32_e32 v0, s8
  92 ; VI-NEXT:    v_mov_b32_e32 v1, s9
  93 ; VI-NEXT:    s_mov_b32 s2, s6
  94 ; VI-NEXT:    s_mov_b32 s3, s7
  95 ; VI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[0:3], 0 offset:32 glc
  96 ; VI-NEXT:    s_waitcnt vmcnt(0)
  97 ; VI-NEXT:    buffer_wbinvl1_vol
  98 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
  99 ; VI-NEXT:    s_endpgm
 100 ;
 101 ; GFX9-LABEL: atomic_add_i64_ret_offset:
 102 ; GFX9:       ; %bb.0: ; %entry
 103 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 104 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 105 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 106 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 107 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
 108 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
 109 ; GFX9-NEXT:    global_atomic_add_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
 110 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 111 ; GFX9-NEXT:    buffer_wbinvl1_vol
 112 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
 113 ; GFX9-NEXT:    s_endpgm
 114 ;
 115 ; GFX12-LABEL: atomic_add_i64_ret_offset:
 116 ; GFX12:       ; %bb.0: ; %entry
 117 ; GFX12-NEXT:    s_clause 0x1
 118 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 119 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 120 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 121 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
 122 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
 123 ; GFX12-NEXT:    global_atomic_add_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 124 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 125 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 126 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 127 ; GFX12-NEXT:    s_endpgm
 128 entry:
 129   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
 130   %tmp0 = atomicrmw volatile add ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 131   store i64 %tmp0, ptr addrspace(1) %out2
 132   ret void
 133 }
 134
 135 define amdgpu_kernel void @atomic_add_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
 136 ; CI-LABEL: atomic_add_i64_addr64_offset:
 137 ; CI:       ; %bb.0: ; %entry
 138 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 139 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 140 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 141 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 142 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
 143 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 144 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 145 ; CI-NEXT:    s_mov_b32 s3, 0xf000
 146 ; CI-NEXT:    s_mov_b32 s2, 0
 147 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 148 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
 149 ; CI-NEXT:    s_waitcnt vmcnt(0)
 150 ; CI-NEXT:    buffer_wbinvl1_vol
 151 ; CI-NEXT:    s_endpgm
 152 ;
 153 ; VI-LABEL: atomic_add_i64_addr64_offset:
 154 ; VI:       ; %bb.0: ; %entry
 155 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 156 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 157 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 158 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 159 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 160 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 161 ; VI-NEXT:    s_add_u32 s0, s0, s2
 162 ; VI-NEXT:    s_addc_u32 s1, s1, s3
 163 ; VI-NEXT:    s_add_u32 s0, s0, 32
 164 ; VI-NEXT:    s_addc_u32 s1, s1, 0
 165 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 166 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 167 ; VI-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 168 ; VI-NEXT:    s_waitcnt vmcnt(0)
 169 ; VI-NEXT:    buffer_wbinvl1_vol
 170 ; VI-NEXT:    s_endpgm
 171 ;
 172 ; GFX9-LABEL: atomic_add_i64_addr64_offset:
 173 ; GFX9:       ; %bb.0: ; %entry
 174 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 175 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 176 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 177 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 178 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 179 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 180 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
 181 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
 182 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
 183 ; GFX9-NEXT:    global_atomic_add_x2 v2, v[0:1], s[0:1] offset:32
 184 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 185 ; GFX9-NEXT:    buffer_wbinvl1_vol
 186 ; GFX9-NEXT:    s_endpgm
 187 ;
 188 ; GFX12-LABEL: atomic_add_i64_addr64_offset:
 189 ; GFX12:       ; %bb.0: ; %entry
 190 ; GFX12-NEXT:    s_clause 0x1
 191 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 192 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 193 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
 194 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 195 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 196 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 197 ; GFX12-NEXT:    s_wait_alu 0xfffe
 198 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
 199 ; GFX12-NEXT:    global_atomic_add_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
 200 ; GFX12-NEXT:    s_wait_storecnt 0x0
 201 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 202 ; GFX12-NEXT:    s_endpgm
 203 entry:
 204   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 205   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
 206   %tmp0 = atomicrmw volatile add ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 207   ret void
 208 }
 209
 210 define amdgpu_kernel void @atomic_add_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
 211 ; CI-LABEL: atomic_add_i64_ret_addr64_offset:
 212 ; CI:       ; %bb.0: ; %entry
 213 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 214 ; CI-NEXT:    s_mov_b32 s11, 0xf000
 215 ; CI-NEXT:    s_mov_b32 s10, -1
 216 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 217 ; CI-NEXT:    v_mov_b32_e32 v0, s4
 218 ; CI-NEXT:    v_mov_b32_e32 v1, s5
 219 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 220 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 221 ; CI-NEXT:    s_mov_b32 s8, s2
 222 ; CI-NEXT:    s_mov_b32 s9, s3
 223 ; CI-NEXT:    s_mov_b32 s2, 0
 224 ; CI-NEXT:    s_mov_b32 s3, s11
 225 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 226 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
 227 ; CI-NEXT:    s_waitcnt vmcnt(0)
 228 ; CI-NEXT:    buffer_wbinvl1_vol
 229 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
 230 ; CI-NEXT:    s_endpgm
 231 ;
 232 ; VI-LABEL: atomic_add_i64_ret_addr64_offset:
 233 ; VI:       ; %bb.0: ; %entry
 234 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 235 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 236 ; VI-NEXT:    v_mov_b32_e32 v0, s4
 237 ; VI-NEXT:    v_mov_b32_e32 v1, s5
 238 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 239 ; VI-NEXT:    s_add_u32 s0, s0, s4
 240 ; VI-NEXT:    s_addc_u32 s1, s1, s5
 241 ; VI-NEXT:    s_add_u32 s0, s0, 32
 242 ; VI-NEXT:    s_addc_u32 s1, s1, 0
 243 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 244 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 245 ; VI-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 246 ; VI-NEXT:    s_waitcnt vmcnt(0)
 247 ; VI-NEXT:    buffer_wbinvl1_vol
 248 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 249 ; VI-NEXT:    s_mov_b32 s6, -1
 250 ; VI-NEXT:    s_mov_b32 s4, s2
 251 ; VI-NEXT:    s_mov_b32 s5, s3
 252 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 253 ; VI-NEXT:    s_endpgm
 254 ;
 255 ; GFX9-LABEL: atomic_add_i64_ret_addr64_offset:
 256 ; GFX9:       ; %bb.0: ; %entry
 257 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
 258 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 259 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 260 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
 261 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
 262 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
 263 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
 264 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
 265 ; GFX9-NEXT:    global_atomic_add_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
 266 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 267 ; GFX9-NEXT:    buffer_wbinvl1_vol
 268 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
 269 ; GFX9-NEXT:    s_endpgm
 270 ;
 271 ; GFX12-LABEL: atomic_add_i64_ret_addr64_offset:
 272 ; GFX12:       ; %bb.0: ; %entry
 273 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 274 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 275 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
 276 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
 277 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 278 ; GFX12-NEXT:    s_wait_alu 0xfffe
 279 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 280 ; GFX12-NEXT:    global_atomic_add_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 281 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 282 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 283 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 284 ; GFX12-NEXT:    s_endpgm
 285 entry:
 286   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 287   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
 288   %tmp0 = atomicrmw volatile add ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 289   store i64 %tmp0, ptr addrspace(1) %out2
 290   ret void
 291 }
 292
 293 define amdgpu_kernel void @atomic_add_i64(ptr addrspace(1) %out, i64 %in) {
 294 ; CI-LABEL: atomic_add_i64:
 295 ; CI:       ; %bb.0: ; %entry
 296 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 297 ; CI-NEXT:    s_mov_b32 s7, 0xf000
 298 ; CI-NEXT:    s_mov_b32 s6, -1
 299 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 300 ; CI-NEXT:    s_mov_b32 s4, s0
 301 ; CI-NEXT:    s_mov_b32 s5, s1
 302 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 303 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 304 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[4:7], 0
 305 ; CI-NEXT:    s_waitcnt vmcnt(0)
 306 ; CI-NEXT:    buffer_wbinvl1_vol
 307 ; CI-NEXT:    s_endpgm
 308 ;
 309 ; VI-LABEL: atomic_add_i64:
 310 ; VI:       ; %bb.0: ; %entry
 311 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 312 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 313 ; VI-NEXT:    s_mov_b32 s6, -1
 314 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 315 ; VI-NEXT:    s_mov_b32 s4, s0
 316 ; VI-NEXT:    s_mov_b32 s5, s1
 317 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 318 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 319 ; VI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[4:7], 0
 320 ; VI-NEXT:    s_waitcnt vmcnt(0)
 321 ; VI-NEXT:    buffer_wbinvl1_vol
 322 ; VI-NEXT:    s_endpgm
 323 ;
 324 ; GFX9-LABEL: atomic_add_i64:
 325 ; GFX9:       ; %bb.0: ; %entry
 326 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 327 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 328 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 329 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 330 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 331 ; GFX9-NEXT:    global_atomic_add_x2 v2, v[0:1], s[0:1]
 332 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 333 ; GFX9-NEXT:    buffer_wbinvl1_vol
 334 ; GFX9-NEXT:    s_endpgm
 335 ;
 336 ; GFX12-LABEL: atomic_add_i64:
 337 ; GFX12:       ; %bb.0: ; %entry
 338 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 339 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 340 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
 341 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
 342 ; GFX12-NEXT:    global_atomic_add_u64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
 343 ; GFX12-NEXT:    s_wait_storecnt 0x0
 344 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 345 ; GFX12-NEXT:    s_endpgm
 346 entry:
 347   %tmp0 = atomicrmw volatile add ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
 348   ret void
 349 }
 350
 351 define amdgpu_kernel void @atomic_add_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
 352 ; CI-LABEL: atomic_add_i64_ret:
 353 ; CI:       ; %bb.0: ; %entry
 354 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 355 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
 356 ; CI-NEXT:    s_mov_b32 s7, 0xf000
 357 ; CI-NEXT:    s_mov_b32 s6, -1
 358 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 359 ; CI-NEXT:    s_mov_b32 s4, s0
 360 ; CI-NEXT:    s_mov_b32 s5, s1
 361 ; CI-NEXT:    v_mov_b32_e32 v0, s8
 362 ; CI-NEXT:    v_mov_b32_e32 v1, s9
 363 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[4:7], 0 glc
 364 ; CI-NEXT:    s_waitcnt vmcnt(0)
 365 ; CI-NEXT:    buffer_wbinvl1_vol
 366 ; CI-NEXT:    s_mov_b32 s4, s2
 367 ; CI-NEXT:    s_mov_b32 s5, s3
 368 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 369 ; CI-NEXT:    s_endpgm
 370 ;
 371 ; VI-LABEL: atomic_add_i64_ret:
 372 ; VI:       ; %bb.0: ; %entry
 373 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 374 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
 375 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 376 ; VI-NEXT:    s_mov_b32 s6, -1
 377 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 378 ; VI-NEXT:    s_mov_b32 s4, s0
 379 ; VI-NEXT:    s_mov_b32 s5, s1
 380 ; VI-NEXT:    v_mov_b32_e32 v0, s8
 381 ; VI-NEXT:    v_mov_b32_e32 v1, s9
 382 ; VI-NEXT:    buffer_atomic_add_x2 v[0:1], off, s[4:7], 0 glc
 383 ; VI-NEXT:    s_waitcnt vmcnt(0)
 384 ; VI-NEXT:    buffer_wbinvl1_vol
 385 ; VI-NEXT:    s_mov_b32 s4, s2
 386 ; VI-NEXT:    s_mov_b32 s5, s3
 387 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 388 ; VI-NEXT:    s_endpgm
 389 ;
 390 ; GFX9-LABEL: atomic_add_i64_ret:
 391 ; GFX9:       ; %bb.0: ; %entry
 392 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 393 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 394 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 395 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 396 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
 397 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
 398 ; GFX9-NEXT:    global_atomic_add_x2 v[0:1], v2, v[0:1], s[0:1] glc
 399 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 400 ; GFX9-NEXT:    buffer_wbinvl1_vol
 401 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
 402 ; GFX9-NEXT:    s_endpgm
 403 ;
 404 ; GFX12-LABEL: atomic_add_i64_ret:
 405 ; GFX12:       ; %bb.0: ; %entry
 406 ; GFX12-NEXT:    s_clause 0x1
 407 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 408 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 409 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 410 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
 411 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
 412 ; GFX12-NEXT:    global_atomic_add_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 413 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 414 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 415 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 416 ; GFX12-NEXT:    s_endpgm
 417 entry:
 418   %tmp0 = atomicrmw volatile add ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
 419   store i64 %tmp0, ptr addrspace(1) %out2
 420   ret void
 421 }
 422
 423 define amdgpu_kernel void @atomic_add_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
 424 ; CI-LABEL: atomic_add_i64_addr64:
 425 ; CI:       ; %bb.0: ; %entry
 426 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 427 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 428 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 429 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 430 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
 431 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 432 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 433 ; CI-NEXT:    s_mov_b32 s3, 0xf000
 434 ; CI-NEXT:    s_mov_b32 s2, 0
 435 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 436 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], v[2:3], s[0:3], 0 addr64
 437 ; CI-NEXT:    s_waitcnt vmcnt(0)
 438 ; CI-NEXT:    buffer_wbinvl1_vol
 439 ; CI-NEXT:    s_endpgm
 440 ;
 441 ; VI-LABEL: atomic_add_i64_addr64:
 442 ; VI:       ; %bb.0: ; %entry
 443 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 444 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 445 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 446 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 447 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 448 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 449 ; VI-NEXT:    s_add_u32 s0, s0, s2
 450 ; VI-NEXT:    s_addc_u32 s1, s1, s3
 451 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 452 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 453 ; VI-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 454 ; VI-NEXT:    s_waitcnt vmcnt(0)
 455 ; VI-NEXT:    buffer_wbinvl1_vol
 456 ; VI-NEXT:    s_endpgm
 457 ;
 458 ; GFX9-LABEL: atomic_add_i64_addr64:
 459 ; GFX9:       ; %bb.0: ; %entry
 460 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 461 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 462 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 463 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 464 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 465 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 466 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
 467 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
 468 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
 469 ; GFX9-NEXT:    global_atomic_add_x2 v2, v[0:1], s[0:1]
 470 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 471 ; GFX9-NEXT:    buffer_wbinvl1_vol
 472 ; GFX9-NEXT:    s_endpgm
 473 ;
 474 ; GFX12-LABEL: atomic_add_i64_addr64:
 475 ; GFX12:       ; %bb.0: ; %entry
 476 ; GFX12-NEXT:    s_clause 0x1
 477 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 478 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 479 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
 480 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 481 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 482 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 483 ; GFX12-NEXT:    s_wait_alu 0xfffe
 484 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
 485 ; GFX12-NEXT:    global_atomic_add_u64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
 486 ; GFX12-NEXT:    s_wait_storecnt 0x0
 487 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 488 ; GFX12-NEXT:    s_endpgm
 489 entry:
 490   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 491   %tmp0 = atomicrmw volatile add ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
 492   ret void
 493 }
 494
 495 define amdgpu_kernel void @atomic_add_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
 496 ; CI-LABEL: atomic_add_i64_ret_addr64:
 497 ; CI:       ; %bb.0: ; %entry
 498 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 499 ; CI-NEXT:    s_mov_b32 s11, 0xf000
 500 ; CI-NEXT:    s_mov_b32 s10, -1
 501 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 502 ; CI-NEXT:    v_mov_b32_e32 v0, s4
 503 ; CI-NEXT:    v_mov_b32_e32 v1, s5
 504 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 505 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 506 ; CI-NEXT:    s_mov_b32 s8, s2
 507 ; CI-NEXT:    s_mov_b32 s9, s3
 508 ; CI-NEXT:    s_mov_b32 s2, 0
 509 ; CI-NEXT:    s_mov_b32 s3, s11
 510 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 511 ; CI-NEXT:    buffer_atomic_add_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
 512 ; CI-NEXT:    s_waitcnt vmcnt(0)
 513 ; CI-NEXT:    buffer_wbinvl1_vol
 514 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
 515 ; CI-NEXT:    s_endpgm
 516 ;
 517 ; VI-LABEL: atomic_add_i64_ret_addr64:
 518 ; VI:       ; %bb.0: ; %entry
 519 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 520 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 521 ; VI-NEXT:    v_mov_b32_e32 v0, s4
 522 ; VI-NEXT:    v_mov_b32_e32 v1, s5
 523 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 524 ; VI-NEXT:    s_add_u32 s0, s0, s4
 525 ; VI-NEXT:    s_addc_u32 s1, s1, s5
 526 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 527 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 528 ; VI-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 529 ; VI-NEXT:    s_waitcnt vmcnt(0)
 530 ; VI-NEXT:    buffer_wbinvl1_vol
 531 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 532 ; VI-NEXT:    s_mov_b32 s6, -1
 533 ; VI-NEXT:    s_mov_b32 s4, s2
 534 ; VI-NEXT:    s_mov_b32 s5, s3
 535 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 536 ; VI-NEXT:    s_endpgm
 537 ;
 538 ; GFX9-LABEL: atomic_add_i64_ret_addr64:
 539 ; GFX9:       ; %bb.0: ; %entry
 540 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
 541 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 542 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 543 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
 544 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
 545 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
 546 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
 547 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
 548 ; GFX9-NEXT:    global_atomic_add_x2 v[0:1], v2, v[0:1], s[0:1] glc
 549 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 550 ; GFX9-NEXT:    buffer_wbinvl1_vol
 551 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
 552 ; GFX9-NEXT:    s_endpgm
 553 ;
 554 ; GFX12-LABEL: atomic_add_i64_ret_addr64:
 555 ; GFX12:       ; %bb.0: ; %entry
 556 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 557 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 558 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
 559 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
 560 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 561 ; GFX12-NEXT:    s_wait_alu 0xfffe
 562 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 563 ; GFX12-NEXT:    global_atomic_add_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 564 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 565 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 566 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 567 ; GFX12-NEXT:    s_endpgm
 568 entry:
 569   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 570   %tmp0 = atomicrmw volatile add ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
 571   store i64 %tmp0, ptr addrspace(1) %out2
 572   ret void
 573 }
 574
 575 define amdgpu_kernel void @atomic_and_i64_offset(ptr addrspace(1) %out, i64 %in) {
 576 ; CI-LABEL: atomic_and_i64_offset:
 577 ; CI:       ; %bb.0: ; %entry
 578 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 579 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 580 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 581 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 582 ; CI-NEXT:    s_mov_b32 s3, 0xf000
 583 ; CI-NEXT:    s_mov_b32 s2, -1
 584 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[0:3], 0 offset:32
 585 ; CI-NEXT:    s_waitcnt vmcnt(0)
 586 ; CI-NEXT:    buffer_wbinvl1_vol
 587 ; CI-NEXT:    s_endpgm
 588 ;
 589 ; VI-LABEL: atomic_and_i64_offset:
 590 ; VI:       ; %bb.0: ; %entry
 591 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 592 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 593 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 594 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 595 ; VI-NEXT:    s_mov_b32 s3, 0xf000
 596 ; VI-NEXT:    s_mov_b32 s2, -1
 597 ; VI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[0:3], 0 offset:32
 598 ; VI-NEXT:    s_waitcnt vmcnt(0)
 599 ; VI-NEXT:    buffer_wbinvl1_vol
 600 ; VI-NEXT:    s_endpgm
 601 ;
 602 ; GFX9-LABEL: atomic_and_i64_offset:
 603 ; GFX9:       ; %bb.0: ; %entry
 604 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 605 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 606 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 607 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 608 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 609 ; GFX9-NEXT:    global_atomic_and_x2 v2, v[0:1], s[0:1] offset:32
 610 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 611 ; GFX9-NEXT:    buffer_wbinvl1_vol
 612 ; GFX9-NEXT:    s_endpgm
 613 ;
 614 ; GFX12-LABEL: atomic_and_i64_offset:
 615 ; GFX12:       ; %bb.0: ; %entry
 616 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 617 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 618 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
 619 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
 620 ; GFX12-NEXT:    global_atomic_and_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
 621 ; GFX12-NEXT:    s_wait_storecnt 0x0
 622 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 623 ; GFX12-NEXT:    s_endpgm
 624 entry:
 625   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
 626   %tmp0 = atomicrmw volatile and ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 627   ret void
 628 }
 629
 630 define amdgpu_kernel void @atomic_and_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
 631 ; CI-LABEL: atomic_and_i64_ret_offset:
 632 ; CI:       ; %bb.0: ; %entry
 633 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 634 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
 635 ; CI-NEXT:    s_mov_b32 s7, 0xf000
 636 ; CI-NEXT:    s_mov_b32 s6, -1
 637 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 638 ; CI-NEXT:    s_mov_b32 s4, s2
 639 ; CI-NEXT:    s_mov_b32 s5, s3
 640 ; CI-NEXT:    v_mov_b32_e32 v0, s8
 641 ; CI-NEXT:    v_mov_b32_e32 v1, s9
 642 ; CI-NEXT:    s_mov_b32 s2, s6
 643 ; CI-NEXT:    s_mov_b32 s3, s7
 644 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[0:3], 0 offset:32 glc
 645 ; CI-NEXT:    s_waitcnt vmcnt(0)
 646 ; CI-NEXT:    buffer_wbinvl1_vol
 647 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 648 ; CI-NEXT:    s_endpgm
 649 ;
 650 ; VI-LABEL: atomic_and_i64_ret_offset:
 651 ; VI:       ; %bb.0: ; %entry
 652 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 653 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
 654 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 655 ; VI-NEXT:    s_mov_b32 s6, -1
 656 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 657 ; VI-NEXT:    s_mov_b32 s4, s2
 658 ; VI-NEXT:    s_mov_b32 s5, s3
 659 ; VI-NEXT:    v_mov_b32_e32 v0, s8
 660 ; VI-NEXT:    v_mov_b32_e32 v1, s9
 661 ; VI-NEXT:    s_mov_b32 s2, s6
 662 ; VI-NEXT:    s_mov_b32 s3, s7
 663 ; VI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[0:3], 0 offset:32 glc
 664 ; VI-NEXT:    s_waitcnt vmcnt(0)
 665 ; VI-NEXT:    buffer_wbinvl1_vol
 666 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 667 ; VI-NEXT:    s_endpgm
 668 ;
 669 ; GFX9-LABEL: atomic_and_i64_ret_offset:
 670 ; GFX9:       ; %bb.0: ; %entry
 671 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 672 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 673 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 674 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 675 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
 676 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
 677 ; GFX9-NEXT:    global_atomic_and_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
 678 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 679 ; GFX9-NEXT:    buffer_wbinvl1_vol
 680 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
 681 ; GFX9-NEXT:    s_endpgm
 682 ;
 683 ; GFX12-LABEL: atomic_and_i64_ret_offset:
 684 ; GFX12:       ; %bb.0: ; %entry
 685 ; GFX12-NEXT:    s_clause 0x1
 686 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 687 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 688 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 689 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
 690 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
 691 ; GFX12-NEXT:    global_atomic_and_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 692 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 693 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 694 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 695 ; GFX12-NEXT:    s_endpgm
 696 entry:
 697   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
 698   %tmp0 = atomicrmw volatile and ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 699   store i64 %tmp0, ptr addrspace(1) %out2
 700   ret void
 701 }
 702
 703 define amdgpu_kernel void @atomic_and_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
 704 ; CI-LABEL: atomic_and_i64_addr64_offset:
 705 ; CI:       ; %bb.0: ; %entry
 706 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 707 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 708 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 709 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 710 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
 711 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 712 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 713 ; CI-NEXT:    s_mov_b32 s3, 0xf000
 714 ; CI-NEXT:    s_mov_b32 s2, 0
 715 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 716 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
 717 ; CI-NEXT:    s_waitcnt vmcnt(0)
 718 ; CI-NEXT:    buffer_wbinvl1_vol
 719 ; CI-NEXT:    s_endpgm
 720 ;
 721 ; VI-LABEL: atomic_and_i64_addr64_offset:
 722 ; VI:       ; %bb.0: ; %entry
 723 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 724 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 725 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 726 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 727 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 728 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 729 ; VI-NEXT:    s_add_u32 s0, s0, s2
 730 ; VI-NEXT:    s_addc_u32 s1, s1, s3
 731 ; VI-NEXT:    s_add_u32 s0, s0, 32
 732 ; VI-NEXT:    s_addc_u32 s1, s1, 0
 733 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 734 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 735 ; VI-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 736 ; VI-NEXT:    s_waitcnt vmcnt(0)
 737 ; VI-NEXT:    buffer_wbinvl1_vol
 738 ; VI-NEXT:    s_endpgm
 739 ;
 740 ; GFX9-LABEL: atomic_and_i64_addr64_offset:
 741 ; GFX9:       ; %bb.0: ; %entry
 742 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 743 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 744 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 745 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 746 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 747 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 748 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
 749 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
 750 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
 751 ; GFX9-NEXT:    global_atomic_and_x2 v2, v[0:1], s[0:1] offset:32
 752 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 753 ; GFX9-NEXT:    buffer_wbinvl1_vol
 754 ; GFX9-NEXT:    s_endpgm
 755 ;
 756 ; GFX12-LABEL: atomic_and_i64_addr64_offset:
 757 ; GFX12:       ; %bb.0: ; %entry
 758 ; GFX12-NEXT:    s_clause 0x1
 759 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 760 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 761 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
 762 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 763 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 764 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 765 ; GFX12-NEXT:    s_wait_alu 0xfffe
 766 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
 767 ; GFX12-NEXT:    global_atomic_and_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
 768 ; GFX12-NEXT:    s_wait_storecnt 0x0
 769 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 770 ; GFX12-NEXT:    s_endpgm
 771 entry:
 772   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 773   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
 774   %tmp0 = atomicrmw volatile and ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 775   ret void
 776 }
 777
 778 define amdgpu_kernel void @atomic_and_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
 779 ; CI-LABEL: atomic_and_i64_ret_addr64_offset:
 780 ; CI:       ; %bb.0: ; %entry
 781 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 782 ; CI-NEXT:    s_mov_b32 s11, 0xf000
 783 ; CI-NEXT:    s_mov_b32 s10, -1
 784 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 785 ; CI-NEXT:    v_mov_b32_e32 v0, s4
 786 ; CI-NEXT:    v_mov_b32_e32 v1, s5
 787 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 788 ; CI-NEXT:    v_mov_b32_e32 v2, s4
 789 ; CI-NEXT:    s_mov_b32 s8, s2
 790 ; CI-NEXT:    s_mov_b32 s9, s3
 791 ; CI-NEXT:    s_mov_b32 s2, 0
 792 ; CI-NEXT:    s_mov_b32 s3, s11
 793 ; CI-NEXT:    v_mov_b32_e32 v3, s5
 794 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
 795 ; CI-NEXT:    s_waitcnt vmcnt(0)
 796 ; CI-NEXT:    buffer_wbinvl1_vol
 797 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
 798 ; CI-NEXT:    s_endpgm
 799 ;
 800 ; VI-LABEL: atomic_and_i64_ret_addr64_offset:
 801 ; VI:       ; %bb.0: ; %entry
 802 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 803 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 804 ; VI-NEXT:    v_mov_b32_e32 v0, s4
 805 ; VI-NEXT:    v_mov_b32_e32 v1, s5
 806 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 807 ; VI-NEXT:    s_add_u32 s0, s0, s4
 808 ; VI-NEXT:    s_addc_u32 s1, s1, s5
 809 ; VI-NEXT:    s_add_u32 s0, s0, 32
 810 ; VI-NEXT:    s_addc_u32 s1, s1, 0
 811 ; VI-NEXT:    v_mov_b32_e32 v3, s1
 812 ; VI-NEXT:    v_mov_b32_e32 v2, s0
 813 ; VI-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 814 ; VI-NEXT:    s_waitcnt vmcnt(0)
 815 ; VI-NEXT:    buffer_wbinvl1_vol
 816 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 817 ; VI-NEXT:    s_mov_b32 s6, -1
 818 ; VI-NEXT:    s_mov_b32 s4, s2
 819 ; VI-NEXT:    s_mov_b32 s5, s3
 820 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 821 ; VI-NEXT:    s_endpgm
 822 ;
 823 ; GFX9-LABEL: atomic_and_i64_ret_addr64_offset:
 824 ; GFX9:       ; %bb.0: ; %entry
 825 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
 826 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 827 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 828 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
 829 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
 830 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
 831 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
 832 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
 833 ; GFX9-NEXT:    global_atomic_and_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
 834 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 835 ; GFX9-NEXT:    buffer_wbinvl1_vol
 836 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
 837 ; GFX9-NEXT:    s_endpgm
 838 ;
 839 ; GFX12-LABEL: atomic_and_i64_ret_addr64_offset:
 840 ; GFX12:       ; %bb.0: ; %entry
 841 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 842 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 843 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
 844 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
 845 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 846 ; GFX12-NEXT:    s_wait_alu 0xfffe
 847 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 848 ; GFX12-NEXT:    global_atomic_and_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 849 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 850 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 851 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 852 ; GFX12-NEXT:    s_endpgm
 853 entry:
 854   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
 855   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
 856   %tmp0 = atomicrmw volatile and ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
 857   store i64 %tmp0, ptr addrspace(1) %out2
 858   ret void
 859 }
 860
 861 define amdgpu_kernel void @atomic_and_i64(ptr addrspace(1) %out, i64 %in) {
 862 ; CI-LABEL: atomic_and_i64:
 863 ; CI:       ; %bb.0: ; %entry
 864 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 865 ; CI-NEXT:    s_mov_b32 s7, 0xf000
 866 ; CI-NEXT:    s_mov_b32 s6, -1
 867 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 868 ; CI-NEXT:    s_mov_b32 s4, s0
 869 ; CI-NEXT:    s_mov_b32 s5, s1
 870 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 871 ; CI-NEXT:    v_mov_b32_e32 v1, s3
 872 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[4:7], 0
 873 ; CI-NEXT:    s_waitcnt vmcnt(0)
 874 ; CI-NEXT:    buffer_wbinvl1_vol
 875 ; CI-NEXT:    s_endpgm
 876 ;
 877 ; VI-LABEL: atomic_and_i64:
 878 ; VI:       ; %bb.0: ; %entry
 879 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 880 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 881 ; VI-NEXT:    s_mov_b32 s6, -1
 882 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 883 ; VI-NEXT:    s_mov_b32 s4, s0
 884 ; VI-NEXT:    s_mov_b32 s5, s1
 885 ; VI-NEXT:    v_mov_b32_e32 v0, s2
 886 ; VI-NEXT:    v_mov_b32_e32 v1, s3
 887 ; VI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[4:7], 0
 888 ; VI-NEXT:    s_waitcnt vmcnt(0)
 889 ; VI-NEXT:    buffer_wbinvl1_vol
 890 ; VI-NEXT:    s_endpgm
 891 ;
 892 ; GFX9-LABEL: atomic_and_i64:
 893 ; GFX9:       ; %bb.0: ; %entry
 894 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 895 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 896 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 897 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
 898 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
 899 ; GFX9-NEXT:    global_atomic_and_x2 v2, v[0:1], s[0:1]
 900 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 901 ; GFX9-NEXT:    buffer_wbinvl1_vol
 902 ; GFX9-NEXT:    s_endpgm
 903 ;
 904 ; GFX12-LABEL: atomic_and_i64:
 905 ; GFX12:       ; %bb.0: ; %entry
 906 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 907 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 908 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
 909 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
 910 ; GFX12-NEXT:    global_atomic_and_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
 911 ; GFX12-NEXT:    s_wait_storecnt 0x0
 912 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 913 ; GFX12-NEXT:    s_endpgm
 914 entry:
 915   %tmp0 = atomicrmw volatile and ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
 916   ret void
 917 }
 918
 919 define amdgpu_kernel void @atomic_and_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
 920 ; CI-LABEL: atomic_and_i64_ret:
 921 ; CI:       ; %bb.0: ; %entry
 922 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 923 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
 924 ; CI-NEXT:    s_mov_b32 s7, 0xf000
 925 ; CI-NEXT:    s_mov_b32 s6, -1
 926 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 927 ; CI-NEXT:    s_mov_b32 s4, s0
 928 ; CI-NEXT:    s_mov_b32 s5, s1
 929 ; CI-NEXT:    v_mov_b32_e32 v0, s8
 930 ; CI-NEXT:    v_mov_b32_e32 v1, s9
 931 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[4:7], 0 glc
 932 ; CI-NEXT:    s_waitcnt vmcnt(0)
 933 ; CI-NEXT:    buffer_wbinvl1_vol
 934 ; CI-NEXT:    s_mov_b32 s4, s2
 935 ; CI-NEXT:    s_mov_b32 s5, s3
 936 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 937 ; CI-NEXT:    s_endpgm
 938 ;
 939 ; VI-LABEL: atomic_and_i64_ret:
 940 ; VI:       ; %bb.0: ; %entry
 941 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 942 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
 943 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 944 ; VI-NEXT:    s_mov_b32 s6, -1
 945 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 946 ; VI-NEXT:    s_mov_b32 s4, s0
 947 ; VI-NEXT:    s_mov_b32 s5, s1
 948 ; VI-NEXT:    v_mov_b32_e32 v0, s8
 949 ; VI-NEXT:    v_mov_b32_e32 v1, s9
 950 ; VI-NEXT:    buffer_atomic_and_x2 v[0:1], off, s[4:7], 0 glc
 951 ; VI-NEXT:    s_waitcnt vmcnt(0)
 952 ; VI-NEXT:    buffer_wbinvl1_vol
 953 ; VI-NEXT:    s_mov_b32 s4, s2
 954 ; VI-NEXT:    s_mov_b32 s5, s3
 955 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
 956 ; VI-NEXT:    s_endpgm
 957 ;
 958 ; GFX9-LABEL: atomic_and_i64_ret:
 959 ; GFX9:       ; %bb.0: ; %entry
 960 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 961 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 962 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
 963 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
 964 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
 965 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
 966 ; GFX9-NEXT:    global_atomic_and_x2 v[0:1], v2, v[0:1], s[0:1] glc
 967 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
 968 ; GFX9-NEXT:    buffer_wbinvl1_vol
 969 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
 970 ; GFX9-NEXT:    s_endpgm
 971 ;
 972 ; GFX12-LABEL: atomic_and_i64_ret:
 973 ; GFX12:       ; %bb.0: ; %entry
 974 ; GFX12-NEXT:    s_clause 0x1
 975 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 976 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 977 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 978 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
 979 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
 980 ; GFX12-NEXT:    global_atomic_and_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 981 ; GFX12-NEXT:    s_wait_loadcnt 0x0
 982 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 983 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
 984 ; GFX12-NEXT:    s_endpgm
 985 entry:
 986   %tmp0 = atomicrmw volatile and ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
 987   store i64 %tmp0, ptr addrspace(1) %out2
 988   ret void
 989 }
 990
 991 define amdgpu_kernel void @atomic_and_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
 992 ; CI-LABEL: atomic_and_i64_addr64:
 993 ; CI:       ; %bb.0: ; %entry
 994 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 995 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 996 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
 997 ; CI-NEXT:    v_mov_b32_e32 v0, s2
 998 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
 999 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1000 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1001 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1002 ; CI-NEXT:    s_mov_b32 s2, 0
1003 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1004 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], v[2:3], s[0:3], 0 addr64
1005 ; CI-NEXT:    s_waitcnt vmcnt(0)
1006 ; CI-NEXT:    buffer_wbinvl1_vol
1007 ; CI-NEXT:    s_endpgm
1008 ;
1009 ; VI-LABEL: atomic_and_i64_addr64:
1010 ; VI:       ; %bb.0: ; %entry
1011 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1012 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1013 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1014 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1015 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1016 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1017 ; VI-NEXT:    s_add_u32 s0, s0, s2
1018 ; VI-NEXT:    s_addc_u32 s1, s1, s3
1019 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1020 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1021 ; VI-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
1022 ; VI-NEXT:    s_waitcnt vmcnt(0)
1023 ; VI-NEXT:    buffer_wbinvl1_vol
1024 ; VI-NEXT:    s_endpgm
1025 ;
1026 ; GFX9-LABEL: atomic_and_i64_addr64:
1027 ; GFX9:       ; %bb.0: ; %entry
1028 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1029 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1030 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1031 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1032 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1033 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1034 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
1035 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
1036 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
1037 ; GFX9-NEXT:    global_atomic_and_x2 v2, v[0:1], s[0:1]
1038 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1039 ; GFX9-NEXT:    buffer_wbinvl1_vol
1040 ; GFX9-NEXT:    s_endpgm
1041 ;
1042 ; GFX12-LABEL: atomic_and_i64_addr64:
1043 ; GFX12:       ; %bb.0: ; %entry
1044 ; GFX12-NEXT:    s_clause 0x1
1045 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1046 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1047 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
1048 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1049 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1050 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1051 ; GFX12-NEXT:    s_wait_alu 0xfffe
1052 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
1053 ; GFX12-NEXT:    global_atomic_and_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
1054 ; GFX12-NEXT:    s_wait_storecnt 0x0
1055 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1056 ; GFX12-NEXT:    s_endpgm
1057 entry:
1058   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1059   %tmp0 = atomicrmw volatile and ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
1060   ret void
1061 }
1062
1063 define amdgpu_kernel void @atomic_and_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
1064 ; CI-LABEL: atomic_and_i64_ret_addr64:
1065 ; CI:       ; %bb.0: ; %entry
1066 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1067 ; CI-NEXT:    s_mov_b32 s11, 0xf000
1068 ; CI-NEXT:    s_mov_b32 s10, -1
1069 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1070 ; CI-NEXT:    v_mov_b32_e32 v0, s4
1071 ; CI-NEXT:    v_mov_b32_e32 v1, s5
1072 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1073 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1074 ; CI-NEXT:    s_mov_b32 s8, s2
1075 ; CI-NEXT:    s_mov_b32 s9, s3
1076 ; CI-NEXT:    s_mov_b32 s2, 0
1077 ; CI-NEXT:    s_mov_b32 s3, s11
1078 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1079 ; CI-NEXT:    buffer_atomic_and_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
1080 ; CI-NEXT:    s_waitcnt vmcnt(0)
1081 ; CI-NEXT:    buffer_wbinvl1_vol
1082 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
1083 ; CI-NEXT:    s_endpgm
1084 ;
1085 ; VI-LABEL: atomic_and_i64_ret_addr64:
1086 ; VI:       ; %bb.0: ; %entry
1087 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1088 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1089 ; VI-NEXT:    v_mov_b32_e32 v0, s4
1090 ; VI-NEXT:    v_mov_b32_e32 v1, s5
1091 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1092 ; VI-NEXT:    s_add_u32 s0, s0, s4
1093 ; VI-NEXT:    s_addc_u32 s1, s1, s5
1094 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1095 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1096 ; VI-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
1097 ; VI-NEXT:    s_waitcnt vmcnt(0)
1098 ; VI-NEXT:    buffer_wbinvl1_vol
1099 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1100 ; VI-NEXT:    s_mov_b32 s6, -1
1101 ; VI-NEXT:    s_mov_b32 s4, s2
1102 ; VI-NEXT:    s_mov_b32 s5, s3
1103 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1104 ; VI-NEXT:    s_endpgm
1105 ;
1106 ; GFX9-LABEL: atomic_and_i64_ret_addr64:
1107 ; GFX9:       ; %bb.0: ; %entry
1108 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
1109 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1110 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1111 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
1112 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
1113 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
1114 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
1115 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
1116 ; GFX9-NEXT:    global_atomic_and_x2 v[0:1], v2, v[0:1], s[0:1] glc
1117 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1118 ; GFX9-NEXT:    buffer_wbinvl1_vol
1119 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
1120 ; GFX9-NEXT:    s_endpgm
1121 ;
1122 ; GFX12-LABEL: atomic_and_i64_ret_addr64:
1123 ; GFX12:       ; %bb.0: ; %entry
1124 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1125 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1126 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
1127 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
1128 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1129 ; GFX12-NEXT:    s_wait_alu 0xfffe
1130 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1131 ; GFX12-NEXT:    global_atomic_and_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1132 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1133 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1134 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1135 ; GFX12-NEXT:    s_endpgm
1136 entry:
1137   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1138   %tmp0 = atomicrmw volatile and ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
1139   store i64 %tmp0, ptr addrspace(1) %out2
1140   ret void
1141 }
1142
1143 define amdgpu_kernel void @atomic_sub_i64_offset(ptr addrspace(1) %out, i64 %in) {
1144 ; CI-LABEL: atomic_sub_i64_offset:
1145 ; CI:       ; %bb.0: ; %entry
1146 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1147 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1148 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1149 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1150 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1151 ; CI-NEXT:    s_mov_b32 s2, -1
1152 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[0:3], 0 offset:32
1153 ; CI-NEXT:    s_waitcnt vmcnt(0)
1154 ; CI-NEXT:    buffer_wbinvl1_vol
1155 ; CI-NEXT:    s_endpgm
1156 ;
1157 ; VI-LABEL: atomic_sub_i64_offset:
1158 ; VI:       ; %bb.0: ; %entry
1159 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1160 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1161 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1162 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1163 ; VI-NEXT:    s_mov_b32 s3, 0xf000
1164 ; VI-NEXT:    s_mov_b32 s2, -1
1165 ; VI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[0:3], 0 offset:32
1166 ; VI-NEXT:    s_waitcnt vmcnt(0)
1167 ; VI-NEXT:    buffer_wbinvl1_vol
1168 ; VI-NEXT:    s_endpgm
1169 ;
1170 ; GFX9-LABEL: atomic_sub_i64_offset:
1171 ; GFX9:       ; %bb.0: ; %entry
1172 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1173 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1174 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1175 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1176 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1177 ; GFX9-NEXT:    global_atomic_sub_x2 v2, v[0:1], s[0:1] offset:32
1178 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1179 ; GFX9-NEXT:    buffer_wbinvl1_vol
1180 ; GFX9-NEXT:    s_endpgm
1181 ;
1182 ; GFX12-LABEL: atomic_sub_i64_offset:
1183 ; GFX12:       ; %bb.0: ; %entry
1184 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1185 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1186 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
1187 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
1188 ; GFX12-NEXT:    global_atomic_sub_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
1189 ; GFX12-NEXT:    s_wait_storecnt 0x0
1190 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1191 ; GFX12-NEXT:    s_endpgm
1192 entry:
1193   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
1194   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
1195   ret void
1196 }
1197
1198 define amdgpu_kernel void @atomic_sub_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
1199 ; CI-LABEL: atomic_sub_i64_ret_offset:
1200 ; CI:       ; %bb.0: ; %entry
1201 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1202 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
1203 ; CI-NEXT:    s_mov_b32 s7, 0xf000
1204 ; CI-NEXT:    s_mov_b32 s6, -1
1205 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1206 ; CI-NEXT:    s_mov_b32 s4, s2
1207 ; CI-NEXT:    s_mov_b32 s5, s3
1208 ; CI-NEXT:    v_mov_b32_e32 v0, s8
1209 ; CI-NEXT:    v_mov_b32_e32 v1, s9
1210 ; CI-NEXT:    s_mov_b32 s2, s6
1211 ; CI-NEXT:    s_mov_b32 s3, s7
1212 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[0:3], 0 offset:32 glc
1213 ; CI-NEXT:    s_waitcnt vmcnt(0)
1214 ; CI-NEXT:    buffer_wbinvl1_vol
1215 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1216 ; CI-NEXT:    s_endpgm
1217 ;
1218 ; VI-LABEL: atomic_sub_i64_ret_offset:
1219 ; VI:       ; %bb.0: ; %entry
1220 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1221 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
1222 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1223 ; VI-NEXT:    s_mov_b32 s6, -1
1224 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1225 ; VI-NEXT:    s_mov_b32 s4, s2
1226 ; VI-NEXT:    s_mov_b32 s5, s3
1227 ; VI-NEXT:    v_mov_b32_e32 v0, s8
1228 ; VI-NEXT:    v_mov_b32_e32 v1, s9
1229 ; VI-NEXT:    s_mov_b32 s2, s6
1230 ; VI-NEXT:    s_mov_b32 s3, s7
1231 ; VI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[0:3], 0 offset:32 glc
1232 ; VI-NEXT:    s_waitcnt vmcnt(0)
1233 ; VI-NEXT:    buffer_wbinvl1_vol
1234 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1235 ; VI-NEXT:    s_endpgm
1236 ;
1237 ; GFX9-LABEL: atomic_sub_i64_ret_offset:
1238 ; GFX9:       ; %bb.0: ; %entry
1239 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1240 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1241 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1242 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1243 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
1244 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
1245 ; GFX9-NEXT:    global_atomic_sub_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
1246 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1247 ; GFX9-NEXT:    buffer_wbinvl1_vol
1248 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
1249 ; GFX9-NEXT:    s_endpgm
1250 ;
1251 ; GFX12-LABEL: atomic_sub_i64_ret_offset:
1252 ; GFX12:       ; %bb.0: ; %entry
1253 ; GFX12-NEXT:    s_clause 0x1
1254 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1255 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1256 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1257 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
1258 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
1259 ; GFX12-NEXT:    global_atomic_sub_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1260 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1261 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1262 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1263 ; GFX12-NEXT:    s_endpgm
1264 entry:
1265   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
1266   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
1267   store i64 %tmp0, ptr addrspace(1) %out2
1268   ret void
1269 }
1270
1271 define amdgpu_kernel void @atomic_sub_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
1272 ; CI-LABEL: atomic_sub_i64_addr64_offset:
1273 ; CI:       ; %bb.0: ; %entry
1274 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1275 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1276 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1277 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1278 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
1279 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1280 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1281 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1282 ; CI-NEXT:    s_mov_b32 s2, 0
1283 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1284 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
1285 ; CI-NEXT:    s_waitcnt vmcnt(0)
1286 ; CI-NEXT:    buffer_wbinvl1_vol
1287 ; CI-NEXT:    s_endpgm
1288 ;
1289 ; VI-LABEL: atomic_sub_i64_addr64_offset:
1290 ; VI:       ; %bb.0: ; %entry
1291 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1292 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1293 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1294 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1295 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1296 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1297 ; VI-NEXT:    s_add_u32 s0, s0, s2
1298 ; VI-NEXT:    s_addc_u32 s1, s1, s3
1299 ; VI-NEXT:    s_add_u32 s0, s0, 32
1300 ; VI-NEXT:    s_addc_u32 s1, s1, 0
1301 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1302 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1303 ; VI-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1304 ; VI-NEXT:    s_waitcnt vmcnt(0)
1305 ; VI-NEXT:    buffer_wbinvl1_vol
1306 ; VI-NEXT:    s_endpgm
1307 ;
1308 ; GFX9-LABEL: atomic_sub_i64_addr64_offset:
1309 ; GFX9:       ; %bb.0: ; %entry
1310 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1311 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1312 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1313 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1314 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1315 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1316 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
1317 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
1318 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
1319 ; GFX9-NEXT:    global_atomic_sub_x2 v2, v[0:1], s[0:1] offset:32
1320 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1321 ; GFX9-NEXT:    buffer_wbinvl1_vol
1322 ; GFX9-NEXT:    s_endpgm
1323 ;
1324 ; GFX12-LABEL: atomic_sub_i64_addr64_offset:
1325 ; GFX12:       ; %bb.0: ; %entry
1326 ; GFX12-NEXT:    s_clause 0x1
1327 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1328 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1329 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
1330 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1331 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1332 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1333 ; GFX12-NEXT:    s_wait_alu 0xfffe
1334 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
1335 ; GFX12-NEXT:    global_atomic_sub_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
1336 ; GFX12-NEXT:    s_wait_storecnt 0x0
1337 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1338 ; GFX12-NEXT:    s_endpgm
1339 entry:
1340   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1341   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
1342   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
1343   ret void
1344 }
1345
1346 define amdgpu_kernel void @atomic_sub_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
1347 ; CI-LABEL: atomic_sub_i64_ret_addr64_offset:
1348 ; CI:       ; %bb.0: ; %entry
1349 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1350 ; CI-NEXT:    s_mov_b32 s11, 0xf000
1351 ; CI-NEXT:    s_mov_b32 s10, -1
1352 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1353 ; CI-NEXT:    v_mov_b32_e32 v0, s4
1354 ; CI-NEXT:    v_mov_b32_e32 v1, s5
1355 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1356 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1357 ; CI-NEXT:    s_mov_b32 s8, s2
1358 ; CI-NEXT:    s_mov_b32 s9, s3
1359 ; CI-NEXT:    s_mov_b32 s2, 0
1360 ; CI-NEXT:    s_mov_b32 s3, s11
1361 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1362 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
1363 ; CI-NEXT:    s_waitcnt vmcnt(0)
1364 ; CI-NEXT:    buffer_wbinvl1_vol
1365 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
1366 ; CI-NEXT:    s_endpgm
1367 ;
1368 ; VI-LABEL: atomic_sub_i64_ret_addr64_offset:
1369 ; VI:       ; %bb.0: ; %entry
1370 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1371 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1372 ; VI-NEXT:    v_mov_b32_e32 v0, s4
1373 ; VI-NEXT:    v_mov_b32_e32 v1, s5
1374 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1375 ; VI-NEXT:    s_add_u32 s0, s0, s4
1376 ; VI-NEXT:    s_addc_u32 s1, s1, s5
1377 ; VI-NEXT:    s_add_u32 s0, s0, 32
1378 ; VI-NEXT:    s_addc_u32 s1, s1, 0
1379 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1380 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1381 ; VI-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1382 ; VI-NEXT:    s_waitcnt vmcnt(0)
1383 ; VI-NEXT:    buffer_wbinvl1_vol
1384 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1385 ; VI-NEXT:    s_mov_b32 s6, -1
1386 ; VI-NEXT:    s_mov_b32 s4, s2
1387 ; VI-NEXT:    s_mov_b32 s5, s3
1388 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1389 ; VI-NEXT:    s_endpgm
1390 ;
1391 ; GFX9-LABEL: atomic_sub_i64_ret_addr64_offset:
1392 ; GFX9:       ; %bb.0: ; %entry
1393 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
1394 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1395 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1396 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
1397 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
1398 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
1399 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
1400 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
1401 ; GFX9-NEXT:    global_atomic_sub_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
1402 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1403 ; GFX9-NEXT:    buffer_wbinvl1_vol
1404 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
1405 ; GFX9-NEXT:    s_endpgm
1406 ;
1407 ; GFX12-LABEL: atomic_sub_i64_ret_addr64_offset:
1408 ; GFX12:       ; %bb.0: ; %entry
1409 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1410 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1411 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
1412 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
1413 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1414 ; GFX12-NEXT:    s_wait_alu 0xfffe
1415 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1416 ; GFX12-NEXT:    global_atomic_sub_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1417 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1418 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1419 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1420 ; GFX12-NEXT:    s_endpgm
1421 entry:
1422   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1423   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
1424   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
1425   store i64 %tmp0, ptr addrspace(1) %out2
1426   ret void
1427 }
1428
1429 define amdgpu_kernel void @atomic_sub_i64(ptr addrspace(1) %out, i64 %in) {
1430 ; CI-LABEL: atomic_sub_i64:
1431 ; CI:       ; %bb.0: ; %entry
1432 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1433 ; CI-NEXT:    s_mov_b32 s7, 0xf000
1434 ; CI-NEXT:    s_mov_b32 s6, -1
1435 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1436 ; CI-NEXT:    s_mov_b32 s4, s0
1437 ; CI-NEXT:    s_mov_b32 s5, s1
1438 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1439 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1440 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[4:7], 0
1441 ; CI-NEXT:    s_waitcnt vmcnt(0)
1442 ; CI-NEXT:    buffer_wbinvl1_vol
1443 ; CI-NEXT:    s_endpgm
1444 ;
1445 ; VI-LABEL: atomic_sub_i64:
1446 ; VI:       ; %bb.0: ; %entry
1447 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1448 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1449 ; VI-NEXT:    s_mov_b32 s6, -1
1450 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1451 ; VI-NEXT:    s_mov_b32 s4, s0
1452 ; VI-NEXT:    s_mov_b32 s5, s1
1453 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1454 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1455 ; VI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[4:7], 0
1456 ; VI-NEXT:    s_waitcnt vmcnt(0)
1457 ; VI-NEXT:    buffer_wbinvl1_vol
1458 ; VI-NEXT:    s_endpgm
1459 ;
1460 ; GFX9-LABEL: atomic_sub_i64:
1461 ; GFX9:       ; %bb.0: ; %entry
1462 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1463 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1464 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1465 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1466 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1467 ; GFX9-NEXT:    global_atomic_sub_x2 v2, v[0:1], s[0:1]
1468 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1469 ; GFX9-NEXT:    buffer_wbinvl1_vol
1470 ; GFX9-NEXT:    s_endpgm
1471 ;
1472 ; GFX12-LABEL: atomic_sub_i64:
1473 ; GFX12:       ; %bb.0: ; %entry
1474 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1475 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1476 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
1477 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
1478 ; GFX12-NEXT:    global_atomic_sub_u64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
1479 ; GFX12-NEXT:    s_wait_storecnt 0x0
1480 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1481 ; GFX12-NEXT:    s_endpgm
1482 entry:
1483   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
1484   ret void
1485 }
1486
1487 define amdgpu_kernel void @atomic_sub_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
1488 ; CI-LABEL: atomic_sub_i64_ret:
1489 ; CI:       ; %bb.0: ; %entry
1490 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1491 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
1492 ; CI-NEXT:    s_mov_b32 s7, 0xf000
1493 ; CI-NEXT:    s_mov_b32 s6, -1
1494 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1495 ; CI-NEXT:    s_mov_b32 s4, s0
1496 ; CI-NEXT:    s_mov_b32 s5, s1
1497 ; CI-NEXT:    v_mov_b32_e32 v0, s8
1498 ; CI-NEXT:    v_mov_b32_e32 v1, s9
1499 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[4:7], 0 glc
1500 ; CI-NEXT:    s_waitcnt vmcnt(0)
1501 ; CI-NEXT:    buffer_wbinvl1_vol
1502 ; CI-NEXT:    s_mov_b32 s4, s2
1503 ; CI-NEXT:    s_mov_b32 s5, s3
1504 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1505 ; CI-NEXT:    s_endpgm
1506 ;
1507 ; VI-LABEL: atomic_sub_i64_ret:
1508 ; VI:       ; %bb.0: ; %entry
1509 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1510 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
1511 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1512 ; VI-NEXT:    s_mov_b32 s6, -1
1513 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1514 ; VI-NEXT:    s_mov_b32 s4, s0
1515 ; VI-NEXT:    s_mov_b32 s5, s1
1516 ; VI-NEXT:    v_mov_b32_e32 v0, s8
1517 ; VI-NEXT:    v_mov_b32_e32 v1, s9
1518 ; VI-NEXT:    buffer_atomic_sub_x2 v[0:1], off, s[4:7], 0 glc
1519 ; VI-NEXT:    s_waitcnt vmcnt(0)
1520 ; VI-NEXT:    buffer_wbinvl1_vol
1521 ; VI-NEXT:    s_mov_b32 s4, s2
1522 ; VI-NEXT:    s_mov_b32 s5, s3
1523 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1524 ; VI-NEXT:    s_endpgm
1525 ;
1526 ; GFX9-LABEL: atomic_sub_i64_ret:
1527 ; GFX9:       ; %bb.0: ; %entry
1528 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1529 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1530 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1531 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1532 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
1533 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
1534 ; GFX9-NEXT:    global_atomic_sub_x2 v[0:1], v2, v[0:1], s[0:1] glc
1535 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1536 ; GFX9-NEXT:    buffer_wbinvl1_vol
1537 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
1538 ; GFX9-NEXT:    s_endpgm
1539 ;
1540 ; GFX12-LABEL: atomic_sub_i64_ret:
1541 ; GFX12:       ; %bb.0: ; %entry
1542 ; GFX12-NEXT:    s_clause 0x1
1543 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1544 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1545 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1546 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
1547 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
1548 ; GFX12-NEXT:    global_atomic_sub_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1549 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1550 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1551 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1552 ; GFX12-NEXT:    s_endpgm
1553 entry:
1554   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
1555   store i64 %tmp0, ptr addrspace(1) %out2
1556   ret void
1557 }
1558
1559 define amdgpu_kernel void @atomic_sub_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
1560 ; CI-LABEL: atomic_sub_i64_addr64:
1561 ; CI:       ; %bb.0: ; %entry
1562 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1563 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1564 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1565 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1566 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
1567 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1568 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1569 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1570 ; CI-NEXT:    s_mov_b32 s2, 0
1571 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1572 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], v[2:3], s[0:3], 0 addr64
1573 ; CI-NEXT:    s_waitcnt vmcnt(0)
1574 ; CI-NEXT:    buffer_wbinvl1_vol
1575 ; CI-NEXT:    s_endpgm
1576 ;
1577 ; VI-LABEL: atomic_sub_i64_addr64:
1578 ; VI:       ; %bb.0: ; %entry
1579 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1580 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1581 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1582 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1583 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1584 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1585 ; VI-NEXT:    s_add_u32 s0, s0, s2
1586 ; VI-NEXT:    s_addc_u32 s1, s1, s3
1587 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1588 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1589 ; VI-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1590 ; VI-NEXT:    s_waitcnt vmcnt(0)
1591 ; VI-NEXT:    buffer_wbinvl1_vol
1592 ; VI-NEXT:    s_endpgm
1593 ;
1594 ; GFX9-LABEL: atomic_sub_i64_addr64:
1595 ; GFX9:       ; %bb.0: ; %entry
1596 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1597 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1598 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1599 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1600 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1601 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1602 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
1603 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
1604 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
1605 ; GFX9-NEXT:    global_atomic_sub_x2 v2, v[0:1], s[0:1]
1606 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1607 ; GFX9-NEXT:    buffer_wbinvl1_vol
1608 ; GFX9-NEXT:    s_endpgm
1609 ;
1610 ; GFX12-LABEL: atomic_sub_i64_addr64:
1611 ; GFX12:       ; %bb.0: ; %entry
1612 ; GFX12-NEXT:    s_clause 0x1
1613 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1614 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1615 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
1616 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1617 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1618 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1619 ; GFX12-NEXT:    s_wait_alu 0xfffe
1620 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
1621 ; GFX12-NEXT:    global_atomic_sub_u64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
1622 ; GFX12-NEXT:    s_wait_storecnt 0x0
1623 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1624 ; GFX12-NEXT:    s_endpgm
1625 entry:
1626   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1627   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
1628   ret void
1629 }
1630
1631 define amdgpu_kernel void @atomic_sub_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
1632 ; CI-LABEL: atomic_sub_i64_ret_addr64:
1633 ; CI:       ; %bb.0: ; %entry
1634 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1635 ; CI-NEXT:    s_mov_b32 s11, 0xf000
1636 ; CI-NEXT:    s_mov_b32 s10, -1
1637 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1638 ; CI-NEXT:    v_mov_b32_e32 v0, s4
1639 ; CI-NEXT:    v_mov_b32_e32 v1, s5
1640 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1641 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1642 ; CI-NEXT:    s_mov_b32 s8, s2
1643 ; CI-NEXT:    s_mov_b32 s9, s3
1644 ; CI-NEXT:    s_mov_b32 s2, 0
1645 ; CI-NEXT:    s_mov_b32 s3, s11
1646 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1647 ; CI-NEXT:    buffer_atomic_sub_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
1648 ; CI-NEXT:    s_waitcnt vmcnt(0)
1649 ; CI-NEXT:    buffer_wbinvl1_vol
1650 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
1651 ; CI-NEXT:    s_endpgm
1652 ;
1653 ; VI-LABEL: atomic_sub_i64_ret_addr64:
1654 ; VI:       ; %bb.0: ; %entry
1655 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1656 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1657 ; VI-NEXT:    v_mov_b32_e32 v0, s4
1658 ; VI-NEXT:    v_mov_b32_e32 v1, s5
1659 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1660 ; VI-NEXT:    s_add_u32 s0, s0, s4
1661 ; VI-NEXT:    s_addc_u32 s1, s1, s5
1662 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1663 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1664 ; VI-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1665 ; VI-NEXT:    s_waitcnt vmcnt(0)
1666 ; VI-NEXT:    buffer_wbinvl1_vol
1667 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1668 ; VI-NEXT:    s_mov_b32 s6, -1
1669 ; VI-NEXT:    s_mov_b32 s4, s2
1670 ; VI-NEXT:    s_mov_b32 s5, s3
1671 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1672 ; VI-NEXT:    s_endpgm
1673 ;
1674 ; GFX9-LABEL: atomic_sub_i64_ret_addr64:
1675 ; GFX9:       ; %bb.0: ; %entry
1676 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
1677 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1678 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1679 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
1680 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
1681 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
1682 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
1683 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
1684 ; GFX9-NEXT:    global_atomic_sub_x2 v[0:1], v2, v[0:1], s[0:1] glc
1685 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1686 ; GFX9-NEXT:    buffer_wbinvl1_vol
1687 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
1688 ; GFX9-NEXT:    s_endpgm
1689 ;
1690 ; GFX12-LABEL: atomic_sub_i64_ret_addr64:
1691 ; GFX12:       ; %bb.0: ; %entry
1692 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1693 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1694 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
1695 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
1696 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1697 ; GFX12-NEXT:    s_wait_alu 0xfffe
1698 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1699 ; GFX12-NEXT:    global_atomic_sub_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1700 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1701 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1702 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1703 ; GFX12-NEXT:    s_endpgm
1704 entry:
1705   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1706   %tmp0 = atomicrmw volatile sub ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
1707   store i64 %tmp0, ptr addrspace(1) %out2
1708   ret void
1709 }
1710
1711 define amdgpu_kernel void @atomic_max_i64_offset(ptr addrspace(1) %out, i64 %in) {
1712 ; CI-LABEL: atomic_max_i64_offset:
1713 ; CI:       ; %bb.0: ; %entry
1714 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1715 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1716 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1717 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1718 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1719 ; CI-NEXT:    s_mov_b32 s2, -1
1720 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[0:3], 0 offset:32
1721 ; CI-NEXT:    s_endpgm
1722 ;
1723 ; VI-LABEL: atomic_max_i64_offset:
1724 ; VI:       ; %bb.0: ; %entry
1725 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1726 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1727 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1728 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1729 ; VI-NEXT:    s_mov_b32 s3, 0xf000
1730 ; VI-NEXT:    s_mov_b32 s2, -1
1731 ; VI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[0:3], 0 offset:32
1732 ; VI-NEXT:    s_endpgm
1733 ;
1734 ; GFX9-LABEL: atomic_max_i64_offset:
1735 ; GFX9:       ; %bb.0: ; %entry
1736 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1737 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1738 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1739 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1740 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1741 ; GFX9-NEXT:    global_atomic_smax_x2 v2, v[0:1], s[0:1] offset:32
1742 ; GFX9-NEXT:    s_endpgm
1743 ;
1744 ; GFX12-LABEL: atomic_max_i64_offset:
1745 ; GFX12:       ; %bb.0: ; %entry
1746 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1747 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1748 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
1749 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
1750 ; GFX12-NEXT:    global_atomic_max_i64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
1751 ; GFX12-NEXT:    s_wait_storecnt 0x0
1752 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1753 ; GFX12-NEXT:    s_endpgm
1754 entry:
1755   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
1756   %tmp0 = atomicrmw volatile max ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
1757   ret void
1758 }
1759
1760 define amdgpu_kernel void @atomic_max_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
1761 ; CI-LABEL: atomic_max_i64_ret_offset:
1762 ; CI:       ; %bb.0: ; %entry
1763 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1764 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
1765 ; CI-NEXT:    s_mov_b32 s7, 0xf000
1766 ; CI-NEXT:    s_mov_b32 s6, -1
1767 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1768 ; CI-NEXT:    s_mov_b32 s4, s2
1769 ; CI-NEXT:    s_mov_b32 s5, s3
1770 ; CI-NEXT:    v_mov_b32_e32 v0, s8
1771 ; CI-NEXT:    v_mov_b32_e32 v1, s9
1772 ; CI-NEXT:    s_mov_b32 s2, s6
1773 ; CI-NEXT:    s_mov_b32 s3, s7
1774 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[0:3], 0 offset:32 glc
1775 ; CI-NEXT:    s_waitcnt vmcnt(0)
1776 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1777 ; CI-NEXT:    s_endpgm
1778 ;
1779 ; VI-LABEL: atomic_max_i64_ret_offset:
1780 ; VI:       ; %bb.0: ; %entry
1781 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1782 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
1783 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1784 ; VI-NEXT:    s_mov_b32 s6, -1
1785 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1786 ; VI-NEXT:    s_mov_b32 s4, s2
1787 ; VI-NEXT:    s_mov_b32 s5, s3
1788 ; VI-NEXT:    v_mov_b32_e32 v0, s8
1789 ; VI-NEXT:    v_mov_b32_e32 v1, s9
1790 ; VI-NEXT:    s_mov_b32 s2, s6
1791 ; VI-NEXT:    s_mov_b32 s3, s7
1792 ; VI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[0:3], 0 offset:32 glc
1793 ; VI-NEXT:    s_waitcnt vmcnt(0)
1794 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1795 ; VI-NEXT:    s_endpgm
1796 ;
1797 ; GFX9-LABEL: atomic_max_i64_ret_offset:
1798 ; GFX9:       ; %bb.0: ; %entry
1799 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1800 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1801 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1802 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1803 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
1804 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
1805 ; GFX9-NEXT:    global_atomic_smax_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
1806 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1807 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
1808 ; GFX9-NEXT:    s_endpgm
1809 ;
1810 ; GFX12-LABEL: atomic_max_i64_ret_offset:
1811 ; GFX12:       ; %bb.0: ; %entry
1812 ; GFX12-NEXT:    s_clause 0x1
1813 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1814 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1815 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1816 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
1817 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
1818 ; GFX12-NEXT:    global_atomic_max_i64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
1819 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1820 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1821 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1822 ; GFX12-NEXT:    s_endpgm
1823 entry:
1824   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
1825   %tmp0 = atomicrmw volatile max ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
1826   store i64 %tmp0, ptr addrspace(1) %out2
1827   ret void
1828 }
1829
1830 define amdgpu_kernel void @atomic_max_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
1831 ; CI-LABEL: atomic_max_i64_addr64_offset:
1832 ; CI:       ; %bb.0: ; %entry
1833 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1834 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1835 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1836 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1837 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
1838 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1839 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1840 ; CI-NEXT:    s_mov_b32 s3, 0xf000
1841 ; CI-NEXT:    s_mov_b32 s2, 0
1842 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1843 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
1844 ; CI-NEXT:    s_endpgm
1845 ;
1846 ; VI-LABEL: atomic_max_i64_addr64_offset:
1847 ; VI:       ; %bb.0: ; %entry
1848 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1849 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1850 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1851 ; VI-NEXT:    v_mov_b32_e32 v0, s2
1852 ; VI-NEXT:    v_mov_b32_e32 v1, s3
1853 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1854 ; VI-NEXT:    s_add_u32 s0, s0, s2
1855 ; VI-NEXT:    s_addc_u32 s1, s1, s3
1856 ; VI-NEXT:    s_add_u32 s0, s0, 32
1857 ; VI-NEXT:    s_addc_u32 s1, s1, 0
1858 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1859 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1860 ; VI-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1861 ; VI-NEXT:    s_endpgm
1862 ;
1863 ; GFX9-LABEL: atomic_max_i64_addr64_offset:
1864 ; GFX9:       ; %bb.0: ; %entry
1865 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1866 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1867 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1868 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1869 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
1870 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
1871 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
1872 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
1873 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
1874 ; GFX9-NEXT:    global_atomic_smax_x2 v2, v[0:1], s[0:1] offset:32
1875 ; GFX9-NEXT:    s_endpgm
1876 ;
1877 ; GFX12-LABEL: atomic_max_i64_addr64_offset:
1878 ; GFX12:       ; %bb.0: ; %entry
1879 ; GFX12-NEXT:    s_clause 0x1
1880 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1881 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1882 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
1883 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1884 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1885 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1886 ; GFX12-NEXT:    s_wait_alu 0xfffe
1887 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
1888 ; GFX12-NEXT:    global_atomic_max_i64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
1889 ; GFX12-NEXT:    s_wait_storecnt 0x0
1890 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1891 ; GFX12-NEXT:    s_endpgm
1892 entry:
1893   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1894   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
1895   %tmp0 = atomicrmw volatile max ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
1896   ret void
1897 }
1898
1899 define amdgpu_kernel void @atomic_max_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
1900 ; CI-LABEL: atomic_max_i64_ret_addr64_offset:
1901 ; CI:       ; %bb.0: ; %entry
1902 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1903 ; CI-NEXT:    s_mov_b32 s11, 0xf000
1904 ; CI-NEXT:    s_mov_b32 s10, -1
1905 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1906 ; CI-NEXT:    v_mov_b32_e32 v0, s4
1907 ; CI-NEXT:    v_mov_b32_e32 v1, s5
1908 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1909 ; CI-NEXT:    v_mov_b32_e32 v2, s4
1910 ; CI-NEXT:    s_mov_b32 s8, s2
1911 ; CI-NEXT:    s_mov_b32 s9, s3
1912 ; CI-NEXT:    s_mov_b32 s2, 0
1913 ; CI-NEXT:    s_mov_b32 s3, s11
1914 ; CI-NEXT:    v_mov_b32_e32 v3, s5
1915 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
1916 ; CI-NEXT:    s_waitcnt vmcnt(0)
1917 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
1918 ; CI-NEXT:    s_endpgm
1919 ;
1920 ; VI-LABEL: atomic_max_i64_ret_addr64_offset:
1921 ; VI:       ; %bb.0: ; %entry
1922 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1923 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1924 ; VI-NEXT:    v_mov_b32_e32 v0, s4
1925 ; VI-NEXT:    v_mov_b32_e32 v1, s5
1926 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1927 ; VI-NEXT:    s_add_u32 s0, s0, s4
1928 ; VI-NEXT:    s_addc_u32 s1, s1, s5
1929 ; VI-NEXT:    s_add_u32 s0, s0, 32
1930 ; VI-NEXT:    s_addc_u32 s1, s1, 0
1931 ; VI-NEXT:    v_mov_b32_e32 v3, s1
1932 ; VI-NEXT:    v_mov_b32_e32 v2, s0
1933 ; VI-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1934 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1935 ; VI-NEXT:    s_mov_b32 s6, -1
1936 ; VI-NEXT:    s_mov_b32 s4, s2
1937 ; VI-NEXT:    s_mov_b32 s5, s3
1938 ; VI-NEXT:    s_waitcnt vmcnt(0)
1939 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
1940 ; VI-NEXT:    s_endpgm
1941 ;
1942 ; GFX9-LABEL: atomic_max_i64_ret_addr64_offset:
1943 ; GFX9:       ; %bb.0: ; %entry
1944 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
1945 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
1946 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
1947 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
1948 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
1949 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
1950 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
1951 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
1952 ; GFX9-NEXT:    global_atomic_smax_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
1953 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
1954 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
1955 ; GFX9-NEXT:    s_endpgm
1956 ;
1957 ; GFX12-LABEL: atomic_max_i64_ret_addr64_offset:
1958 ; GFX12:       ; %bb.0: ; %entry
1959 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1960 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1961 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
1962 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
1963 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1964 ; GFX12-NEXT:    s_wait_alu 0xfffe
1965 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1966 ; GFX12-NEXT:    global_atomic_max_i64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
1967 ; GFX12-NEXT:    s_wait_loadcnt 0x0
1968 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1969 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
1970 ; GFX12-NEXT:    s_endpgm
1971 entry:
1972   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
1973   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
1974   %tmp0 = atomicrmw volatile max ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
1975   store i64 %tmp0, ptr addrspace(1) %out2
1976   ret void
1977 }
1978
1979 define amdgpu_kernel void @atomic_max_i64(ptr addrspace(1) %out, i64 %in) {
1980 ; CI-LABEL: atomic_max_i64:
1981 ; CI:       ; %bb.0: ; %entry
1982 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1983 ; CI-NEXT:    s_mov_b32 s7, 0xf000
1984 ; CI-NEXT:    s_mov_b32 s6, -1
1985 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
1986 ; CI-NEXT:    s_mov_b32 s4, s0
1987 ; CI-NEXT:    s_mov_b32 s5, s1
1988 ; CI-NEXT:    v_mov_b32_e32 v0, s2
1989 ; CI-NEXT:    v_mov_b32_e32 v1, s3
1990 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[4:7], 0
1991 ; CI-NEXT:    s_endpgm
1992 ;
1993 ; VI-LABEL: atomic_max_i64:
1994 ; VI:       ; %bb.0: ; %entry
1995 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1996 ; VI-NEXT:    s_mov_b32 s7, 0xf000
1997 ; VI-NEXT:    s_mov_b32 s6, -1
1998 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
1999 ; VI-NEXT:    s_mov_b32 s4, s0
2000 ; VI-NEXT:    s_mov_b32 s5, s1
2001 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2002 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2003 ; VI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[4:7], 0
2004 ; VI-NEXT:    s_endpgm
2005 ;
2006 ; GFX9-LABEL: atomic_max_i64:
2007 ; GFX9:       ; %bb.0: ; %entry
2008 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2009 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2010 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2011 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2012 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2013 ; GFX9-NEXT:    global_atomic_smax_x2 v2, v[0:1], s[0:1]
2014 ; GFX9-NEXT:    s_endpgm
2015 ;
2016 ; GFX12-LABEL: atomic_max_i64:
2017 ; GFX12:       ; %bb.0: ; %entry
2018 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2019 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2020 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
2021 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
2022 ; GFX12-NEXT:    global_atomic_max_i64 v2, v[0:1], s[0:1] scope:SCOPE_SE
2023 ; GFX12-NEXT:    s_wait_storecnt 0x0
2024 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2025 ; GFX12-NEXT:    s_endpgm
2026 entry:
2027   %tmp0 = atomicrmw volatile max ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
2028   ret void
2029 }
2030
2031 define amdgpu_kernel void @atomic_max_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
2032 ; CI-LABEL: atomic_max_i64_ret:
2033 ; CI:       ; %bb.0: ; %entry
2034 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2035 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
2036 ; CI-NEXT:    s_mov_b32 s7, 0xf000
2037 ; CI-NEXT:    s_mov_b32 s6, -1
2038 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2039 ; CI-NEXT:    s_mov_b32 s4, s0
2040 ; CI-NEXT:    s_mov_b32 s5, s1
2041 ; CI-NEXT:    v_mov_b32_e32 v0, s8
2042 ; CI-NEXT:    v_mov_b32_e32 v1, s9
2043 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[4:7], 0 glc
2044 ; CI-NEXT:    s_mov_b32 s4, s2
2045 ; CI-NEXT:    s_mov_b32 s5, s3
2046 ; CI-NEXT:    s_waitcnt vmcnt(0)
2047 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2048 ; CI-NEXT:    s_endpgm
2049 ;
2050 ; VI-LABEL: atomic_max_i64_ret:
2051 ; VI:       ; %bb.0: ; %entry
2052 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2053 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
2054 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2055 ; VI-NEXT:    s_mov_b32 s6, -1
2056 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2057 ; VI-NEXT:    s_mov_b32 s4, s0
2058 ; VI-NEXT:    s_mov_b32 s5, s1
2059 ; VI-NEXT:    v_mov_b32_e32 v0, s8
2060 ; VI-NEXT:    v_mov_b32_e32 v1, s9
2061 ; VI-NEXT:    buffer_atomic_smax_x2 v[0:1], off, s[4:7], 0 glc
2062 ; VI-NEXT:    s_mov_b32 s4, s2
2063 ; VI-NEXT:    s_mov_b32 s5, s3
2064 ; VI-NEXT:    s_waitcnt vmcnt(0)
2065 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2066 ; VI-NEXT:    s_endpgm
2067 ;
2068 ; GFX9-LABEL: atomic_max_i64_ret:
2069 ; GFX9:       ; %bb.0: ; %entry
2070 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2071 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2072 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2073 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2074 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
2075 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
2076 ; GFX9-NEXT:    global_atomic_smax_x2 v[0:1], v2, v[0:1], s[0:1] glc
2077 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2078 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
2079 ; GFX9-NEXT:    s_endpgm
2080 ;
2081 ; GFX12-LABEL: atomic_max_i64_ret:
2082 ; GFX12:       ; %bb.0: ; %entry
2083 ; GFX12-NEXT:    s_clause 0x1
2084 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2085 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2086 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2087 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
2088 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
2089 ; GFX12-NEXT:    global_atomic_max_i64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2090 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2091 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2092 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2093 ; GFX12-NEXT:    s_endpgm
2094 entry:
2095   %tmp0 = atomicrmw volatile max ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
2096   store i64 %tmp0, ptr addrspace(1) %out2
2097   ret void
2098 }
2099
2100 define amdgpu_kernel void @atomic_max_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
2101 ; CI-LABEL: atomic_max_i64_addr64:
2102 ; CI:       ; %bb.0: ; %entry
2103 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2104 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2105 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2106 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2107 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
2108 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2109 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2110 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2111 ; CI-NEXT:    s_mov_b32 s2, 0
2112 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2113 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], v[2:3], s[0:3], 0 addr64
2114 ; CI-NEXT:    s_endpgm
2115 ;
2116 ; VI-LABEL: atomic_max_i64_addr64:
2117 ; VI:       ; %bb.0: ; %entry
2118 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2119 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2120 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2121 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2122 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2123 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2124 ; VI-NEXT:    s_add_u32 s0, s0, s2
2125 ; VI-NEXT:    s_addc_u32 s1, s1, s3
2126 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2127 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2128 ; VI-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
2129 ; VI-NEXT:    s_endpgm
2130 ;
2131 ; GFX9-LABEL: atomic_max_i64_addr64:
2132 ; GFX9:       ; %bb.0: ; %entry
2133 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2134 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2135 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2136 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2137 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2138 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2139 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
2140 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
2141 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
2142 ; GFX9-NEXT:    global_atomic_smax_x2 v2, v[0:1], s[0:1]
2143 ; GFX9-NEXT:    s_endpgm
2144 ;
2145 ; GFX12-LABEL: atomic_max_i64_addr64:
2146 ; GFX12:       ; %bb.0: ; %entry
2147 ; GFX12-NEXT:    s_clause 0x1
2148 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2149 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2150 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
2151 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2152 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2153 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2154 ; GFX12-NEXT:    s_wait_alu 0xfffe
2155 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
2156 ; GFX12-NEXT:    global_atomic_max_i64 v2, v[0:1], s[0:1] scope:SCOPE_SE
2157 ; GFX12-NEXT:    s_wait_storecnt 0x0
2158 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2159 ; GFX12-NEXT:    s_endpgm
2160 entry:
2161   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2162   %tmp0 = atomicrmw volatile max ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
2163   ret void
2164 }
2165
2166 define amdgpu_kernel void @atomic_max_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
2167 ; CI-LABEL: atomic_max_i64_ret_addr64:
2168 ; CI:       ; %bb.0: ; %entry
2169 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2170 ; CI-NEXT:    s_mov_b32 s11, 0xf000
2171 ; CI-NEXT:    s_mov_b32 s10, -1
2172 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2173 ; CI-NEXT:    v_mov_b32_e32 v0, s4
2174 ; CI-NEXT:    v_mov_b32_e32 v1, s5
2175 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2176 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2177 ; CI-NEXT:    s_mov_b32 s8, s2
2178 ; CI-NEXT:    s_mov_b32 s9, s3
2179 ; CI-NEXT:    s_mov_b32 s2, 0
2180 ; CI-NEXT:    s_mov_b32 s3, s11
2181 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2182 ; CI-NEXT:    buffer_atomic_smax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
2183 ; CI-NEXT:    s_waitcnt vmcnt(0)
2184 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
2185 ; CI-NEXT:    s_endpgm
2186 ;
2187 ; VI-LABEL: atomic_max_i64_ret_addr64:
2188 ; VI:       ; %bb.0: ; %entry
2189 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2190 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2191 ; VI-NEXT:    v_mov_b32_e32 v0, s4
2192 ; VI-NEXT:    v_mov_b32_e32 v1, s5
2193 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2194 ; VI-NEXT:    s_add_u32 s0, s0, s4
2195 ; VI-NEXT:    s_addc_u32 s1, s1, s5
2196 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2197 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2198 ; VI-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
2199 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2200 ; VI-NEXT:    s_mov_b32 s6, -1
2201 ; VI-NEXT:    s_mov_b32 s4, s2
2202 ; VI-NEXT:    s_mov_b32 s5, s3
2203 ; VI-NEXT:    s_waitcnt vmcnt(0)
2204 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2205 ; VI-NEXT:    s_endpgm
2206 ;
2207 ; GFX9-LABEL: atomic_max_i64_ret_addr64:
2208 ; GFX9:       ; %bb.0: ; %entry
2209 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
2210 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2211 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2212 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
2213 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
2214 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
2215 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
2216 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
2217 ; GFX9-NEXT:    global_atomic_smax_x2 v[0:1], v2, v[0:1], s[0:1] glc
2218 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2219 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
2220 ; GFX9-NEXT:    s_endpgm
2221 ;
2222 ; GFX12-LABEL: atomic_max_i64_ret_addr64:
2223 ; GFX12:       ; %bb.0: ; %entry
2224 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2225 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2226 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
2227 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
2228 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2229 ; GFX12-NEXT:    s_wait_alu 0xfffe
2230 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2231 ; GFX12-NEXT:    global_atomic_max_i64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2232 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2233 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2234 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2235 ; GFX12-NEXT:    s_endpgm
2236 entry:
2237   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2238   %tmp0 = atomicrmw volatile max ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
2239   store i64 %tmp0, ptr addrspace(1) %out2
2240   ret void
2241 }
2242
2243 define amdgpu_kernel void @atomic_umax_i64_offset(ptr addrspace(1) %out, i64 %in) {
2244 ; CI-LABEL: atomic_umax_i64_offset:
2245 ; CI:       ; %bb.0: ; %entry
2246 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2247 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2248 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2249 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2250 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2251 ; CI-NEXT:    s_mov_b32 s2, -1
2252 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[0:3], 0 offset:32
2253 ; CI-NEXT:    s_endpgm
2254 ;
2255 ; VI-LABEL: atomic_umax_i64_offset:
2256 ; VI:       ; %bb.0: ; %entry
2257 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2258 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2259 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2260 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2261 ; VI-NEXT:    s_mov_b32 s3, 0xf000
2262 ; VI-NEXT:    s_mov_b32 s2, -1
2263 ; VI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[0:3], 0 offset:32
2264 ; VI-NEXT:    s_endpgm
2265 ;
2266 ; GFX9-LABEL: atomic_umax_i64_offset:
2267 ; GFX9:       ; %bb.0: ; %entry
2268 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2269 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2270 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2271 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2272 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2273 ; GFX9-NEXT:    global_atomic_umax_x2 v2, v[0:1], s[0:1] offset:32
2274 ; GFX9-NEXT:    s_endpgm
2275 ;
2276 ; GFX12-LABEL: atomic_umax_i64_offset:
2277 ; GFX12:       ; %bb.0: ; %entry
2278 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2279 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2280 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
2281 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
2282 ; GFX12-NEXT:    global_atomic_max_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
2283 ; GFX12-NEXT:    s_wait_storecnt 0x0
2284 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2285 ; GFX12-NEXT:    s_endpgm
2286 entry:
2287   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
2288   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2289   ret void
2290 }
2291
2292 define amdgpu_kernel void @atomic_umax_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
2293 ; CI-LABEL: atomic_umax_i64_ret_offset:
2294 ; CI:       ; %bb.0: ; %entry
2295 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2296 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
2297 ; CI-NEXT:    s_mov_b32 s7, 0xf000
2298 ; CI-NEXT:    s_mov_b32 s6, -1
2299 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2300 ; CI-NEXT:    s_mov_b32 s4, s2
2301 ; CI-NEXT:    s_mov_b32 s5, s3
2302 ; CI-NEXT:    v_mov_b32_e32 v0, s8
2303 ; CI-NEXT:    v_mov_b32_e32 v1, s9
2304 ; CI-NEXT:    s_mov_b32 s2, s6
2305 ; CI-NEXT:    s_mov_b32 s3, s7
2306 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[0:3], 0 offset:32 glc
2307 ; CI-NEXT:    s_waitcnt vmcnt(0)
2308 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2309 ; CI-NEXT:    s_endpgm
2310 ;
2311 ; VI-LABEL: atomic_umax_i64_ret_offset:
2312 ; VI:       ; %bb.0: ; %entry
2313 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2314 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
2315 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2316 ; VI-NEXT:    s_mov_b32 s6, -1
2317 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2318 ; VI-NEXT:    s_mov_b32 s4, s2
2319 ; VI-NEXT:    s_mov_b32 s5, s3
2320 ; VI-NEXT:    v_mov_b32_e32 v0, s8
2321 ; VI-NEXT:    v_mov_b32_e32 v1, s9
2322 ; VI-NEXT:    s_mov_b32 s2, s6
2323 ; VI-NEXT:    s_mov_b32 s3, s7
2324 ; VI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[0:3], 0 offset:32 glc
2325 ; VI-NEXT:    s_waitcnt vmcnt(0)
2326 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2327 ; VI-NEXT:    s_endpgm
2328 ;
2329 ; GFX9-LABEL: atomic_umax_i64_ret_offset:
2330 ; GFX9:       ; %bb.0: ; %entry
2331 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2332 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2333 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2334 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2335 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
2336 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
2337 ; GFX9-NEXT:    global_atomic_umax_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
2338 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2339 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
2340 ; GFX9-NEXT:    s_endpgm
2341 ;
2342 ; GFX12-LABEL: atomic_umax_i64_ret_offset:
2343 ; GFX12:       ; %bb.0: ; %entry
2344 ; GFX12-NEXT:    s_clause 0x1
2345 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2346 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2347 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2348 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
2349 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
2350 ; GFX12-NEXT:    global_atomic_max_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2351 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2352 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2353 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2354 ; GFX12-NEXT:    s_endpgm
2355 entry:
2356   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
2357   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2358   store i64 %tmp0, ptr addrspace(1) %out2
2359   ret void
2360 }
2361
2362 define amdgpu_kernel void @atomic_umax_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
2363 ; CI-LABEL: atomic_umax_i64_addr64_offset:
2364 ; CI:       ; %bb.0: ; %entry
2365 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2366 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2367 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2368 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2369 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
2370 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2371 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2372 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2373 ; CI-NEXT:    s_mov_b32 s2, 0
2374 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2375 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
2376 ; CI-NEXT:    s_endpgm
2377 ;
2378 ; VI-LABEL: atomic_umax_i64_addr64_offset:
2379 ; VI:       ; %bb.0: ; %entry
2380 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2381 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2382 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2383 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2384 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2385 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2386 ; VI-NEXT:    s_add_u32 s0, s0, s2
2387 ; VI-NEXT:    s_addc_u32 s1, s1, s3
2388 ; VI-NEXT:    s_add_u32 s0, s0, 32
2389 ; VI-NEXT:    s_addc_u32 s1, s1, 0
2390 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2391 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2392 ; VI-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
2393 ; VI-NEXT:    s_endpgm
2394 ;
2395 ; GFX9-LABEL: atomic_umax_i64_addr64_offset:
2396 ; GFX9:       ; %bb.0: ; %entry
2397 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2398 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2399 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2400 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2401 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2402 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2403 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
2404 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
2405 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
2406 ; GFX9-NEXT:    global_atomic_umax_x2 v2, v[0:1], s[0:1] offset:32
2407 ; GFX9-NEXT:    s_endpgm
2408 ;
2409 ; GFX12-LABEL: atomic_umax_i64_addr64_offset:
2410 ; GFX12:       ; %bb.0: ; %entry
2411 ; GFX12-NEXT:    s_clause 0x1
2412 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2413 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2414 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
2415 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2416 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2417 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2418 ; GFX12-NEXT:    s_wait_alu 0xfffe
2419 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
2420 ; GFX12-NEXT:    global_atomic_max_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
2421 ; GFX12-NEXT:    s_wait_storecnt 0x0
2422 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2423 ; GFX12-NEXT:    s_endpgm
2424 entry:
2425   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2426   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
2427   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2428   ret void
2429 }
2430
2431 define amdgpu_kernel void @atomic_umax_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
2432 ; CI-LABEL: atomic_umax_i64_ret_addr64_offset:
2433 ; CI:       ; %bb.0: ; %entry
2434 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2435 ; CI-NEXT:    s_mov_b32 s11, 0xf000
2436 ; CI-NEXT:    s_mov_b32 s10, -1
2437 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2438 ; CI-NEXT:    v_mov_b32_e32 v0, s4
2439 ; CI-NEXT:    v_mov_b32_e32 v1, s5
2440 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2441 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2442 ; CI-NEXT:    s_mov_b32 s8, s2
2443 ; CI-NEXT:    s_mov_b32 s9, s3
2444 ; CI-NEXT:    s_mov_b32 s2, 0
2445 ; CI-NEXT:    s_mov_b32 s3, s11
2446 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2447 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
2448 ; CI-NEXT:    s_waitcnt vmcnt(0)
2449 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
2450 ; CI-NEXT:    s_endpgm
2451 ;
2452 ; VI-LABEL: atomic_umax_i64_ret_addr64_offset:
2453 ; VI:       ; %bb.0: ; %entry
2454 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2455 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2456 ; VI-NEXT:    v_mov_b32_e32 v0, s4
2457 ; VI-NEXT:    v_mov_b32_e32 v1, s5
2458 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2459 ; VI-NEXT:    s_add_u32 s0, s0, s4
2460 ; VI-NEXT:    s_addc_u32 s1, s1, s5
2461 ; VI-NEXT:    s_add_u32 s0, s0, 32
2462 ; VI-NEXT:    s_addc_u32 s1, s1, 0
2463 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2464 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2465 ; VI-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
2466 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2467 ; VI-NEXT:    s_mov_b32 s6, -1
2468 ; VI-NEXT:    s_mov_b32 s4, s2
2469 ; VI-NEXT:    s_mov_b32 s5, s3
2470 ; VI-NEXT:    s_waitcnt vmcnt(0)
2471 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2472 ; VI-NEXT:    s_endpgm
2473 ;
2474 ; GFX9-LABEL: atomic_umax_i64_ret_addr64_offset:
2475 ; GFX9:       ; %bb.0: ; %entry
2476 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
2477 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2478 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2479 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
2480 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
2481 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
2482 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
2483 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
2484 ; GFX9-NEXT:    global_atomic_umax_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
2485 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2486 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
2487 ; GFX9-NEXT:    s_endpgm
2488 ;
2489 ; GFX12-LABEL: atomic_umax_i64_ret_addr64_offset:
2490 ; GFX12:       ; %bb.0: ; %entry
2491 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2492 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2493 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
2494 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
2495 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2496 ; GFX12-NEXT:    s_wait_alu 0xfffe
2497 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2498 ; GFX12-NEXT:    global_atomic_max_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2499 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2500 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2501 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2502 ; GFX12-NEXT:    s_endpgm
2503 entry:
2504   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2505   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
2506   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2507   store i64 %tmp0, ptr addrspace(1) %out2
2508   ret void
2509 }
2510
2511 define amdgpu_kernel void @atomic_umax_i64(ptr addrspace(1) %out, i64 %in) {
2512 ; CI-LABEL: atomic_umax_i64:
2513 ; CI:       ; %bb.0: ; %entry
2514 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2515 ; CI-NEXT:    s_mov_b32 s7, 0xf000
2516 ; CI-NEXT:    s_mov_b32 s6, -1
2517 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2518 ; CI-NEXT:    s_mov_b32 s4, s0
2519 ; CI-NEXT:    s_mov_b32 s5, s1
2520 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2521 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2522 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[4:7], 0
2523 ; CI-NEXT:    s_endpgm
2524 ;
2525 ; VI-LABEL: atomic_umax_i64:
2526 ; VI:       ; %bb.0: ; %entry
2527 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2528 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2529 ; VI-NEXT:    s_mov_b32 s6, -1
2530 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2531 ; VI-NEXT:    s_mov_b32 s4, s0
2532 ; VI-NEXT:    s_mov_b32 s5, s1
2533 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2534 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2535 ; VI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[4:7], 0
2536 ; VI-NEXT:    s_endpgm
2537 ;
2538 ; GFX9-LABEL: atomic_umax_i64:
2539 ; GFX9:       ; %bb.0: ; %entry
2540 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2541 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2542 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2543 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2544 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2545 ; GFX9-NEXT:    global_atomic_umax_x2 v2, v[0:1], s[0:1]
2546 ; GFX9-NEXT:    s_endpgm
2547 ;
2548 ; GFX12-LABEL: atomic_umax_i64:
2549 ; GFX12:       ; %bb.0: ; %entry
2550 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2551 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2552 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
2553 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
2554 ; GFX12-NEXT:    global_atomic_max_u64 v2, v[0:1], s[0:1] scope:SCOPE_SE
2555 ; GFX12-NEXT:    s_wait_storecnt 0x0
2556 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2557 ; GFX12-NEXT:    s_endpgm
2558 entry:
2559   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
2560   ret void
2561 }
2562
2563 define amdgpu_kernel void @atomic_umax_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
2564 ; CI-LABEL: atomic_umax_i64_ret:
2565 ; CI:       ; %bb.0: ; %entry
2566 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2567 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
2568 ; CI-NEXT:    s_mov_b32 s7, 0xf000
2569 ; CI-NEXT:    s_mov_b32 s6, -1
2570 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2571 ; CI-NEXT:    s_mov_b32 s4, s0
2572 ; CI-NEXT:    s_mov_b32 s5, s1
2573 ; CI-NEXT:    v_mov_b32_e32 v0, s8
2574 ; CI-NEXT:    v_mov_b32_e32 v1, s9
2575 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[4:7], 0 glc
2576 ; CI-NEXT:    s_mov_b32 s4, s2
2577 ; CI-NEXT:    s_mov_b32 s5, s3
2578 ; CI-NEXT:    s_waitcnt vmcnt(0)
2579 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2580 ; CI-NEXT:    s_endpgm
2581 ;
2582 ; VI-LABEL: atomic_umax_i64_ret:
2583 ; VI:       ; %bb.0: ; %entry
2584 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2585 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
2586 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2587 ; VI-NEXT:    s_mov_b32 s6, -1
2588 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2589 ; VI-NEXT:    s_mov_b32 s4, s0
2590 ; VI-NEXT:    s_mov_b32 s5, s1
2591 ; VI-NEXT:    v_mov_b32_e32 v0, s8
2592 ; VI-NEXT:    v_mov_b32_e32 v1, s9
2593 ; VI-NEXT:    buffer_atomic_umax_x2 v[0:1], off, s[4:7], 0 glc
2594 ; VI-NEXT:    s_mov_b32 s4, s2
2595 ; VI-NEXT:    s_mov_b32 s5, s3
2596 ; VI-NEXT:    s_waitcnt vmcnt(0)
2597 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2598 ; VI-NEXT:    s_endpgm
2599 ;
2600 ; GFX9-LABEL: atomic_umax_i64_ret:
2601 ; GFX9:       ; %bb.0: ; %entry
2602 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2603 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2604 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2605 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2606 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
2607 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
2608 ; GFX9-NEXT:    global_atomic_umax_x2 v[0:1], v2, v[0:1], s[0:1] glc
2609 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2610 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
2611 ; GFX9-NEXT:    s_endpgm
2612 ;
2613 ; GFX12-LABEL: atomic_umax_i64_ret:
2614 ; GFX12:       ; %bb.0: ; %entry
2615 ; GFX12-NEXT:    s_clause 0x1
2616 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2617 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2618 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2619 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
2620 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
2621 ; GFX12-NEXT:    global_atomic_max_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2622 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2623 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2624 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2625 ; GFX12-NEXT:    s_endpgm
2626 entry:
2627   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
2628   store i64 %tmp0, ptr addrspace(1) %out2
2629   ret void
2630 }
2631
2632 define amdgpu_kernel void @atomic_umax_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
2633 ; CI-LABEL: atomic_umax_i64_addr64:
2634 ; CI:       ; %bb.0: ; %entry
2635 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2636 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2637 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2638 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2639 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
2640 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2641 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2642 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2643 ; CI-NEXT:    s_mov_b32 s2, 0
2644 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2645 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], v[2:3], s[0:3], 0 addr64
2646 ; CI-NEXT:    s_endpgm
2647 ;
2648 ; VI-LABEL: atomic_umax_i64_addr64:
2649 ; VI:       ; %bb.0: ; %entry
2650 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2651 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2652 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2653 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2654 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2655 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2656 ; VI-NEXT:    s_add_u32 s0, s0, s2
2657 ; VI-NEXT:    s_addc_u32 s1, s1, s3
2658 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2659 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2660 ; VI-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
2661 ; VI-NEXT:    s_endpgm
2662 ;
2663 ; GFX9-LABEL: atomic_umax_i64_addr64:
2664 ; GFX9:       ; %bb.0: ; %entry
2665 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2666 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2667 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2668 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2669 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2670 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2671 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
2672 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
2673 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
2674 ; GFX9-NEXT:    global_atomic_umax_x2 v2, v[0:1], s[0:1]
2675 ; GFX9-NEXT:    s_endpgm
2676 ;
2677 ; GFX12-LABEL: atomic_umax_i64_addr64:
2678 ; GFX12:       ; %bb.0: ; %entry
2679 ; GFX12-NEXT:    s_clause 0x1
2680 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2681 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2682 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
2683 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2684 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2685 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2686 ; GFX12-NEXT:    s_wait_alu 0xfffe
2687 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
2688 ; GFX12-NEXT:    global_atomic_max_u64 v2, v[0:1], s[0:1] scope:SCOPE_SE
2689 ; GFX12-NEXT:    s_wait_storecnt 0x0
2690 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2691 ; GFX12-NEXT:    s_endpgm
2692 entry:
2693   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2694   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
2695   ret void
2696 }
2697
2698 define amdgpu_kernel void @atomic_umax_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
2699 ; CI-LABEL: atomic_umax_i64_ret_addr64:
2700 ; CI:       ; %bb.0: ; %entry
2701 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2702 ; CI-NEXT:    s_mov_b32 s11, 0xf000
2703 ; CI-NEXT:    s_mov_b32 s10, -1
2704 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2705 ; CI-NEXT:    v_mov_b32_e32 v0, s4
2706 ; CI-NEXT:    v_mov_b32_e32 v1, s5
2707 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2708 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2709 ; CI-NEXT:    s_mov_b32 s8, s2
2710 ; CI-NEXT:    s_mov_b32 s9, s3
2711 ; CI-NEXT:    s_mov_b32 s2, 0
2712 ; CI-NEXT:    s_mov_b32 s3, s11
2713 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2714 ; CI-NEXT:    buffer_atomic_umax_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
2715 ; CI-NEXT:    s_waitcnt vmcnt(0)
2716 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
2717 ; CI-NEXT:    s_endpgm
2718 ;
2719 ; VI-LABEL: atomic_umax_i64_ret_addr64:
2720 ; VI:       ; %bb.0: ; %entry
2721 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2722 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2723 ; VI-NEXT:    v_mov_b32_e32 v0, s4
2724 ; VI-NEXT:    v_mov_b32_e32 v1, s5
2725 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2726 ; VI-NEXT:    s_add_u32 s0, s0, s4
2727 ; VI-NEXT:    s_addc_u32 s1, s1, s5
2728 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2729 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2730 ; VI-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
2731 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2732 ; VI-NEXT:    s_mov_b32 s6, -1
2733 ; VI-NEXT:    s_mov_b32 s4, s2
2734 ; VI-NEXT:    s_mov_b32 s5, s3
2735 ; VI-NEXT:    s_waitcnt vmcnt(0)
2736 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2737 ; VI-NEXT:    s_endpgm
2738 ;
2739 ; GFX9-LABEL: atomic_umax_i64_ret_addr64:
2740 ; GFX9:       ; %bb.0: ; %entry
2741 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
2742 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2743 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2744 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
2745 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
2746 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
2747 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
2748 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
2749 ; GFX9-NEXT:    global_atomic_umax_x2 v[0:1], v2, v[0:1], s[0:1] glc
2750 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2751 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
2752 ; GFX9-NEXT:    s_endpgm
2753 ;
2754 ; GFX12-LABEL: atomic_umax_i64_ret_addr64:
2755 ; GFX12:       ; %bb.0: ; %entry
2756 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2757 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2758 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
2759 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
2760 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2761 ; GFX12-NEXT:    s_wait_alu 0xfffe
2762 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2763 ; GFX12-NEXT:    global_atomic_max_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2764 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2765 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2766 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2767 ; GFX12-NEXT:    s_endpgm
2768 entry:
2769   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2770   %tmp0 = atomicrmw volatile umax ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
2771   store i64 %tmp0, ptr addrspace(1) %out2
2772   ret void
2773 }
2774
2775 define amdgpu_kernel void @atomic_min_i64_offset(ptr addrspace(1) %out, i64 %in) {
2776 ; CI-LABEL: atomic_min_i64_offset:
2777 ; CI:       ; %bb.0: ; %entry
2778 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2779 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2780 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2781 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2782 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2783 ; CI-NEXT:    s_mov_b32 s2, -1
2784 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[0:3], 0 offset:32
2785 ; CI-NEXT:    s_endpgm
2786 ;
2787 ; VI-LABEL: atomic_min_i64_offset:
2788 ; VI:       ; %bb.0: ; %entry
2789 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2790 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2791 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2792 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2793 ; VI-NEXT:    s_mov_b32 s3, 0xf000
2794 ; VI-NEXT:    s_mov_b32 s2, -1
2795 ; VI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[0:3], 0 offset:32
2796 ; VI-NEXT:    s_endpgm
2797 ;
2798 ; GFX9-LABEL: atomic_min_i64_offset:
2799 ; GFX9:       ; %bb.0: ; %entry
2800 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2801 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2802 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2803 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2804 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2805 ; GFX9-NEXT:    global_atomic_smin_x2 v2, v[0:1], s[0:1] offset:32
2806 ; GFX9-NEXT:    s_endpgm
2807 ;
2808 ; GFX12-LABEL: atomic_min_i64_offset:
2809 ; GFX12:       ; %bb.0: ; %entry
2810 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2811 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2812 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
2813 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
2814 ; GFX12-NEXT:    global_atomic_min_i64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
2815 ; GFX12-NEXT:    s_wait_storecnt 0x0
2816 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2817 ; GFX12-NEXT:    s_endpgm
2818 entry:
2819   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
2820   %tmp0 = atomicrmw volatile min ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2821   ret void
2822 }
2823
2824 define amdgpu_kernel void @atomic_min_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
2825 ; CI-LABEL: atomic_min_i64_ret_offset:
2826 ; CI:       ; %bb.0: ; %entry
2827 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2828 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
2829 ; CI-NEXT:    s_mov_b32 s7, 0xf000
2830 ; CI-NEXT:    s_mov_b32 s6, -1
2831 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2832 ; CI-NEXT:    s_mov_b32 s4, s2
2833 ; CI-NEXT:    s_mov_b32 s5, s3
2834 ; CI-NEXT:    v_mov_b32_e32 v0, s8
2835 ; CI-NEXT:    v_mov_b32_e32 v1, s9
2836 ; CI-NEXT:    s_mov_b32 s2, s6
2837 ; CI-NEXT:    s_mov_b32 s3, s7
2838 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[0:3], 0 offset:32 glc
2839 ; CI-NEXT:    s_waitcnt vmcnt(0)
2840 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2841 ; CI-NEXT:    s_endpgm
2842 ;
2843 ; VI-LABEL: atomic_min_i64_ret_offset:
2844 ; VI:       ; %bb.0: ; %entry
2845 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2846 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
2847 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2848 ; VI-NEXT:    s_mov_b32 s6, -1
2849 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2850 ; VI-NEXT:    s_mov_b32 s4, s2
2851 ; VI-NEXT:    s_mov_b32 s5, s3
2852 ; VI-NEXT:    v_mov_b32_e32 v0, s8
2853 ; VI-NEXT:    v_mov_b32_e32 v1, s9
2854 ; VI-NEXT:    s_mov_b32 s2, s6
2855 ; VI-NEXT:    s_mov_b32 s3, s7
2856 ; VI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[0:3], 0 offset:32 glc
2857 ; VI-NEXT:    s_waitcnt vmcnt(0)
2858 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
2859 ; VI-NEXT:    s_endpgm
2860 ;
2861 ; GFX9-LABEL: atomic_min_i64_ret_offset:
2862 ; GFX9:       ; %bb.0: ; %entry
2863 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2864 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2865 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2866 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2867 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
2868 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
2869 ; GFX9-NEXT:    global_atomic_smin_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
2870 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
2871 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
2872 ; GFX9-NEXT:    s_endpgm
2873 ;
2874 ; GFX12-LABEL: atomic_min_i64_ret_offset:
2875 ; GFX12:       ; %bb.0: ; %entry
2876 ; GFX12-NEXT:    s_clause 0x1
2877 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2878 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2879 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2880 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
2881 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
2882 ; GFX12-NEXT:    global_atomic_min_i64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2883 ; GFX12-NEXT:    s_wait_loadcnt 0x0
2884 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2885 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
2886 ; GFX12-NEXT:    s_endpgm
2887 entry:
2888   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
2889   %tmp0 = atomicrmw volatile min ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2890   store i64 %tmp0, ptr addrspace(1) %out2
2891   ret void
2892 }
2893
2894 define amdgpu_kernel void @atomic_min_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
2895 ; CI-LABEL: atomic_min_i64_addr64_offset:
2896 ; CI:       ; %bb.0: ; %entry
2897 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2898 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2899 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2900 ; CI-NEXT:    v_mov_b32_e32 v0, s2
2901 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
2902 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2903 ; CI-NEXT:    v_mov_b32_e32 v1, s3
2904 ; CI-NEXT:    s_mov_b32 s3, 0xf000
2905 ; CI-NEXT:    s_mov_b32 s2, 0
2906 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2907 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
2908 ; CI-NEXT:    s_endpgm
2909 ;
2910 ; VI-LABEL: atomic_min_i64_addr64_offset:
2911 ; VI:       ; %bb.0: ; %entry
2912 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2913 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2914 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2915 ; VI-NEXT:    v_mov_b32_e32 v0, s2
2916 ; VI-NEXT:    v_mov_b32_e32 v1, s3
2917 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2918 ; VI-NEXT:    s_add_u32 s0, s0, s2
2919 ; VI-NEXT:    s_addc_u32 s1, s1, s3
2920 ; VI-NEXT:    s_add_u32 s0, s0, 32
2921 ; VI-NEXT:    s_addc_u32 s1, s1, 0
2922 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2923 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2924 ; VI-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2925 ; VI-NEXT:    s_endpgm
2926 ;
2927 ; GFX9-LABEL: atomic_min_i64_addr64_offset:
2928 ; GFX9:       ; %bb.0: ; %entry
2929 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2930 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2931 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
2932 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
2933 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
2934 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
2935 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
2936 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
2937 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
2938 ; GFX9-NEXT:    global_atomic_smin_x2 v2, v[0:1], s[0:1] offset:32
2939 ; GFX9-NEXT:    s_endpgm
2940 ;
2941 ; GFX12-LABEL: atomic_min_i64_addr64_offset:
2942 ; GFX12:       ; %bb.0: ; %entry
2943 ; GFX12-NEXT:    s_clause 0x1
2944 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2945 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2946 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
2947 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2948 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2949 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2950 ; GFX12-NEXT:    s_wait_alu 0xfffe
2951 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
2952 ; GFX12-NEXT:    global_atomic_min_i64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
2953 ; GFX12-NEXT:    s_wait_storecnt 0x0
2954 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2955 ; GFX12-NEXT:    s_endpgm
2956 entry:
2957   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
2958   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
2959   %tmp0 = atomicrmw volatile min ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
2960   ret void
2961 }
2962
2963 define amdgpu_kernel void @atomic_min_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
2964 ; CI-LABEL: atomic_min_i64_ret_addr64_offset:
2965 ; CI:       ; %bb.0: ; %entry
2966 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2967 ; CI-NEXT:    s_mov_b32 s11, 0xf000
2968 ; CI-NEXT:    s_mov_b32 s10, -1
2969 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
2970 ; CI-NEXT:    v_mov_b32_e32 v0, s4
2971 ; CI-NEXT:    v_mov_b32_e32 v1, s5
2972 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2973 ; CI-NEXT:    v_mov_b32_e32 v2, s4
2974 ; CI-NEXT:    s_mov_b32 s8, s2
2975 ; CI-NEXT:    s_mov_b32 s9, s3
2976 ; CI-NEXT:    s_mov_b32 s2, 0
2977 ; CI-NEXT:    s_mov_b32 s3, s11
2978 ; CI-NEXT:    v_mov_b32_e32 v3, s5
2979 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
2980 ; CI-NEXT:    s_waitcnt vmcnt(0)
2981 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
2982 ; CI-NEXT:    s_endpgm
2983 ;
2984 ; VI-LABEL: atomic_min_i64_ret_addr64_offset:
2985 ; VI:       ; %bb.0: ; %entry
2986 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2987 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
2988 ; VI-NEXT:    v_mov_b32_e32 v0, s4
2989 ; VI-NEXT:    v_mov_b32_e32 v1, s5
2990 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2991 ; VI-NEXT:    s_add_u32 s0, s0, s4
2992 ; VI-NEXT:    s_addc_u32 s1, s1, s5
2993 ; VI-NEXT:    s_add_u32 s0, s0, 32
2994 ; VI-NEXT:    s_addc_u32 s1, s1, 0
2995 ; VI-NEXT:    v_mov_b32_e32 v3, s1
2996 ; VI-NEXT:    v_mov_b32_e32 v2, s0
2997 ; VI-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2998 ; VI-NEXT:    s_mov_b32 s7, 0xf000
2999 ; VI-NEXT:    s_mov_b32 s6, -1
3000 ; VI-NEXT:    s_mov_b32 s4, s2
3001 ; VI-NEXT:    s_mov_b32 s5, s3
3002 ; VI-NEXT:    s_waitcnt vmcnt(0)
3003 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3004 ; VI-NEXT:    s_endpgm
3005 ;
3006 ; GFX9-LABEL: atomic_min_i64_ret_addr64_offset:
3007 ; GFX9:       ; %bb.0: ; %entry
3008 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
3009 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3010 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3011 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
3012 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
3013 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
3014 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
3015 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
3016 ; GFX9-NEXT:    global_atomic_smin_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
3017 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3018 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
3019 ; GFX9-NEXT:    s_endpgm
3020 ;
3021 ; GFX12-LABEL: atomic_min_i64_ret_addr64_offset:
3022 ; GFX12:       ; %bb.0: ; %entry
3023 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3024 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3025 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
3026 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
3027 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3028 ; GFX12-NEXT:    s_wait_alu 0xfffe
3029 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3030 ; GFX12-NEXT:    global_atomic_min_i64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
3031 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3032 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3033 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3034 ; GFX12-NEXT:    s_endpgm
3035 entry:
3036   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3037   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
3038   %tmp0 = atomicrmw volatile min ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
3039   store i64 %tmp0, ptr addrspace(1) %out2
3040   ret void
3041 }
3042
3043 define amdgpu_kernel void @atomic_min_i64(ptr addrspace(1) %out, i64 %in) {
3044 ; CI-LABEL: atomic_min_i64:
3045 ; CI:       ; %bb.0: ; %entry
3046 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3047 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3048 ; CI-NEXT:    s_mov_b32 s6, -1
3049 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3050 ; CI-NEXT:    s_mov_b32 s4, s0
3051 ; CI-NEXT:    s_mov_b32 s5, s1
3052 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3053 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3054 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[4:7], 0
3055 ; CI-NEXT:    s_endpgm
3056 ;
3057 ; VI-LABEL: atomic_min_i64:
3058 ; VI:       ; %bb.0: ; %entry
3059 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3060 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3061 ; VI-NEXT:    s_mov_b32 s6, -1
3062 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3063 ; VI-NEXT:    s_mov_b32 s4, s0
3064 ; VI-NEXT:    s_mov_b32 s5, s1
3065 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3066 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3067 ; VI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[4:7], 0
3068 ; VI-NEXT:    s_endpgm
3069 ;
3070 ; GFX9-LABEL: atomic_min_i64:
3071 ; GFX9:       ; %bb.0: ; %entry
3072 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3073 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3074 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3075 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3076 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3077 ; GFX9-NEXT:    global_atomic_smin_x2 v2, v[0:1], s[0:1]
3078 ; GFX9-NEXT:    s_endpgm
3079 ;
3080 ; GFX12-LABEL: atomic_min_i64:
3081 ; GFX12:       ; %bb.0: ; %entry
3082 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3083 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3084 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
3085 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
3086 ; GFX12-NEXT:    global_atomic_min_i64 v2, v[0:1], s[0:1] scope:SCOPE_SE
3087 ; GFX12-NEXT:    s_wait_storecnt 0x0
3088 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3089 ; GFX12-NEXT:    s_endpgm
3090 entry:
3091   %tmp0 = atomicrmw volatile min ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
3092   ret void
3093 }
3094
3095 define amdgpu_kernel void @atomic_min_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
3096 ; CI-LABEL: atomic_min_i64_ret:
3097 ; CI:       ; %bb.0: ; %entry
3098 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3099 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
3100 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3101 ; CI-NEXT:    s_mov_b32 s6, -1
3102 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3103 ; CI-NEXT:    s_mov_b32 s4, s0
3104 ; CI-NEXT:    s_mov_b32 s5, s1
3105 ; CI-NEXT:    v_mov_b32_e32 v0, s8
3106 ; CI-NEXT:    v_mov_b32_e32 v1, s9
3107 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[4:7], 0 glc
3108 ; CI-NEXT:    s_mov_b32 s4, s2
3109 ; CI-NEXT:    s_mov_b32 s5, s3
3110 ; CI-NEXT:    s_waitcnt vmcnt(0)
3111 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3112 ; CI-NEXT:    s_endpgm
3113 ;
3114 ; VI-LABEL: atomic_min_i64_ret:
3115 ; VI:       ; %bb.0: ; %entry
3116 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3117 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
3118 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3119 ; VI-NEXT:    s_mov_b32 s6, -1
3120 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3121 ; VI-NEXT:    s_mov_b32 s4, s0
3122 ; VI-NEXT:    s_mov_b32 s5, s1
3123 ; VI-NEXT:    v_mov_b32_e32 v0, s8
3124 ; VI-NEXT:    v_mov_b32_e32 v1, s9
3125 ; VI-NEXT:    buffer_atomic_smin_x2 v[0:1], off, s[4:7], 0 glc
3126 ; VI-NEXT:    s_mov_b32 s4, s2
3127 ; VI-NEXT:    s_mov_b32 s5, s3
3128 ; VI-NEXT:    s_waitcnt vmcnt(0)
3129 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3130 ; VI-NEXT:    s_endpgm
3131 ;
3132 ; GFX9-LABEL: atomic_min_i64_ret:
3133 ; GFX9:       ; %bb.0: ; %entry
3134 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3135 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3136 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3137 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3138 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
3139 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
3140 ; GFX9-NEXT:    global_atomic_smin_x2 v[0:1], v2, v[0:1], s[0:1] glc
3141 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3142 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
3143 ; GFX9-NEXT:    s_endpgm
3144 ;
3145 ; GFX12-LABEL: atomic_min_i64_ret:
3146 ; GFX12:       ; %bb.0: ; %entry
3147 ; GFX12-NEXT:    s_clause 0x1
3148 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3149 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3150 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3151 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
3152 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
3153 ; GFX12-NEXT:    global_atomic_min_i64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
3154 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3155 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3156 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3157 ; GFX12-NEXT:    s_endpgm
3158 entry:
3159   %tmp0 = atomicrmw volatile min ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
3160   store i64 %tmp0, ptr addrspace(1) %out2
3161   ret void
3162 }
3163
3164 define amdgpu_kernel void @atomic_min_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
3165 ; CI-LABEL: atomic_min_i64_addr64:
3166 ; CI:       ; %bb.0: ; %entry
3167 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3168 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3169 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3170 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3171 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
3172 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3173 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3174 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3175 ; CI-NEXT:    s_mov_b32 s2, 0
3176 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3177 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], v[2:3], s[0:3], 0 addr64
3178 ; CI-NEXT:    s_endpgm
3179 ;
3180 ; VI-LABEL: atomic_min_i64_addr64:
3181 ; VI:       ; %bb.0: ; %entry
3182 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3183 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3184 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3185 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3186 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3187 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3188 ; VI-NEXT:    s_add_u32 s0, s0, s2
3189 ; VI-NEXT:    s_addc_u32 s1, s1, s3
3190 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3191 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3192 ; VI-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
3193 ; VI-NEXT:    s_endpgm
3194 ;
3195 ; GFX9-LABEL: atomic_min_i64_addr64:
3196 ; GFX9:       ; %bb.0: ; %entry
3197 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3198 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3199 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3200 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3201 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3202 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3203 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
3204 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
3205 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
3206 ; GFX9-NEXT:    global_atomic_smin_x2 v2, v[0:1], s[0:1]
3207 ; GFX9-NEXT:    s_endpgm
3208 ;
3209 ; GFX12-LABEL: atomic_min_i64_addr64:
3210 ; GFX12:       ; %bb.0: ; %entry
3211 ; GFX12-NEXT:    s_clause 0x1
3212 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3213 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3214 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
3215 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3216 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3217 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3218 ; GFX12-NEXT:    s_wait_alu 0xfffe
3219 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
3220 ; GFX12-NEXT:    global_atomic_min_i64 v2, v[0:1], s[0:1] scope:SCOPE_SE
3221 ; GFX12-NEXT:    s_wait_storecnt 0x0
3222 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3223 ; GFX12-NEXT:    s_endpgm
3224 entry:
3225   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3226   %tmp0 = atomicrmw volatile min ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
3227   ret void
3228 }
3229
3230 define amdgpu_kernel void @atomic_min_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
3231 ; CI-LABEL: atomic_min_i64_ret_addr64:
3232 ; CI:       ; %bb.0: ; %entry
3233 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3234 ; CI-NEXT:    s_mov_b32 s11, 0xf000
3235 ; CI-NEXT:    s_mov_b32 s10, -1
3236 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3237 ; CI-NEXT:    v_mov_b32_e32 v0, s4
3238 ; CI-NEXT:    v_mov_b32_e32 v1, s5
3239 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3240 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3241 ; CI-NEXT:    s_mov_b32 s8, s2
3242 ; CI-NEXT:    s_mov_b32 s9, s3
3243 ; CI-NEXT:    s_mov_b32 s2, 0
3244 ; CI-NEXT:    s_mov_b32 s3, s11
3245 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3246 ; CI-NEXT:    buffer_atomic_smin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
3247 ; CI-NEXT:    s_waitcnt vmcnt(0)
3248 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
3249 ; CI-NEXT:    s_endpgm
3250 ;
3251 ; VI-LABEL: atomic_min_i64_ret_addr64:
3252 ; VI:       ; %bb.0: ; %entry
3253 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3254 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3255 ; VI-NEXT:    v_mov_b32_e32 v0, s4
3256 ; VI-NEXT:    v_mov_b32_e32 v1, s5
3257 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3258 ; VI-NEXT:    s_add_u32 s0, s0, s4
3259 ; VI-NEXT:    s_addc_u32 s1, s1, s5
3260 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3261 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3262 ; VI-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
3263 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3264 ; VI-NEXT:    s_mov_b32 s6, -1
3265 ; VI-NEXT:    s_mov_b32 s4, s2
3266 ; VI-NEXT:    s_mov_b32 s5, s3
3267 ; VI-NEXT:    s_waitcnt vmcnt(0)
3268 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3269 ; VI-NEXT:    s_endpgm
3270 ;
3271 ; GFX9-LABEL: atomic_min_i64_ret_addr64:
3272 ; GFX9:       ; %bb.0: ; %entry
3273 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
3274 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3275 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3276 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
3277 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
3278 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
3279 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
3280 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
3281 ; GFX9-NEXT:    global_atomic_smin_x2 v[0:1], v2, v[0:1], s[0:1] glc
3282 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3283 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
3284 ; GFX9-NEXT:    s_endpgm
3285 ;
3286 ; GFX12-LABEL: atomic_min_i64_ret_addr64:
3287 ; GFX12:       ; %bb.0: ; %entry
3288 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3289 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3290 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
3291 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
3292 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3293 ; GFX12-NEXT:    s_wait_alu 0xfffe
3294 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3295 ; GFX12-NEXT:    global_atomic_min_i64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
3296 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3297 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3298 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3299 ; GFX12-NEXT:    s_endpgm
3300 entry:
3301   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3302   %tmp0 = atomicrmw volatile min ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
3303   store i64 %tmp0, ptr addrspace(1) %out2
3304   ret void
3305 }
3306
3307 define amdgpu_kernel void @atomic_umin_i64_offset(ptr addrspace(1) %out, i64 %in) {
3308 ; CI-LABEL: atomic_umin_i64_offset:
3309 ; CI:       ; %bb.0: ; %entry
3310 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3311 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3312 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3313 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3314 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3315 ; CI-NEXT:    s_mov_b32 s2, -1
3316 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[0:3], 0 offset:32
3317 ; CI-NEXT:    s_endpgm
3318 ;
3319 ; VI-LABEL: atomic_umin_i64_offset:
3320 ; VI:       ; %bb.0: ; %entry
3321 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3322 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3323 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3324 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3325 ; VI-NEXT:    s_mov_b32 s3, 0xf000
3326 ; VI-NEXT:    s_mov_b32 s2, -1
3327 ; VI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[0:3], 0 offset:32
3328 ; VI-NEXT:    s_endpgm
3329 ;
3330 ; GFX9-LABEL: atomic_umin_i64_offset:
3331 ; GFX9:       ; %bb.0: ; %entry
3332 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3333 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3334 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3335 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3336 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3337 ; GFX9-NEXT:    global_atomic_umin_x2 v2, v[0:1], s[0:1] offset:32
3338 ; GFX9-NEXT:    s_endpgm
3339 ;
3340 ; GFX12-LABEL: atomic_umin_i64_offset:
3341 ; GFX12:       ; %bb.0: ; %entry
3342 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3343 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3344 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
3345 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
3346 ; GFX12-NEXT:    global_atomic_min_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
3347 ; GFX12-NEXT:    s_wait_storecnt 0x0
3348 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3349 ; GFX12-NEXT:    s_endpgm
3350 entry:
3351   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
3352   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
3353   ret void
3354 }
3355
3356 define amdgpu_kernel void @atomic_umin_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
3357 ; CI-LABEL: atomic_umin_i64_ret_offset:
3358 ; CI:       ; %bb.0: ; %entry
3359 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3360 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
3361 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3362 ; CI-NEXT:    s_mov_b32 s6, -1
3363 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3364 ; CI-NEXT:    s_mov_b32 s4, s2
3365 ; CI-NEXT:    s_mov_b32 s5, s3
3366 ; CI-NEXT:    v_mov_b32_e32 v0, s8
3367 ; CI-NEXT:    v_mov_b32_e32 v1, s9
3368 ; CI-NEXT:    s_mov_b32 s2, s6
3369 ; CI-NEXT:    s_mov_b32 s3, s7
3370 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[0:3], 0 offset:32 glc
3371 ; CI-NEXT:    s_waitcnt vmcnt(0)
3372 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3373 ; CI-NEXT:    s_endpgm
3374 ;
3375 ; VI-LABEL: atomic_umin_i64_ret_offset:
3376 ; VI:       ; %bb.0: ; %entry
3377 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3378 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
3379 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3380 ; VI-NEXT:    s_mov_b32 s6, -1
3381 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3382 ; VI-NEXT:    s_mov_b32 s4, s2
3383 ; VI-NEXT:    s_mov_b32 s5, s3
3384 ; VI-NEXT:    v_mov_b32_e32 v0, s8
3385 ; VI-NEXT:    v_mov_b32_e32 v1, s9
3386 ; VI-NEXT:    s_mov_b32 s2, s6
3387 ; VI-NEXT:    s_mov_b32 s3, s7
3388 ; VI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[0:3], 0 offset:32 glc
3389 ; VI-NEXT:    s_waitcnt vmcnt(0)
3390 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3391 ; VI-NEXT:    s_endpgm
3392 ;
3393 ; GFX9-LABEL: atomic_umin_i64_ret_offset:
3394 ; GFX9:       ; %bb.0: ; %entry
3395 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3396 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3397 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3398 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3399 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
3400 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
3401 ; GFX9-NEXT:    global_atomic_umin_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
3402 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3403 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
3404 ; GFX9-NEXT:    s_endpgm
3405 ;
3406 ; GFX12-LABEL: atomic_umin_i64_ret_offset:
3407 ; GFX12:       ; %bb.0: ; %entry
3408 ; GFX12-NEXT:    s_clause 0x1
3409 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3410 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3411 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3412 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
3413 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
3414 ; GFX12-NEXT:    global_atomic_min_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
3415 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3416 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3417 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3418 ; GFX12-NEXT:    s_endpgm
3419 entry:
3420   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
3421   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
3422   store i64 %tmp0, ptr addrspace(1) %out2
3423   ret void
3424 }
3425
3426 define amdgpu_kernel void @atomic_umin_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
3427 ; CI-LABEL: atomic_umin_i64_addr64_offset:
3428 ; CI:       ; %bb.0: ; %entry
3429 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3430 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3431 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3432 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3433 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
3434 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3435 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3436 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3437 ; CI-NEXT:    s_mov_b32 s2, 0
3438 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3439 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
3440 ; CI-NEXT:    s_endpgm
3441 ;
3442 ; VI-LABEL: atomic_umin_i64_addr64_offset:
3443 ; VI:       ; %bb.0: ; %entry
3444 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3445 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3446 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3447 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3448 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3449 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3450 ; VI-NEXT:    s_add_u32 s0, s0, s2
3451 ; VI-NEXT:    s_addc_u32 s1, s1, s3
3452 ; VI-NEXT:    s_add_u32 s0, s0, 32
3453 ; VI-NEXT:    s_addc_u32 s1, s1, 0
3454 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3455 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3456 ; VI-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
3457 ; VI-NEXT:    s_endpgm
3458 ;
3459 ; GFX9-LABEL: atomic_umin_i64_addr64_offset:
3460 ; GFX9:       ; %bb.0: ; %entry
3461 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3462 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3463 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3464 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3465 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3466 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3467 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
3468 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
3469 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
3470 ; GFX9-NEXT:    global_atomic_umin_x2 v2, v[0:1], s[0:1] offset:32
3471 ; GFX9-NEXT:    s_endpgm
3472 ;
3473 ; GFX12-LABEL: atomic_umin_i64_addr64_offset:
3474 ; GFX12:       ; %bb.0: ; %entry
3475 ; GFX12-NEXT:    s_clause 0x1
3476 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3477 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3478 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
3479 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3480 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3481 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3482 ; GFX12-NEXT:    s_wait_alu 0xfffe
3483 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
3484 ; GFX12-NEXT:    global_atomic_min_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SE
3485 ; GFX12-NEXT:    s_wait_storecnt 0x0
3486 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3487 ; GFX12-NEXT:    s_endpgm
3488 entry:
3489   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3490   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
3491   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
3492   ret void
3493 }
3494
3495 define amdgpu_kernel void @atomic_umin_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
3496 ; CI-LABEL: atomic_umin_i64_ret_addr64_offset:
3497 ; CI:       ; %bb.0: ; %entry
3498 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3499 ; CI-NEXT:    s_mov_b32 s11, 0xf000
3500 ; CI-NEXT:    s_mov_b32 s10, -1
3501 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3502 ; CI-NEXT:    v_mov_b32_e32 v0, s4
3503 ; CI-NEXT:    v_mov_b32_e32 v1, s5
3504 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3505 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3506 ; CI-NEXT:    s_mov_b32 s8, s2
3507 ; CI-NEXT:    s_mov_b32 s9, s3
3508 ; CI-NEXT:    s_mov_b32 s2, 0
3509 ; CI-NEXT:    s_mov_b32 s3, s11
3510 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3511 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
3512 ; CI-NEXT:    s_waitcnt vmcnt(0)
3513 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
3514 ; CI-NEXT:    s_endpgm
3515 ;
3516 ; VI-LABEL: atomic_umin_i64_ret_addr64_offset:
3517 ; VI:       ; %bb.0: ; %entry
3518 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3519 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3520 ; VI-NEXT:    v_mov_b32_e32 v0, s4
3521 ; VI-NEXT:    v_mov_b32_e32 v1, s5
3522 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3523 ; VI-NEXT:    s_add_u32 s0, s0, s4
3524 ; VI-NEXT:    s_addc_u32 s1, s1, s5
3525 ; VI-NEXT:    s_add_u32 s0, s0, 32
3526 ; VI-NEXT:    s_addc_u32 s1, s1, 0
3527 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3528 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3529 ; VI-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
3530 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3531 ; VI-NEXT:    s_mov_b32 s6, -1
3532 ; VI-NEXT:    s_mov_b32 s4, s2
3533 ; VI-NEXT:    s_mov_b32 s5, s3
3534 ; VI-NEXT:    s_waitcnt vmcnt(0)
3535 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3536 ; VI-NEXT:    s_endpgm
3537 ;
3538 ; GFX9-LABEL: atomic_umin_i64_ret_addr64_offset:
3539 ; GFX9:       ; %bb.0: ; %entry
3540 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
3541 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3542 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3543 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
3544 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
3545 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
3546 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
3547 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
3548 ; GFX9-NEXT:    global_atomic_umin_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
3549 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3550 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
3551 ; GFX9-NEXT:    s_endpgm
3552 ;
3553 ; GFX12-LABEL: atomic_umin_i64_ret_addr64_offset:
3554 ; GFX12:       ; %bb.0: ; %entry
3555 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3556 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3557 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
3558 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
3559 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3560 ; GFX12-NEXT:    s_wait_alu 0xfffe
3561 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3562 ; GFX12-NEXT:    global_atomic_min_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
3563 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3564 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3565 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3566 ; GFX12-NEXT:    s_endpgm
3567 entry:
3568   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3569   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
3570   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %gep, i64 %in syncscope("workgroup") seq_cst
3571   store i64 %tmp0, ptr addrspace(1) %out2
3572   ret void
3573 }
3574
3575 define amdgpu_kernel void @atomic_umin_i64(ptr addrspace(1) %out, i64 %in) {
3576 ; CI-LABEL: atomic_umin_i64:
3577 ; CI:       ; %bb.0: ; %entry
3578 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3579 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3580 ; CI-NEXT:    s_mov_b32 s6, -1
3581 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3582 ; CI-NEXT:    s_mov_b32 s4, s0
3583 ; CI-NEXT:    s_mov_b32 s5, s1
3584 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3585 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3586 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[4:7], 0
3587 ; CI-NEXT:    s_endpgm
3588 ;
3589 ; VI-LABEL: atomic_umin_i64:
3590 ; VI:       ; %bb.0: ; %entry
3591 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3592 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3593 ; VI-NEXT:    s_mov_b32 s6, -1
3594 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3595 ; VI-NEXT:    s_mov_b32 s4, s0
3596 ; VI-NEXT:    s_mov_b32 s5, s1
3597 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3598 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3599 ; VI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[4:7], 0
3600 ; VI-NEXT:    s_endpgm
3601 ;
3602 ; GFX9-LABEL: atomic_umin_i64:
3603 ; GFX9:       ; %bb.0: ; %entry
3604 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3605 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3606 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3607 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3608 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3609 ; GFX9-NEXT:    global_atomic_umin_x2 v2, v[0:1], s[0:1]
3610 ; GFX9-NEXT:    s_endpgm
3611 ;
3612 ; GFX12-LABEL: atomic_umin_i64:
3613 ; GFX12:       ; %bb.0: ; %entry
3614 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3615 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3616 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
3617 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
3618 ; GFX12-NEXT:    global_atomic_min_u64 v2, v[0:1], s[0:1] scope:SCOPE_SE
3619 ; GFX12-NEXT:    s_wait_storecnt 0x0
3620 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3621 ; GFX12-NEXT:    s_endpgm
3622 entry:
3623   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
3624   ret void
3625 }
3626
3627 define amdgpu_kernel void @atomic_umin_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
3628 ; CI-LABEL: atomic_umin_i64_ret:
3629 ; CI:       ; %bb.0: ; %entry
3630 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3631 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
3632 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3633 ; CI-NEXT:    s_mov_b32 s6, -1
3634 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3635 ; CI-NEXT:    s_mov_b32 s4, s0
3636 ; CI-NEXT:    s_mov_b32 s5, s1
3637 ; CI-NEXT:    v_mov_b32_e32 v0, s8
3638 ; CI-NEXT:    v_mov_b32_e32 v1, s9
3639 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[4:7], 0 glc
3640 ; CI-NEXT:    s_mov_b32 s4, s2
3641 ; CI-NEXT:    s_mov_b32 s5, s3
3642 ; CI-NEXT:    s_waitcnt vmcnt(0)
3643 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3644 ; CI-NEXT:    s_endpgm
3645 ;
3646 ; VI-LABEL: atomic_umin_i64_ret:
3647 ; VI:       ; %bb.0: ; %entry
3648 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3649 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
3650 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3651 ; VI-NEXT:    s_mov_b32 s6, -1
3652 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3653 ; VI-NEXT:    s_mov_b32 s4, s0
3654 ; VI-NEXT:    s_mov_b32 s5, s1
3655 ; VI-NEXT:    v_mov_b32_e32 v0, s8
3656 ; VI-NEXT:    v_mov_b32_e32 v1, s9
3657 ; VI-NEXT:    buffer_atomic_umin_x2 v[0:1], off, s[4:7], 0 glc
3658 ; VI-NEXT:    s_mov_b32 s4, s2
3659 ; VI-NEXT:    s_mov_b32 s5, s3
3660 ; VI-NEXT:    s_waitcnt vmcnt(0)
3661 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3662 ; VI-NEXT:    s_endpgm
3663 ;
3664 ; GFX9-LABEL: atomic_umin_i64_ret:
3665 ; GFX9:       ; %bb.0: ; %entry
3666 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3667 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3668 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3669 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3670 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
3671 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
3672 ; GFX9-NEXT:    global_atomic_umin_x2 v[0:1], v2, v[0:1], s[0:1] glc
3673 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3674 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
3675 ; GFX9-NEXT:    s_endpgm
3676 ;
3677 ; GFX12-LABEL: atomic_umin_i64_ret:
3678 ; GFX12:       ; %bb.0: ; %entry
3679 ; GFX12-NEXT:    s_clause 0x1
3680 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3681 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3682 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3683 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
3684 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
3685 ; GFX12-NEXT:    global_atomic_min_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
3686 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3687 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3688 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3689 ; GFX12-NEXT:    s_endpgm
3690 entry:
3691   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %out, i64 %in syncscope("workgroup") seq_cst
3692   store i64 %tmp0, ptr addrspace(1) %out2
3693   ret void
3694 }
3695
3696 define amdgpu_kernel void @atomic_umin_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
3697 ; CI-LABEL: atomic_umin_i64_addr64:
3698 ; CI:       ; %bb.0: ; %entry
3699 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3700 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3701 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3702 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3703 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
3704 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3705 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3706 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3707 ; CI-NEXT:    s_mov_b32 s2, 0
3708 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3709 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], v[2:3], s[0:3], 0 addr64
3710 ; CI-NEXT:    s_endpgm
3711 ;
3712 ; VI-LABEL: atomic_umin_i64_addr64:
3713 ; VI:       ; %bb.0: ; %entry
3714 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3715 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3716 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3717 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3718 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3719 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3720 ; VI-NEXT:    s_add_u32 s0, s0, s2
3721 ; VI-NEXT:    s_addc_u32 s1, s1, s3
3722 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3723 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3724 ; VI-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
3725 ; VI-NEXT:    s_endpgm
3726 ;
3727 ; GFX9-LABEL: atomic_umin_i64_addr64:
3728 ; GFX9:       ; %bb.0: ; %entry
3729 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3730 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3731 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3732 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3733 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3734 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3735 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
3736 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
3737 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
3738 ; GFX9-NEXT:    global_atomic_umin_x2 v2, v[0:1], s[0:1]
3739 ; GFX9-NEXT:    s_endpgm
3740 ;
3741 ; GFX12-LABEL: atomic_umin_i64_addr64:
3742 ; GFX12:       ; %bb.0: ; %entry
3743 ; GFX12-NEXT:    s_clause 0x1
3744 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3745 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3746 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
3747 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3748 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3749 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3750 ; GFX12-NEXT:    s_wait_alu 0xfffe
3751 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
3752 ; GFX12-NEXT:    global_atomic_min_u64 v2, v[0:1], s[0:1] scope:SCOPE_SE
3753 ; GFX12-NEXT:    s_wait_storecnt 0x0
3754 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3755 ; GFX12-NEXT:    s_endpgm
3756 entry:
3757   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3758   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
3759   ret void
3760 }
3761
3762 define amdgpu_kernel void @atomic_umin_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
3763 ; CI-LABEL: atomic_umin_i64_ret_addr64:
3764 ; CI:       ; %bb.0: ; %entry
3765 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3766 ; CI-NEXT:    s_mov_b32 s11, 0xf000
3767 ; CI-NEXT:    s_mov_b32 s10, -1
3768 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3769 ; CI-NEXT:    v_mov_b32_e32 v0, s4
3770 ; CI-NEXT:    v_mov_b32_e32 v1, s5
3771 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3772 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3773 ; CI-NEXT:    s_mov_b32 s8, s2
3774 ; CI-NEXT:    s_mov_b32 s9, s3
3775 ; CI-NEXT:    s_mov_b32 s2, 0
3776 ; CI-NEXT:    s_mov_b32 s3, s11
3777 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3778 ; CI-NEXT:    buffer_atomic_umin_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
3779 ; CI-NEXT:    s_waitcnt vmcnt(0)
3780 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
3781 ; CI-NEXT:    s_endpgm
3782 ;
3783 ; VI-LABEL: atomic_umin_i64_ret_addr64:
3784 ; VI:       ; %bb.0: ; %entry
3785 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3786 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3787 ; VI-NEXT:    v_mov_b32_e32 v0, s4
3788 ; VI-NEXT:    v_mov_b32_e32 v1, s5
3789 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3790 ; VI-NEXT:    s_add_u32 s0, s0, s4
3791 ; VI-NEXT:    s_addc_u32 s1, s1, s5
3792 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3793 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3794 ; VI-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
3795 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3796 ; VI-NEXT:    s_mov_b32 s6, -1
3797 ; VI-NEXT:    s_mov_b32 s4, s2
3798 ; VI-NEXT:    s_mov_b32 s5, s3
3799 ; VI-NEXT:    s_waitcnt vmcnt(0)
3800 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3801 ; VI-NEXT:    s_endpgm
3802 ;
3803 ; GFX9-LABEL: atomic_umin_i64_ret_addr64:
3804 ; GFX9:       ; %bb.0: ; %entry
3805 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
3806 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3807 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3808 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
3809 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
3810 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
3811 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
3812 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
3813 ; GFX9-NEXT:    global_atomic_umin_x2 v[0:1], v2, v[0:1], s[0:1] glc
3814 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3815 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
3816 ; GFX9-NEXT:    s_endpgm
3817 ;
3818 ; GFX12-LABEL: atomic_umin_i64_ret_addr64:
3819 ; GFX12:       ; %bb.0: ; %entry
3820 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3821 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3822 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
3823 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
3824 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3825 ; GFX12-NEXT:    s_wait_alu 0xfffe
3826 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3827 ; GFX12-NEXT:    global_atomic_min_u64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
3828 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3829 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3830 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3831 ; GFX12-NEXT:    s_endpgm
3832 entry:
3833   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
3834   %tmp0 = atomicrmw volatile umin ptr addrspace(1) %ptr, i64 %in syncscope("workgroup") seq_cst
3835   store i64 %tmp0, ptr addrspace(1) %out2
3836   ret void
3837 }
3838
3839 define amdgpu_kernel void @atomic_or_i64_offset(ptr addrspace(1) %out, i64 %in) {
3840 ; CI-LABEL: atomic_or_i64_offset:
3841 ; CI:       ; %bb.0: ; %entry
3842 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3843 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3844 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3845 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3846 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3847 ; CI-NEXT:    s_mov_b32 s2, -1
3848 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[0:3], 0 offset:32
3849 ; CI-NEXT:    s_waitcnt vmcnt(0)
3850 ; CI-NEXT:    buffer_wbinvl1_vol
3851 ; CI-NEXT:    s_endpgm
3852 ;
3853 ; VI-LABEL: atomic_or_i64_offset:
3854 ; VI:       ; %bb.0: ; %entry
3855 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3856 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3857 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3858 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3859 ; VI-NEXT:    s_mov_b32 s3, 0xf000
3860 ; VI-NEXT:    s_mov_b32 s2, -1
3861 ; VI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[0:3], 0 offset:32
3862 ; VI-NEXT:    s_waitcnt vmcnt(0)
3863 ; VI-NEXT:    buffer_wbinvl1_vol
3864 ; VI-NEXT:    s_endpgm
3865 ;
3866 ; GFX9-LABEL: atomic_or_i64_offset:
3867 ; GFX9:       ; %bb.0: ; %entry
3868 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3869 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3870 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3871 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
3872 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
3873 ; GFX9-NEXT:    global_atomic_or_x2 v2, v[0:1], s[0:1] offset:32
3874 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3875 ; GFX9-NEXT:    buffer_wbinvl1_vol
3876 ; GFX9-NEXT:    s_endpgm
3877 ;
3878 ; GFX12-LABEL: atomic_or_i64_offset:
3879 ; GFX12:       ; %bb.0: ; %entry
3880 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3881 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3882 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
3883 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
3884 ; GFX12-NEXT:    global_atomic_or_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
3885 ; GFX12-NEXT:    s_wait_storecnt 0x0
3886 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3887 ; GFX12-NEXT:    s_endpgm
3888 entry:
3889   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
3890   %tmp0 = atomicrmw volatile or ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
3891   ret void
3892 }
3893
3894 define amdgpu_kernel void @atomic_or_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
3895 ; CI-LABEL: atomic_or_i64_ret_offset:
3896 ; CI:       ; %bb.0: ; %entry
3897 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3898 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
3899 ; CI-NEXT:    s_mov_b32 s7, 0xf000
3900 ; CI-NEXT:    s_mov_b32 s6, -1
3901 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3902 ; CI-NEXT:    s_mov_b32 s4, s2
3903 ; CI-NEXT:    s_mov_b32 s5, s3
3904 ; CI-NEXT:    v_mov_b32_e32 v0, s8
3905 ; CI-NEXT:    v_mov_b32_e32 v1, s9
3906 ; CI-NEXT:    s_mov_b32 s2, s6
3907 ; CI-NEXT:    s_mov_b32 s3, s7
3908 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[0:3], 0 offset:32 glc
3909 ; CI-NEXT:    s_waitcnt vmcnt(0)
3910 ; CI-NEXT:    buffer_wbinvl1_vol
3911 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3912 ; CI-NEXT:    s_endpgm
3913 ;
3914 ; VI-LABEL: atomic_or_i64_ret_offset:
3915 ; VI:       ; %bb.0: ; %entry
3916 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3917 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
3918 ; VI-NEXT:    s_mov_b32 s7, 0xf000
3919 ; VI-NEXT:    s_mov_b32 s6, -1
3920 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3921 ; VI-NEXT:    s_mov_b32 s4, s2
3922 ; VI-NEXT:    s_mov_b32 s5, s3
3923 ; VI-NEXT:    v_mov_b32_e32 v0, s8
3924 ; VI-NEXT:    v_mov_b32_e32 v1, s9
3925 ; VI-NEXT:    s_mov_b32 s2, s6
3926 ; VI-NEXT:    s_mov_b32 s3, s7
3927 ; VI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[0:3], 0 offset:32 glc
3928 ; VI-NEXT:    s_waitcnt vmcnt(0)
3929 ; VI-NEXT:    buffer_wbinvl1_vol
3930 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
3931 ; VI-NEXT:    s_endpgm
3932 ;
3933 ; GFX9-LABEL: atomic_or_i64_ret_offset:
3934 ; GFX9:       ; %bb.0: ; %entry
3935 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3936 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3937 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
3938 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
3939 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
3940 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
3941 ; GFX9-NEXT:    global_atomic_or_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
3942 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
3943 ; GFX9-NEXT:    buffer_wbinvl1_vol
3944 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
3945 ; GFX9-NEXT:    s_endpgm
3946 ;
3947 ; GFX12-LABEL: atomic_or_i64_ret_offset:
3948 ; GFX12:       ; %bb.0: ; %entry
3949 ; GFX12-NEXT:    s_clause 0x1
3950 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3951 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3952 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3953 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
3954 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
3955 ; GFX12-NEXT:    global_atomic_or_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3956 ; GFX12-NEXT:    s_wait_loadcnt 0x0
3957 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3958 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
3959 ; GFX12-NEXT:    s_endpgm
3960 entry:
3961   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
3962   %tmp0 = atomicrmw volatile or ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
3963   store i64 %tmp0, ptr addrspace(1) %out2
3964   ret void
3965 }
3966
3967 define amdgpu_kernel void @atomic_or_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
3968 ; CI-LABEL: atomic_or_i64_addr64_offset:
3969 ; CI:       ; %bb.0: ; %entry
3970 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3971 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3972 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
3973 ; CI-NEXT:    v_mov_b32_e32 v0, s2
3974 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
3975 ; CI-NEXT:    v_mov_b32_e32 v2, s4
3976 ; CI-NEXT:    v_mov_b32_e32 v1, s3
3977 ; CI-NEXT:    s_mov_b32 s3, 0xf000
3978 ; CI-NEXT:    s_mov_b32 s2, 0
3979 ; CI-NEXT:    v_mov_b32_e32 v3, s5
3980 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
3981 ; CI-NEXT:    s_waitcnt vmcnt(0)
3982 ; CI-NEXT:    buffer_wbinvl1_vol
3983 ; CI-NEXT:    s_endpgm
3984 ;
3985 ; VI-LABEL: atomic_or_i64_addr64_offset:
3986 ; VI:       ; %bb.0: ; %entry
3987 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3988 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3989 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
3990 ; VI-NEXT:    v_mov_b32_e32 v0, s2
3991 ; VI-NEXT:    v_mov_b32_e32 v1, s3
3992 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3993 ; VI-NEXT:    s_add_u32 s0, s0, s2
3994 ; VI-NEXT:    s_addc_u32 s1, s1, s3
3995 ; VI-NEXT:    s_add_u32 s0, s0, 32
3996 ; VI-NEXT:    s_addc_u32 s1, s1, 0
3997 ; VI-NEXT:    v_mov_b32_e32 v3, s1
3998 ; VI-NEXT:    v_mov_b32_e32 v2, s0
3999 ; VI-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
4000 ; VI-NEXT:    s_waitcnt vmcnt(0)
4001 ; VI-NEXT:    buffer_wbinvl1_vol
4002 ; VI-NEXT:    s_endpgm
4003 ;
4004 ; GFX9-LABEL: atomic_or_i64_addr64_offset:
4005 ; GFX9:       ; %bb.0: ; %entry
4006 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4007 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4008 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4009 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4010 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4011 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4012 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
4013 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
4014 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
4015 ; GFX9-NEXT:    global_atomic_or_x2 v2, v[0:1], s[0:1] offset:32
4016 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4017 ; GFX9-NEXT:    buffer_wbinvl1_vol
4018 ; GFX9-NEXT:    s_endpgm
4019 ;
4020 ; GFX12-LABEL: atomic_or_i64_addr64_offset:
4021 ; GFX12:       ; %bb.0: ; %entry
4022 ; GFX12-NEXT:    s_clause 0x1
4023 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4024 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4025 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
4026 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4027 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4028 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4029 ; GFX12-NEXT:    s_wait_alu 0xfffe
4030 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
4031 ; GFX12-NEXT:    global_atomic_or_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
4032 ; GFX12-NEXT:    s_wait_storecnt 0x0
4033 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4034 ; GFX12-NEXT:    s_endpgm
4035 entry:
4036   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4037   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
4038   %tmp0 = atomicrmw volatile or ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4039   ret void
4040 }
4041
4042 define amdgpu_kernel void @atomic_or_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
4043 ; CI-LABEL: atomic_or_i64_ret_addr64_offset:
4044 ; CI:       ; %bb.0: ; %entry
4045 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4046 ; CI-NEXT:    s_mov_b32 s11, 0xf000
4047 ; CI-NEXT:    s_mov_b32 s10, -1
4048 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4049 ; CI-NEXT:    v_mov_b32_e32 v0, s4
4050 ; CI-NEXT:    v_mov_b32_e32 v1, s5
4051 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4052 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4053 ; CI-NEXT:    s_mov_b32 s8, s2
4054 ; CI-NEXT:    s_mov_b32 s9, s3
4055 ; CI-NEXT:    s_mov_b32 s2, 0
4056 ; CI-NEXT:    s_mov_b32 s3, s11
4057 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4058 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
4059 ; CI-NEXT:    s_waitcnt vmcnt(0)
4060 ; CI-NEXT:    buffer_wbinvl1_vol
4061 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
4062 ; CI-NEXT:    s_endpgm
4063 ;
4064 ; VI-LABEL: atomic_or_i64_ret_addr64_offset:
4065 ; VI:       ; %bb.0: ; %entry
4066 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4067 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4068 ; VI-NEXT:    v_mov_b32_e32 v0, s4
4069 ; VI-NEXT:    v_mov_b32_e32 v1, s5
4070 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4071 ; VI-NEXT:    s_add_u32 s0, s0, s4
4072 ; VI-NEXT:    s_addc_u32 s1, s1, s5
4073 ; VI-NEXT:    s_add_u32 s0, s0, 32
4074 ; VI-NEXT:    s_addc_u32 s1, s1, 0
4075 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4076 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4077 ; VI-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
4078 ; VI-NEXT:    s_waitcnt vmcnt(0)
4079 ; VI-NEXT:    buffer_wbinvl1_vol
4080 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4081 ; VI-NEXT:    s_mov_b32 s6, -1
4082 ; VI-NEXT:    s_mov_b32 s4, s2
4083 ; VI-NEXT:    s_mov_b32 s5, s3
4084 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4085 ; VI-NEXT:    s_endpgm
4086 ;
4087 ; GFX9-LABEL: atomic_or_i64_ret_addr64_offset:
4088 ; GFX9:       ; %bb.0: ; %entry
4089 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
4090 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4091 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4092 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
4093 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
4094 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
4095 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
4096 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
4097 ; GFX9-NEXT:    global_atomic_or_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
4098 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4099 ; GFX9-NEXT:    buffer_wbinvl1_vol
4100 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
4101 ; GFX9-NEXT:    s_endpgm
4102 ;
4103 ; GFX12-LABEL: atomic_or_i64_ret_addr64_offset:
4104 ; GFX12:       ; %bb.0: ; %entry
4105 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4106 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4107 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
4108 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
4109 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4110 ; GFX12-NEXT:    s_wait_alu 0xfffe
4111 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4112 ; GFX12-NEXT:    global_atomic_or_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4113 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4114 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4115 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4116 ; GFX12-NEXT:    s_endpgm
4117 entry:
4118   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4119   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
4120   %tmp0 = atomicrmw volatile or ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4121   store i64 %tmp0, ptr addrspace(1) %out2
4122   ret void
4123 }
4124
4125 define amdgpu_kernel void @atomic_or_i64(ptr addrspace(1) %out, i64 %in) {
4126 ; CI-LABEL: atomic_or_i64:
4127 ; CI:       ; %bb.0: ; %entry
4128 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4129 ; CI-NEXT:    s_mov_b32 s7, 0xf000
4130 ; CI-NEXT:    s_mov_b32 s6, -1
4131 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4132 ; CI-NEXT:    s_mov_b32 s4, s0
4133 ; CI-NEXT:    s_mov_b32 s5, s1
4134 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4135 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4136 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[4:7], 0
4137 ; CI-NEXT:    s_waitcnt vmcnt(0)
4138 ; CI-NEXT:    buffer_wbinvl1_vol
4139 ; CI-NEXT:    s_endpgm
4140 ;
4141 ; VI-LABEL: atomic_or_i64:
4142 ; VI:       ; %bb.0: ; %entry
4143 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4144 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4145 ; VI-NEXT:    s_mov_b32 s6, -1
4146 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4147 ; VI-NEXT:    s_mov_b32 s4, s0
4148 ; VI-NEXT:    s_mov_b32 s5, s1
4149 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4150 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4151 ; VI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[4:7], 0
4152 ; VI-NEXT:    s_waitcnt vmcnt(0)
4153 ; VI-NEXT:    buffer_wbinvl1_vol
4154 ; VI-NEXT:    s_endpgm
4155 ;
4156 ; GFX9-LABEL: atomic_or_i64:
4157 ; GFX9:       ; %bb.0: ; %entry
4158 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4159 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4160 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4161 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4162 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4163 ; GFX9-NEXT:    global_atomic_or_x2 v2, v[0:1], s[0:1]
4164 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4165 ; GFX9-NEXT:    buffer_wbinvl1_vol
4166 ; GFX9-NEXT:    s_endpgm
4167 ;
4168 ; GFX12-LABEL: atomic_or_i64:
4169 ; GFX12:       ; %bb.0: ; %entry
4170 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4171 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4172 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
4173 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
4174 ; GFX12-NEXT:    global_atomic_or_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
4175 ; GFX12-NEXT:    s_wait_storecnt 0x0
4176 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4177 ; GFX12-NEXT:    s_endpgm
4178 entry:
4179   %tmp0 = atomicrmw volatile or ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
4180   ret void
4181 }
4182
4183 define amdgpu_kernel void @atomic_or_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
4184 ; CI-LABEL: atomic_or_i64_ret:
4185 ; CI:       ; %bb.0: ; %entry
4186 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4187 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
4188 ; CI-NEXT:    s_mov_b32 s7, 0xf000
4189 ; CI-NEXT:    s_mov_b32 s6, -1
4190 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4191 ; CI-NEXT:    s_mov_b32 s4, s0
4192 ; CI-NEXT:    s_mov_b32 s5, s1
4193 ; CI-NEXT:    v_mov_b32_e32 v0, s8
4194 ; CI-NEXT:    v_mov_b32_e32 v1, s9
4195 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[4:7], 0 glc
4196 ; CI-NEXT:    s_waitcnt vmcnt(0)
4197 ; CI-NEXT:    buffer_wbinvl1_vol
4198 ; CI-NEXT:    s_mov_b32 s4, s2
4199 ; CI-NEXT:    s_mov_b32 s5, s3
4200 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4201 ; CI-NEXT:    s_endpgm
4202 ;
4203 ; VI-LABEL: atomic_or_i64_ret:
4204 ; VI:       ; %bb.0: ; %entry
4205 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4206 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
4207 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4208 ; VI-NEXT:    s_mov_b32 s6, -1
4209 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4210 ; VI-NEXT:    s_mov_b32 s4, s0
4211 ; VI-NEXT:    s_mov_b32 s5, s1
4212 ; VI-NEXT:    v_mov_b32_e32 v0, s8
4213 ; VI-NEXT:    v_mov_b32_e32 v1, s9
4214 ; VI-NEXT:    buffer_atomic_or_x2 v[0:1], off, s[4:7], 0 glc
4215 ; VI-NEXT:    s_waitcnt vmcnt(0)
4216 ; VI-NEXT:    buffer_wbinvl1_vol
4217 ; VI-NEXT:    s_mov_b32 s4, s2
4218 ; VI-NEXT:    s_mov_b32 s5, s3
4219 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4220 ; VI-NEXT:    s_endpgm
4221 ;
4222 ; GFX9-LABEL: atomic_or_i64_ret:
4223 ; GFX9:       ; %bb.0: ; %entry
4224 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4225 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4226 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4227 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4228 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
4229 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
4230 ; GFX9-NEXT:    global_atomic_or_x2 v[0:1], v2, v[0:1], s[0:1] glc
4231 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4232 ; GFX9-NEXT:    buffer_wbinvl1_vol
4233 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
4234 ; GFX9-NEXT:    s_endpgm
4235 ;
4236 ; GFX12-LABEL: atomic_or_i64_ret:
4237 ; GFX12:       ; %bb.0: ; %entry
4238 ; GFX12-NEXT:    s_clause 0x1
4239 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4240 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4241 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4242 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
4243 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
4244 ; GFX12-NEXT:    global_atomic_or_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4245 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4246 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4247 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4248 ; GFX12-NEXT:    s_endpgm
4249 entry:
4250   %tmp0 = atomicrmw volatile or ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
4251   store i64 %tmp0, ptr addrspace(1) %out2
4252   ret void
4253 }
4254
4255 define amdgpu_kernel void @atomic_or_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
4256 ; CI-LABEL: atomic_or_i64_addr64:
4257 ; CI:       ; %bb.0: ; %entry
4258 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4259 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4260 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4261 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4262 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
4263 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4264 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4265 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4266 ; CI-NEXT:    s_mov_b32 s2, 0
4267 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4268 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], v[2:3], s[0:3], 0 addr64
4269 ; CI-NEXT:    s_waitcnt vmcnt(0)
4270 ; CI-NEXT:    buffer_wbinvl1_vol
4271 ; CI-NEXT:    s_endpgm
4272 ;
4273 ; VI-LABEL: atomic_or_i64_addr64:
4274 ; VI:       ; %bb.0: ; %entry
4275 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4276 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4277 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4278 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4279 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4280 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4281 ; VI-NEXT:    s_add_u32 s0, s0, s2
4282 ; VI-NEXT:    s_addc_u32 s1, s1, s3
4283 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4284 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4285 ; VI-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
4286 ; VI-NEXT:    s_waitcnt vmcnt(0)
4287 ; VI-NEXT:    buffer_wbinvl1_vol
4288 ; VI-NEXT:    s_endpgm
4289 ;
4290 ; GFX9-LABEL: atomic_or_i64_addr64:
4291 ; GFX9:       ; %bb.0: ; %entry
4292 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4293 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4294 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4295 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4296 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4297 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4298 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
4299 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
4300 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
4301 ; GFX9-NEXT:    global_atomic_or_x2 v2, v[0:1], s[0:1]
4302 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4303 ; GFX9-NEXT:    buffer_wbinvl1_vol
4304 ; GFX9-NEXT:    s_endpgm
4305 ;
4306 ; GFX12-LABEL: atomic_or_i64_addr64:
4307 ; GFX12:       ; %bb.0: ; %entry
4308 ; GFX12-NEXT:    s_clause 0x1
4309 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4310 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4311 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
4312 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4313 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4314 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4315 ; GFX12-NEXT:    s_wait_alu 0xfffe
4316 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
4317 ; GFX12-NEXT:    global_atomic_or_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
4318 ; GFX12-NEXT:    s_wait_storecnt 0x0
4319 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4320 ; GFX12-NEXT:    s_endpgm
4321 entry:
4322   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4323   %tmp0 = atomicrmw volatile or ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
4324   ret void
4325 }
4326
4327 define amdgpu_kernel void @atomic_or_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
4328 ; CI-LABEL: atomic_or_i64_ret_addr64:
4329 ; CI:       ; %bb.0: ; %entry
4330 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4331 ; CI-NEXT:    s_mov_b32 s11, 0xf000
4332 ; CI-NEXT:    s_mov_b32 s10, -1
4333 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4334 ; CI-NEXT:    v_mov_b32_e32 v0, s4
4335 ; CI-NEXT:    v_mov_b32_e32 v1, s5
4336 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4337 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4338 ; CI-NEXT:    s_mov_b32 s8, s2
4339 ; CI-NEXT:    s_mov_b32 s9, s3
4340 ; CI-NEXT:    s_mov_b32 s2, 0
4341 ; CI-NEXT:    s_mov_b32 s3, s11
4342 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4343 ; CI-NEXT:    buffer_atomic_or_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
4344 ; CI-NEXT:    s_waitcnt vmcnt(0)
4345 ; CI-NEXT:    buffer_wbinvl1_vol
4346 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
4347 ; CI-NEXT:    s_endpgm
4348 ;
4349 ; VI-LABEL: atomic_or_i64_ret_addr64:
4350 ; VI:       ; %bb.0: ; %entry
4351 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4352 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4353 ; VI-NEXT:    v_mov_b32_e32 v0, s4
4354 ; VI-NEXT:    v_mov_b32_e32 v1, s5
4355 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4356 ; VI-NEXT:    s_add_u32 s0, s0, s4
4357 ; VI-NEXT:    s_addc_u32 s1, s1, s5
4358 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4359 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4360 ; VI-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
4361 ; VI-NEXT:    s_waitcnt vmcnt(0)
4362 ; VI-NEXT:    buffer_wbinvl1_vol
4363 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4364 ; VI-NEXT:    s_mov_b32 s6, -1
4365 ; VI-NEXT:    s_mov_b32 s4, s2
4366 ; VI-NEXT:    s_mov_b32 s5, s3
4367 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4368 ; VI-NEXT:    s_endpgm
4369 ;
4370 ; GFX9-LABEL: atomic_or_i64_ret_addr64:
4371 ; GFX9:       ; %bb.0: ; %entry
4372 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
4373 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4374 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4375 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
4376 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
4377 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
4378 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
4379 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
4380 ; GFX9-NEXT:    global_atomic_or_x2 v[0:1], v2, v[0:1], s[0:1] glc
4381 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4382 ; GFX9-NEXT:    buffer_wbinvl1_vol
4383 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
4384 ; GFX9-NEXT:    s_endpgm
4385 ;
4386 ; GFX12-LABEL: atomic_or_i64_ret_addr64:
4387 ; GFX12:       ; %bb.0: ; %entry
4388 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4389 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4390 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
4391 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
4392 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4393 ; GFX12-NEXT:    s_wait_alu 0xfffe
4394 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4395 ; GFX12-NEXT:    global_atomic_or_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4396 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4397 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4398 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4399 ; GFX12-NEXT:    s_endpgm
4400 entry:
4401   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4402   %tmp0 = atomicrmw volatile or ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
4403   store i64 %tmp0, ptr addrspace(1) %out2
4404   ret void
4405 }
4406
4407 define amdgpu_kernel void @atomic_xchg_i64_offset(ptr addrspace(1) %out, i64 %in) {
4408 ; CI-LABEL: atomic_xchg_i64_offset:
4409 ; CI:       ; %bb.0: ; %entry
4410 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4411 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4412 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4413 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4414 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4415 ; CI-NEXT:    s_mov_b32 s2, -1
4416 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4417 ; CI-NEXT:    s_waitcnt vmcnt(0)
4418 ; CI-NEXT:    buffer_wbinvl1_vol
4419 ; CI-NEXT:    s_endpgm
4420 ;
4421 ; VI-LABEL: atomic_xchg_i64_offset:
4422 ; VI:       ; %bb.0: ; %entry
4423 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4424 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4425 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4426 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4427 ; VI-NEXT:    s_mov_b32 s3, 0xf000
4428 ; VI-NEXT:    s_mov_b32 s2, -1
4429 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4430 ; VI-NEXT:    s_waitcnt vmcnt(0)
4431 ; VI-NEXT:    buffer_wbinvl1_vol
4432 ; VI-NEXT:    s_endpgm
4433 ;
4434 ; GFX9-LABEL: atomic_xchg_i64_offset:
4435 ; GFX9:       ; %bb.0: ; %entry
4436 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4437 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4438 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4439 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4440 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4441 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1] offset:32
4442 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4443 ; GFX9-NEXT:    buffer_wbinvl1_vol
4444 ; GFX9-NEXT:    s_endpgm
4445 ;
4446 ; GFX12-LABEL: atomic_xchg_i64_offset:
4447 ; GFX12:       ; %bb.0: ; %entry
4448 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4449 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4450 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
4451 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
4452 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
4453 ; GFX12-NEXT:    s_wait_storecnt 0x0
4454 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4455 ; GFX12-NEXT:    s_endpgm
4456 entry:
4457   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
4458   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4459   ret void
4460 }
4461
4462 define amdgpu_kernel void @atomic_xchg_f64_offset(ptr addrspace(1) %out, double %in) {
4463 ; CI-LABEL: atomic_xchg_f64_offset:
4464 ; CI:       ; %bb.0: ; %entry
4465 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4466 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4467 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4468 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4469 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4470 ; CI-NEXT:    s_mov_b32 s2, -1
4471 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4472 ; CI-NEXT:    s_waitcnt vmcnt(0)
4473 ; CI-NEXT:    buffer_wbinvl1_vol
4474 ; CI-NEXT:    s_endpgm
4475 ;
4476 ; VI-LABEL: atomic_xchg_f64_offset:
4477 ; VI:       ; %bb.0: ; %entry
4478 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4479 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4480 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4481 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4482 ; VI-NEXT:    s_mov_b32 s3, 0xf000
4483 ; VI-NEXT:    s_mov_b32 s2, -1
4484 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4485 ; VI-NEXT:    s_waitcnt vmcnt(0)
4486 ; VI-NEXT:    buffer_wbinvl1_vol
4487 ; VI-NEXT:    s_endpgm
4488 ;
4489 ; GFX9-LABEL: atomic_xchg_f64_offset:
4490 ; GFX9:       ; %bb.0: ; %entry
4491 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4492 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4493 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4494 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4495 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4496 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1] offset:32
4497 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4498 ; GFX9-NEXT:    buffer_wbinvl1_vol
4499 ; GFX9-NEXT:    s_endpgm
4500 ;
4501 ; GFX12-LABEL: atomic_xchg_f64_offset:
4502 ; GFX12:       ; %bb.0: ; %entry
4503 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4504 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4505 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
4506 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
4507 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
4508 ; GFX12-NEXT:    s_wait_storecnt 0x0
4509 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4510 ; GFX12-NEXT:    s_endpgm
4511 entry:
4512   %gep = getelementptr double, ptr addrspace(1) %out, i64 4
4513   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, double %in syncscope("agent") seq_cst
4514   ret void
4515 }
4516
4517 define amdgpu_kernel void @atomic_xchg_pointer_offset(ptr addrspace(1) %out, ptr %in) {
4518 ; CI-LABEL: atomic_xchg_pointer_offset:
4519 ; CI:       ; %bb.0: ; %entry
4520 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4521 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4522 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4523 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4524 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4525 ; CI-NEXT:    s_mov_b32 s2, -1
4526 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4527 ; CI-NEXT:    s_waitcnt vmcnt(0)
4528 ; CI-NEXT:    buffer_wbinvl1_vol
4529 ; CI-NEXT:    s_endpgm
4530 ;
4531 ; VI-LABEL: atomic_xchg_pointer_offset:
4532 ; VI:       ; %bb.0: ; %entry
4533 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4534 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4535 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4536 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4537 ; VI-NEXT:    s_mov_b32 s3, 0xf000
4538 ; VI-NEXT:    s_mov_b32 s2, -1
4539 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32
4540 ; VI-NEXT:    s_waitcnt vmcnt(0)
4541 ; VI-NEXT:    buffer_wbinvl1_vol
4542 ; VI-NEXT:    s_endpgm
4543 ;
4544 ; GFX9-LABEL: atomic_xchg_pointer_offset:
4545 ; GFX9:       ; %bb.0: ; %entry
4546 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4547 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4548 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4549 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4550 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4551 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1] offset:32
4552 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4553 ; GFX9-NEXT:    buffer_wbinvl1_vol
4554 ; GFX9-NEXT:    s_endpgm
4555 ;
4556 ; GFX12-LABEL: atomic_xchg_pointer_offset:
4557 ; GFX12:       ; %bb.0: ; %entry
4558 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4559 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4560 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
4561 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
4562 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
4563 ; GFX12-NEXT:    s_wait_storecnt 0x0
4564 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4565 ; GFX12-NEXT:    s_endpgm
4566 entry:
4567   %gep = getelementptr ptr, ptr addrspace(1) %out, i64 4
4568   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, ptr %in syncscope("agent") seq_cst
4569   ret void
4570 }
4571
4572 define amdgpu_kernel void @atomic_xchg_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
4573 ; CI-LABEL: atomic_xchg_i64_ret_offset:
4574 ; CI:       ; %bb.0: ; %entry
4575 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4576 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
4577 ; CI-NEXT:    s_mov_b32 s7, 0xf000
4578 ; CI-NEXT:    s_mov_b32 s6, -1
4579 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4580 ; CI-NEXT:    s_mov_b32 s4, s2
4581 ; CI-NEXT:    s_mov_b32 s5, s3
4582 ; CI-NEXT:    v_mov_b32_e32 v0, s8
4583 ; CI-NEXT:    v_mov_b32_e32 v1, s9
4584 ; CI-NEXT:    s_mov_b32 s2, s6
4585 ; CI-NEXT:    s_mov_b32 s3, s7
4586 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32 glc
4587 ; CI-NEXT:    s_waitcnt vmcnt(0)
4588 ; CI-NEXT:    buffer_wbinvl1_vol
4589 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4590 ; CI-NEXT:    s_endpgm
4591 ;
4592 ; VI-LABEL: atomic_xchg_i64_ret_offset:
4593 ; VI:       ; %bb.0: ; %entry
4594 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4595 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
4596 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4597 ; VI-NEXT:    s_mov_b32 s6, -1
4598 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4599 ; VI-NEXT:    s_mov_b32 s4, s2
4600 ; VI-NEXT:    s_mov_b32 s5, s3
4601 ; VI-NEXT:    v_mov_b32_e32 v0, s8
4602 ; VI-NEXT:    v_mov_b32_e32 v1, s9
4603 ; VI-NEXT:    s_mov_b32 s2, s6
4604 ; VI-NEXT:    s_mov_b32 s3, s7
4605 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[0:3], 0 offset:32 glc
4606 ; VI-NEXT:    s_waitcnt vmcnt(0)
4607 ; VI-NEXT:    buffer_wbinvl1_vol
4608 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4609 ; VI-NEXT:    s_endpgm
4610 ;
4611 ; GFX9-LABEL: atomic_xchg_i64_ret_offset:
4612 ; GFX9:       ; %bb.0: ; %entry
4613 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4614 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4615 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4616 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4617 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
4618 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
4619 ; GFX9-NEXT:    global_atomic_swap_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
4620 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4621 ; GFX9-NEXT:    buffer_wbinvl1_vol
4622 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
4623 ; GFX9-NEXT:    s_endpgm
4624 ;
4625 ; GFX12-LABEL: atomic_xchg_i64_ret_offset:
4626 ; GFX12:       ; %bb.0: ; %entry
4627 ; GFX12-NEXT:    s_clause 0x1
4628 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4629 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4630 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4631 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
4632 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
4633 ; GFX12-NEXT:    global_atomic_swap_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4634 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4635 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4636 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4637 ; GFX12-NEXT:    s_endpgm
4638 entry:
4639   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
4640   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4641   store i64 %tmp0, ptr addrspace(1) %out2
4642   ret void
4643 }
4644
4645 define amdgpu_kernel void @atomic_xchg_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
4646 ; CI-LABEL: atomic_xchg_i64_addr64_offset:
4647 ; CI:       ; %bb.0: ; %entry
4648 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4649 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4650 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4651 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4652 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
4653 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4654 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4655 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4656 ; CI-NEXT:    s_mov_b32 s2, 0
4657 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4658 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
4659 ; CI-NEXT:    s_waitcnt vmcnt(0)
4660 ; CI-NEXT:    buffer_wbinvl1_vol
4661 ; CI-NEXT:    s_endpgm
4662 ;
4663 ; VI-LABEL: atomic_xchg_i64_addr64_offset:
4664 ; VI:       ; %bb.0: ; %entry
4665 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4666 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4667 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4668 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4669 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4670 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4671 ; VI-NEXT:    s_add_u32 s0, s0, s2
4672 ; VI-NEXT:    s_addc_u32 s1, s1, s3
4673 ; VI-NEXT:    s_add_u32 s0, s0, 32
4674 ; VI-NEXT:    s_addc_u32 s1, s1, 0
4675 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4676 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4677 ; VI-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
4678 ; VI-NEXT:    s_waitcnt vmcnt(0)
4679 ; VI-NEXT:    buffer_wbinvl1_vol
4680 ; VI-NEXT:    s_endpgm
4681 ;
4682 ; GFX9-LABEL: atomic_xchg_i64_addr64_offset:
4683 ; GFX9:       ; %bb.0: ; %entry
4684 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4685 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4686 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4687 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4688 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4689 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4690 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
4691 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
4692 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
4693 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1] offset:32
4694 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4695 ; GFX9-NEXT:    buffer_wbinvl1_vol
4696 ; GFX9-NEXT:    s_endpgm
4697 ;
4698 ; GFX12-LABEL: atomic_xchg_i64_addr64_offset:
4699 ; GFX12:       ; %bb.0: ; %entry
4700 ; GFX12-NEXT:    s_clause 0x1
4701 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4702 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4703 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
4704 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4705 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4706 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4707 ; GFX12-NEXT:    s_wait_alu 0xfffe
4708 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
4709 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
4710 ; GFX12-NEXT:    s_wait_storecnt 0x0
4711 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4712 ; GFX12-NEXT:    s_endpgm
4713 entry:
4714   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4715   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
4716   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4717   ret void
4718 }
4719
4720 define amdgpu_kernel void @atomic_xchg_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
4721 ; CI-LABEL: atomic_xchg_i64_ret_addr64_offset:
4722 ; CI:       ; %bb.0: ; %entry
4723 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4724 ; CI-NEXT:    s_mov_b32 s11, 0xf000
4725 ; CI-NEXT:    s_mov_b32 s10, -1
4726 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4727 ; CI-NEXT:    v_mov_b32_e32 v0, s4
4728 ; CI-NEXT:    v_mov_b32_e32 v1, s5
4729 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4730 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4731 ; CI-NEXT:    s_mov_b32 s8, s2
4732 ; CI-NEXT:    s_mov_b32 s9, s3
4733 ; CI-NEXT:    s_mov_b32 s2, 0
4734 ; CI-NEXT:    s_mov_b32 s3, s11
4735 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4736 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
4737 ; CI-NEXT:    s_waitcnt vmcnt(0)
4738 ; CI-NEXT:    buffer_wbinvl1_vol
4739 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
4740 ; CI-NEXT:    s_endpgm
4741 ;
4742 ; VI-LABEL: atomic_xchg_i64_ret_addr64_offset:
4743 ; VI:       ; %bb.0: ; %entry
4744 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4745 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4746 ; VI-NEXT:    v_mov_b32_e32 v0, s4
4747 ; VI-NEXT:    v_mov_b32_e32 v1, s5
4748 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4749 ; VI-NEXT:    s_add_u32 s0, s0, s4
4750 ; VI-NEXT:    s_addc_u32 s1, s1, s5
4751 ; VI-NEXT:    s_add_u32 s0, s0, 32
4752 ; VI-NEXT:    s_addc_u32 s1, s1, 0
4753 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4754 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4755 ; VI-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
4756 ; VI-NEXT:    s_waitcnt vmcnt(0)
4757 ; VI-NEXT:    buffer_wbinvl1_vol
4758 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4759 ; VI-NEXT:    s_mov_b32 s6, -1
4760 ; VI-NEXT:    s_mov_b32 s4, s2
4761 ; VI-NEXT:    s_mov_b32 s5, s3
4762 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4763 ; VI-NEXT:    s_endpgm
4764 ;
4765 ; GFX9-LABEL: atomic_xchg_i64_ret_addr64_offset:
4766 ; GFX9:       ; %bb.0: ; %entry
4767 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
4768 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4769 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4770 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
4771 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
4772 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
4773 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
4774 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
4775 ; GFX9-NEXT:    global_atomic_swap_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
4776 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4777 ; GFX9-NEXT:    buffer_wbinvl1_vol
4778 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
4779 ; GFX9-NEXT:    s_endpgm
4780 ;
4781 ; GFX12-LABEL: atomic_xchg_i64_ret_addr64_offset:
4782 ; GFX12:       ; %bb.0: ; %entry
4783 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4784 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4785 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
4786 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
4787 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4788 ; GFX12-NEXT:    s_wait_alu 0xfffe
4789 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4790 ; GFX12-NEXT:    global_atomic_swap_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4791 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4792 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4793 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4794 ; GFX12-NEXT:    s_endpgm
4795 entry:
4796   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
4797   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
4798   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
4799   store i64 %tmp0, ptr addrspace(1) %out2
4800   ret void
4801 }
4802
4803 define amdgpu_kernel void @atomic_xchg_i64(ptr addrspace(1) %out, i64 %in) {
4804 ; CI-LABEL: atomic_xchg_i64:
4805 ; CI:       ; %bb.0: ; %entry
4806 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4807 ; CI-NEXT:    s_mov_b32 s7, 0xf000
4808 ; CI-NEXT:    s_mov_b32 s6, -1
4809 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4810 ; CI-NEXT:    s_mov_b32 s4, s0
4811 ; CI-NEXT:    s_mov_b32 s5, s1
4812 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4813 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4814 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[4:7], 0
4815 ; CI-NEXT:    s_waitcnt vmcnt(0)
4816 ; CI-NEXT:    buffer_wbinvl1_vol
4817 ; CI-NEXT:    s_endpgm
4818 ;
4819 ; VI-LABEL: atomic_xchg_i64:
4820 ; VI:       ; %bb.0: ; %entry
4821 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4822 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4823 ; VI-NEXT:    s_mov_b32 s6, -1
4824 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4825 ; VI-NEXT:    s_mov_b32 s4, s0
4826 ; VI-NEXT:    s_mov_b32 s5, s1
4827 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4828 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4829 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[4:7], 0
4830 ; VI-NEXT:    s_waitcnt vmcnt(0)
4831 ; VI-NEXT:    buffer_wbinvl1_vol
4832 ; VI-NEXT:    s_endpgm
4833 ;
4834 ; GFX9-LABEL: atomic_xchg_i64:
4835 ; GFX9:       ; %bb.0: ; %entry
4836 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4837 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4838 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4839 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4840 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4841 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1]
4842 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4843 ; GFX9-NEXT:    buffer_wbinvl1_vol
4844 ; GFX9-NEXT:    s_endpgm
4845 ;
4846 ; GFX12-LABEL: atomic_xchg_i64:
4847 ; GFX12:       ; %bb.0: ; %entry
4848 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4849 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4850 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
4851 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
4852 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
4853 ; GFX12-NEXT:    s_wait_storecnt 0x0
4854 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4855 ; GFX12-NEXT:    s_endpgm
4856 entry:
4857   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
4858   ret void
4859 }
4860
4861 define amdgpu_kernel void @atomic_xchg_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
4862 ; CI-LABEL: atomic_xchg_i64_ret:
4863 ; CI:       ; %bb.0: ; %entry
4864 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4865 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
4866 ; CI-NEXT:    s_mov_b32 s7, 0xf000
4867 ; CI-NEXT:    s_mov_b32 s6, -1
4868 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4869 ; CI-NEXT:    s_mov_b32 s4, s0
4870 ; CI-NEXT:    s_mov_b32 s5, s1
4871 ; CI-NEXT:    v_mov_b32_e32 v0, s8
4872 ; CI-NEXT:    v_mov_b32_e32 v1, s9
4873 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[4:7], 0 glc
4874 ; CI-NEXT:    s_waitcnt vmcnt(0)
4875 ; CI-NEXT:    buffer_wbinvl1_vol
4876 ; CI-NEXT:    s_mov_b32 s4, s2
4877 ; CI-NEXT:    s_mov_b32 s5, s3
4878 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4879 ; CI-NEXT:    s_endpgm
4880 ;
4881 ; VI-LABEL: atomic_xchg_i64_ret:
4882 ; VI:       ; %bb.0: ; %entry
4883 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4884 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
4885 ; VI-NEXT:    s_mov_b32 s7, 0xf000
4886 ; VI-NEXT:    s_mov_b32 s6, -1
4887 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4888 ; VI-NEXT:    s_mov_b32 s4, s0
4889 ; VI-NEXT:    s_mov_b32 s5, s1
4890 ; VI-NEXT:    v_mov_b32_e32 v0, s8
4891 ; VI-NEXT:    v_mov_b32_e32 v1, s9
4892 ; VI-NEXT:    buffer_atomic_swap_x2 v[0:1], off, s[4:7], 0 glc
4893 ; VI-NEXT:    s_waitcnt vmcnt(0)
4894 ; VI-NEXT:    buffer_wbinvl1_vol
4895 ; VI-NEXT:    s_mov_b32 s4, s2
4896 ; VI-NEXT:    s_mov_b32 s5, s3
4897 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
4898 ; VI-NEXT:    s_endpgm
4899 ;
4900 ; GFX9-LABEL: atomic_xchg_i64_ret:
4901 ; GFX9:       ; %bb.0: ; %entry
4902 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4903 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4904 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4905 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4906 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
4907 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
4908 ; GFX9-NEXT:    global_atomic_swap_x2 v[0:1], v2, v[0:1], s[0:1] glc
4909 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4910 ; GFX9-NEXT:    buffer_wbinvl1_vol
4911 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
4912 ; GFX9-NEXT:    s_endpgm
4913 ;
4914 ; GFX12-LABEL: atomic_xchg_i64_ret:
4915 ; GFX12:       ; %bb.0: ; %entry
4916 ; GFX12-NEXT:    s_clause 0x1
4917 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4918 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4919 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4920 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
4921 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
4922 ; GFX12-NEXT:    global_atomic_swap_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4923 ; GFX12-NEXT:    s_wait_loadcnt 0x0
4924 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4925 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
4926 ; GFX12-NEXT:    s_endpgm
4927 entry:
4928   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
4929   store i64 %tmp0, ptr addrspace(1) %out2
4930   ret void
4931 }
4932
4933 define amdgpu_kernel void @atomic_xchg_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
4934 ; CI-LABEL: atomic_xchg_i64_addr64:
4935 ; CI:       ; %bb.0: ; %entry
4936 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4937 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4938 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
4939 ; CI-NEXT:    v_mov_b32_e32 v0, s2
4940 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
4941 ; CI-NEXT:    v_mov_b32_e32 v2, s4
4942 ; CI-NEXT:    v_mov_b32_e32 v1, s3
4943 ; CI-NEXT:    s_mov_b32 s3, 0xf000
4944 ; CI-NEXT:    s_mov_b32 s2, 0
4945 ; CI-NEXT:    v_mov_b32_e32 v3, s5
4946 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], v[2:3], s[0:3], 0 addr64
4947 ; CI-NEXT:    s_waitcnt vmcnt(0)
4948 ; CI-NEXT:    buffer_wbinvl1_vol
4949 ; CI-NEXT:    s_endpgm
4950 ;
4951 ; VI-LABEL: atomic_xchg_i64_addr64:
4952 ; VI:       ; %bb.0: ; %entry
4953 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4954 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4955 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
4956 ; VI-NEXT:    v_mov_b32_e32 v0, s2
4957 ; VI-NEXT:    v_mov_b32_e32 v1, s3
4958 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4959 ; VI-NEXT:    s_add_u32 s0, s0, s2
4960 ; VI-NEXT:    s_addc_u32 s1, s1, s3
4961 ; VI-NEXT:    v_mov_b32_e32 v3, s1
4962 ; VI-NEXT:    v_mov_b32_e32 v2, s0
4963 ; VI-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
4964 ; VI-NEXT:    s_waitcnt vmcnt(0)
4965 ; VI-NEXT:    buffer_wbinvl1_vol
4966 ; VI-NEXT:    s_endpgm
4967 ;
4968 ; GFX9-LABEL: atomic_xchg_i64_addr64:
4969 ; GFX9:       ; %bb.0: ; %entry
4970 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4971 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4972 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
4973 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
4974 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
4975 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
4976 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
4977 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
4978 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
4979 ; GFX9-NEXT:    global_atomic_swap_x2 v2, v[0:1], s[0:1]
4980 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
4981 ; GFX9-NEXT:    buffer_wbinvl1_vol
4982 ; GFX9-NEXT:    s_endpgm
4983 ;
4984 ; GFX12-LABEL: atomic_xchg_i64_addr64:
4985 ; GFX12:       ; %bb.0: ; %entry
4986 ; GFX12-NEXT:    s_clause 0x1
4987 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4988 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4989 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
4990 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4991 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4992 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4993 ; GFX12-NEXT:    s_wait_alu 0xfffe
4994 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
4995 ; GFX12-NEXT:    global_atomic_swap_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
4996 ; GFX12-NEXT:    s_wait_storecnt 0x0
4997 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4998 ; GFX12-NEXT:    s_endpgm
4999 entry:
5000   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5001   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
5002   ret void
5003 }
5004
5005 define amdgpu_kernel void @atomic_xchg_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
5006 ; CI-LABEL: atomic_xchg_i64_ret_addr64:
5007 ; CI:       ; %bb.0: ; %entry
5008 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5009 ; CI-NEXT:    s_mov_b32 s11, 0xf000
5010 ; CI-NEXT:    s_mov_b32 s10, -1
5011 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5012 ; CI-NEXT:    v_mov_b32_e32 v0, s4
5013 ; CI-NEXT:    v_mov_b32_e32 v1, s5
5014 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5015 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5016 ; CI-NEXT:    s_mov_b32 s8, s2
5017 ; CI-NEXT:    s_mov_b32 s9, s3
5018 ; CI-NEXT:    s_mov_b32 s2, 0
5019 ; CI-NEXT:    s_mov_b32 s3, s11
5020 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5021 ; CI-NEXT:    buffer_atomic_swap_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
5022 ; CI-NEXT:    s_waitcnt vmcnt(0)
5023 ; CI-NEXT:    buffer_wbinvl1_vol
5024 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
5025 ; CI-NEXT:    s_endpgm
5026 ;
5027 ; VI-LABEL: atomic_xchg_i64_ret_addr64:
5028 ; VI:       ; %bb.0: ; %entry
5029 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5030 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5031 ; VI-NEXT:    v_mov_b32_e32 v0, s4
5032 ; VI-NEXT:    v_mov_b32_e32 v1, s5
5033 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5034 ; VI-NEXT:    s_add_u32 s0, s0, s4
5035 ; VI-NEXT:    s_addc_u32 s1, s1, s5
5036 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5037 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5038 ; VI-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
5039 ; VI-NEXT:    s_waitcnt vmcnt(0)
5040 ; VI-NEXT:    buffer_wbinvl1_vol
5041 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5042 ; VI-NEXT:    s_mov_b32 s6, -1
5043 ; VI-NEXT:    s_mov_b32 s4, s2
5044 ; VI-NEXT:    s_mov_b32 s5, s3
5045 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5046 ; VI-NEXT:    s_endpgm
5047 ;
5048 ; GFX9-LABEL: atomic_xchg_i64_ret_addr64:
5049 ; GFX9:       ; %bb.0: ; %entry
5050 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5051 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5052 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5053 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
5054 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
5055 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
5056 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
5057 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
5058 ; GFX9-NEXT:    global_atomic_swap_x2 v[0:1], v2, v[0:1], s[0:1] glc
5059 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5060 ; GFX9-NEXT:    buffer_wbinvl1_vol
5061 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
5062 ; GFX9-NEXT:    s_endpgm
5063 ;
5064 ; GFX12-LABEL: atomic_xchg_i64_ret_addr64:
5065 ; GFX12:       ; %bb.0: ; %entry
5066 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5067 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5068 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
5069 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
5070 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5071 ; GFX12-NEXT:    s_wait_alu 0xfffe
5072 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5073 ; GFX12-NEXT:    global_atomic_swap_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5074 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5075 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5076 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
5077 ; GFX12-NEXT:    s_endpgm
5078 entry:
5079   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5080   %tmp0 = atomicrmw volatile xchg ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
5081   store i64 %tmp0, ptr addrspace(1) %out2
5082   ret void
5083 }
5084
5085 define amdgpu_kernel void @atomic_xor_i64_offset(ptr addrspace(1) %out, i64 %in) {
5086 ; CI-LABEL: atomic_xor_i64_offset:
5087 ; CI:       ; %bb.0: ; %entry
5088 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5089 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5090 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5091 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5092 ; CI-NEXT:    s_mov_b32 s3, 0xf000
5093 ; CI-NEXT:    s_mov_b32 s2, -1
5094 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[0:3], 0 offset:32
5095 ; CI-NEXT:    s_waitcnt vmcnt(0)
5096 ; CI-NEXT:    buffer_wbinvl1_vol
5097 ; CI-NEXT:    s_endpgm
5098 ;
5099 ; VI-LABEL: atomic_xor_i64_offset:
5100 ; VI:       ; %bb.0: ; %entry
5101 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5102 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5103 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5104 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5105 ; VI-NEXT:    s_mov_b32 s3, 0xf000
5106 ; VI-NEXT:    s_mov_b32 s2, -1
5107 ; VI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[0:3], 0 offset:32
5108 ; VI-NEXT:    s_waitcnt vmcnt(0)
5109 ; VI-NEXT:    buffer_wbinvl1_vol
5110 ; VI-NEXT:    s_endpgm
5111 ;
5112 ; GFX9-LABEL: atomic_xor_i64_offset:
5113 ; GFX9:       ; %bb.0: ; %entry
5114 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5115 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5116 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5117 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5118 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5119 ; GFX9-NEXT:    global_atomic_xor_x2 v2, v[0:1], s[0:1] offset:32
5120 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5121 ; GFX9-NEXT:    buffer_wbinvl1_vol
5122 ; GFX9-NEXT:    s_endpgm
5123 ;
5124 ; GFX12-LABEL: atomic_xor_i64_offset:
5125 ; GFX12:       ; %bb.0: ; %entry
5126 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5127 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5128 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
5129 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
5130 ; GFX12-NEXT:    global_atomic_xor_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
5131 ; GFX12-NEXT:    s_wait_storecnt 0x0
5132 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5133 ; GFX12-NEXT:    s_endpgm
5134 entry:
5135   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
5136   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
5137   ret void
5138 }
5139
5140 define amdgpu_kernel void @atomic_xor_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
5141 ; CI-LABEL: atomic_xor_i64_ret_offset:
5142 ; CI:       ; %bb.0: ; %entry
5143 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5144 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
5145 ; CI-NEXT:    s_mov_b32 s7, 0xf000
5146 ; CI-NEXT:    s_mov_b32 s6, -1
5147 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5148 ; CI-NEXT:    s_mov_b32 s4, s2
5149 ; CI-NEXT:    s_mov_b32 s5, s3
5150 ; CI-NEXT:    v_mov_b32_e32 v0, s8
5151 ; CI-NEXT:    v_mov_b32_e32 v1, s9
5152 ; CI-NEXT:    s_mov_b32 s2, s6
5153 ; CI-NEXT:    s_mov_b32 s3, s7
5154 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[0:3], 0 offset:32 glc
5155 ; CI-NEXT:    s_waitcnt vmcnt(0)
5156 ; CI-NEXT:    buffer_wbinvl1_vol
5157 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5158 ; CI-NEXT:    s_endpgm
5159 ;
5160 ; VI-LABEL: atomic_xor_i64_ret_offset:
5161 ; VI:       ; %bb.0: ; %entry
5162 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5163 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
5164 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5165 ; VI-NEXT:    s_mov_b32 s6, -1
5166 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5167 ; VI-NEXT:    s_mov_b32 s4, s2
5168 ; VI-NEXT:    s_mov_b32 s5, s3
5169 ; VI-NEXT:    v_mov_b32_e32 v0, s8
5170 ; VI-NEXT:    v_mov_b32_e32 v1, s9
5171 ; VI-NEXT:    s_mov_b32 s2, s6
5172 ; VI-NEXT:    s_mov_b32 s3, s7
5173 ; VI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[0:3], 0 offset:32 glc
5174 ; VI-NEXT:    s_waitcnt vmcnt(0)
5175 ; VI-NEXT:    buffer_wbinvl1_vol
5176 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5177 ; VI-NEXT:    s_endpgm
5178 ;
5179 ; GFX9-LABEL: atomic_xor_i64_ret_offset:
5180 ; GFX9:       ; %bb.0: ; %entry
5181 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5182 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5183 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5184 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5185 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
5186 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
5187 ; GFX9-NEXT:    global_atomic_xor_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
5188 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5189 ; GFX9-NEXT:    buffer_wbinvl1_vol
5190 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
5191 ; GFX9-NEXT:    s_endpgm
5192 ;
5193 ; GFX12-LABEL: atomic_xor_i64_ret_offset:
5194 ; GFX12:       ; %bb.0: ; %entry
5195 ; GFX12-NEXT:    s_clause 0x1
5196 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5197 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5198 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5199 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
5200 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
5201 ; GFX12-NEXT:    global_atomic_xor_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5202 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5203 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5204 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
5205 ; GFX12-NEXT:    s_endpgm
5206 entry:
5207   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
5208   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
5209   store i64 %tmp0, ptr addrspace(1) %out2
5210   ret void
5211 }
5212
5213 define amdgpu_kernel void @atomic_xor_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
5214 ; CI-LABEL: atomic_xor_i64_addr64_offset:
5215 ; CI:       ; %bb.0: ; %entry
5216 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5217 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5218 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5219 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5220 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5221 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5222 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5223 ; CI-NEXT:    s_mov_b32 s3, 0xf000
5224 ; CI-NEXT:    s_mov_b32 s2, 0
5225 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5226 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
5227 ; CI-NEXT:    s_waitcnt vmcnt(0)
5228 ; CI-NEXT:    buffer_wbinvl1_vol
5229 ; CI-NEXT:    s_endpgm
5230 ;
5231 ; VI-LABEL: atomic_xor_i64_addr64_offset:
5232 ; VI:       ; %bb.0: ; %entry
5233 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5234 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5235 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5236 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5237 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5238 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
5239 ; VI-NEXT:    s_add_u32 s0, s0, s2
5240 ; VI-NEXT:    s_addc_u32 s1, s1, s3
5241 ; VI-NEXT:    s_add_u32 s0, s0, 32
5242 ; VI-NEXT:    s_addc_u32 s1, s1, 0
5243 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5244 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5245 ; VI-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
5246 ; VI-NEXT:    s_waitcnt vmcnt(0)
5247 ; VI-NEXT:    buffer_wbinvl1_vol
5248 ; VI-NEXT:    s_endpgm
5249 ;
5250 ; GFX9-LABEL: atomic_xor_i64_addr64_offset:
5251 ; GFX9:       ; %bb.0: ; %entry
5252 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5253 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5254 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5255 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5256 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5257 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5258 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
5259 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
5260 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
5261 ; GFX9-NEXT:    global_atomic_xor_x2 v2, v[0:1], s[0:1] offset:32
5262 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5263 ; GFX9-NEXT:    buffer_wbinvl1_vol
5264 ; GFX9-NEXT:    s_endpgm
5265 ;
5266 ; GFX12-LABEL: atomic_xor_i64_addr64_offset:
5267 ; GFX12:       ; %bb.0: ; %entry
5268 ; GFX12-NEXT:    s_clause 0x1
5269 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5270 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5271 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
5272 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5273 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5274 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
5275 ; GFX12-NEXT:    s_wait_alu 0xfffe
5276 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
5277 ; GFX12-NEXT:    global_atomic_xor_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
5278 ; GFX12-NEXT:    s_wait_storecnt 0x0
5279 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5280 ; GFX12-NEXT:    s_endpgm
5281 entry:
5282   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5283   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
5284   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
5285   ret void
5286 }
5287
5288 define amdgpu_kernel void @atomic_xor_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
5289 ; CI-LABEL: atomic_xor_i64_ret_addr64_offset:
5290 ; CI:       ; %bb.0: ; %entry
5291 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5292 ; CI-NEXT:    s_mov_b32 s11, 0xf000
5293 ; CI-NEXT:    s_mov_b32 s10, -1
5294 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5295 ; CI-NEXT:    v_mov_b32_e32 v0, s4
5296 ; CI-NEXT:    v_mov_b32_e32 v1, s5
5297 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5298 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5299 ; CI-NEXT:    s_mov_b32 s8, s2
5300 ; CI-NEXT:    s_mov_b32 s9, s3
5301 ; CI-NEXT:    s_mov_b32 s2, 0
5302 ; CI-NEXT:    s_mov_b32 s3, s11
5303 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5304 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32 glc
5305 ; CI-NEXT:    s_waitcnt vmcnt(0)
5306 ; CI-NEXT:    buffer_wbinvl1_vol
5307 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
5308 ; CI-NEXT:    s_endpgm
5309 ;
5310 ; VI-LABEL: atomic_xor_i64_ret_addr64_offset:
5311 ; VI:       ; %bb.0: ; %entry
5312 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5313 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5314 ; VI-NEXT:    v_mov_b32_e32 v0, s4
5315 ; VI-NEXT:    v_mov_b32_e32 v1, s5
5316 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5317 ; VI-NEXT:    s_add_u32 s0, s0, s4
5318 ; VI-NEXT:    s_addc_u32 s1, s1, s5
5319 ; VI-NEXT:    s_add_u32 s0, s0, 32
5320 ; VI-NEXT:    s_addc_u32 s1, s1, 0
5321 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5322 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5323 ; VI-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
5324 ; VI-NEXT:    s_waitcnt vmcnt(0)
5325 ; VI-NEXT:    buffer_wbinvl1_vol
5326 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5327 ; VI-NEXT:    s_mov_b32 s6, -1
5328 ; VI-NEXT:    s_mov_b32 s4, s2
5329 ; VI-NEXT:    s_mov_b32 s5, s3
5330 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5331 ; VI-NEXT:    s_endpgm
5332 ;
5333 ; GFX9-LABEL: atomic_xor_i64_ret_addr64_offset:
5334 ; GFX9:       ; %bb.0: ; %entry
5335 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5336 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5337 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5338 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
5339 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
5340 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
5341 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
5342 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
5343 ; GFX9-NEXT:    global_atomic_xor_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
5344 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5345 ; GFX9-NEXT:    buffer_wbinvl1_vol
5346 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
5347 ; GFX9-NEXT:    s_endpgm
5348 ;
5349 ; GFX12-LABEL: atomic_xor_i64_ret_addr64_offset:
5350 ; GFX12:       ; %bb.0: ; %entry
5351 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5352 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5353 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
5354 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
5355 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5356 ; GFX12-NEXT:    s_wait_alu 0xfffe
5357 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5358 ; GFX12-NEXT:    global_atomic_xor_b64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5359 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5360 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5361 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
5362 ; GFX12-NEXT:    s_endpgm
5363 entry:
5364   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5365   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
5366   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
5367   store i64 %tmp0, ptr addrspace(1) %out2
5368   ret void
5369 }
5370
5371 define amdgpu_kernel void @atomic_xor_i64(ptr addrspace(1) %out, i64 %in) {
5372 ; CI-LABEL: atomic_xor_i64:
5373 ; CI:       ; %bb.0: ; %entry
5374 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5375 ; CI-NEXT:    s_mov_b32 s7, 0xf000
5376 ; CI-NEXT:    s_mov_b32 s6, -1
5377 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5378 ; CI-NEXT:    s_mov_b32 s4, s0
5379 ; CI-NEXT:    s_mov_b32 s5, s1
5380 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5381 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5382 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[4:7], 0
5383 ; CI-NEXT:    s_waitcnt vmcnt(0)
5384 ; CI-NEXT:    buffer_wbinvl1_vol
5385 ; CI-NEXT:    s_endpgm
5386 ;
5387 ; VI-LABEL: atomic_xor_i64:
5388 ; VI:       ; %bb.0: ; %entry
5389 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5390 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5391 ; VI-NEXT:    s_mov_b32 s6, -1
5392 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5393 ; VI-NEXT:    s_mov_b32 s4, s0
5394 ; VI-NEXT:    s_mov_b32 s5, s1
5395 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5396 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5397 ; VI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[4:7], 0
5398 ; VI-NEXT:    s_waitcnt vmcnt(0)
5399 ; VI-NEXT:    buffer_wbinvl1_vol
5400 ; VI-NEXT:    s_endpgm
5401 ;
5402 ; GFX9-LABEL: atomic_xor_i64:
5403 ; GFX9:       ; %bb.0: ; %entry
5404 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5405 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5406 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5407 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5408 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5409 ; GFX9-NEXT:    global_atomic_xor_x2 v2, v[0:1], s[0:1]
5410 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5411 ; GFX9-NEXT:    buffer_wbinvl1_vol
5412 ; GFX9-NEXT:    s_endpgm
5413 ;
5414 ; GFX12-LABEL: atomic_xor_i64:
5415 ; GFX12:       ; %bb.0: ; %entry
5416 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5417 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5418 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
5419 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
5420 ; GFX12-NEXT:    global_atomic_xor_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
5421 ; GFX12-NEXT:    s_wait_storecnt 0x0
5422 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5423 ; GFX12-NEXT:    s_endpgm
5424 entry:
5425   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
5426   ret void
5427 }
5428
5429 define amdgpu_kernel void @atomic_xor_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
5430 ; CI-LABEL: atomic_xor_i64_ret:
5431 ; CI:       ; %bb.0: ; %entry
5432 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5433 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
5434 ; CI-NEXT:    s_mov_b32 s7, 0xf000
5435 ; CI-NEXT:    s_mov_b32 s6, -1
5436 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5437 ; CI-NEXT:    s_mov_b32 s4, s0
5438 ; CI-NEXT:    s_mov_b32 s5, s1
5439 ; CI-NEXT:    v_mov_b32_e32 v0, s8
5440 ; CI-NEXT:    v_mov_b32_e32 v1, s9
5441 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[4:7], 0 glc
5442 ; CI-NEXT:    s_waitcnt vmcnt(0)
5443 ; CI-NEXT:    buffer_wbinvl1_vol
5444 ; CI-NEXT:    s_mov_b32 s4, s2
5445 ; CI-NEXT:    s_mov_b32 s5, s3
5446 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5447 ; CI-NEXT:    s_endpgm
5448 ;
5449 ; VI-LABEL: atomic_xor_i64_ret:
5450 ; VI:       ; %bb.0: ; %entry
5451 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5452 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
5453 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5454 ; VI-NEXT:    s_mov_b32 s6, -1
5455 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5456 ; VI-NEXT:    s_mov_b32 s4, s0
5457 ; VI-NEXT:    s_mov_b32 s5, s1
5458 ; VI-NEXT:    v_mov_b32_e32 v0, s8
5459 ; VI-NEXT:    v_mov_b32_e32 v1, s9
5460 ; VI-NEXT:    buffer_atomic_xor_x2 v[0:1], off, s[4:7], 0 glc
5461 ; VI-NEXT:    s_waitcnt vmcnt(0)
5462 ; VI-NEXT:    buffer_wbinvl1_vol
5463 ; VI-NEXT:    s_mov_b32 s4, s2
5464 ; VI-NEXT:    s_mov_b32 s5, s3
5465 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5466 ; VI-NEXT:    s_endpgm
5467 ;
5468 ; GFX9-LABEL: atomic_xor_i64_ret:
5469 ; GFX9:       ; %bb.0: ; %entry
5470 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5471 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5472 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5473 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5474 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
5475 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
5476 ; GFX9-NEXT:    global_atomic_xor_x2 v[0:1], v2, v[0:1], s[0:1] glc
5477 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5478 ; GFX9-NEXT:    buffer_wbinvl1_vol
5479 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
5480 ; GFX9-NEXT:    s_endpgm
5481 ;
5482 ; GFX12-LABEL: atomic_xor_i64_ret:
5483 ; GFX12:       ; %bb.0: ; %entry
5484 ; GFX12-NEXT:    s_clause 0x1
5485 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5486 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5487 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5488 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
5489 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
5490 ; GFX12-NEXT:    global_atomic_xor_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5491 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5492 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5493 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
5494 ; GFX12-NEXT:    s_endpgm
5495 entry:
5496   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %out, i64 %in syncscope("agent") seq_cst
5497   store i64 %tmp0, ptr addrspace(1) %out2
5498   ret void
5499 }
5500
5501 define amdgpu_kernel void @atomic_xor_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index) {
5502 ; CI-LABEL: atomic_xor_i64_addr64:
5503 ; CI:       ; %bb.0: ; %entry
5504 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5505 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5506 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5507 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5508 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5509 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5510 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5511 ; CI-NEXT:    s_mov_b32 s3, 0xf000
5512 ; CI-NEXT:    s_mov_b32 s2, 0
5513 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5514 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], v[2:3], s[0:3], 0 addr64
5515 ; CI-NEXT:    s_waitcnt vmcnt(0)
5516 ; CI-NEXT:    buffer_wbinvl1_vol
5517 ; CI-NEXT:    s_endpgm
5518 ;
5519 ; VI-LABEL: atomic_xor_i64_addr64:
5520 ; VI:       ; %bb.0: ; %entry
5521 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5522 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5523 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5524 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5525 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5526 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
5527 ; VI-NEXT:    s_add_u32 s0, s0, s2
5528 ; VI-NEXT:    s_addc_u32 s1, s1, s3
5529 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5530 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5531 ; VI-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
5532 ; VI-NEXT:    s_waitcnt vmcnt(0)
5533 ; VI-NEXT:    buffer_wbinvl1_vol
5534 ; VI-NEXT:    s_endpgm
5535 ;
5536 ; GFX9-LABEL: atomic_xor_i64_addr64:
5537 ; GFX9:       ; %bb.0: ; %entry
5538 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5539 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5540 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5541 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5542 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5543 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5544 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
5545 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
5546 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
5547 ; GFX9-NEXT:    global_atomic_xor_x2 v2, v[0:1], s[0:1]
5548 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5549 ; GFX9-NEXT:    buffer_wbinvl1_vol
5550 ; GFX9-NEXT:    s_endpgm
5551 ;
5552 ; GFX12-LABEL: atomic_xor_i64_addr64:
5553 ; GFX12:       ; %bb.0: ; %entry
5554 ; GFX12-NEXT:    s_clause 0x1
5555 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5556 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5557 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
5558 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5559 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5560 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
5561 ; GFX12-NEXT:    s_wait_alu 0xfffe
5562 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
5563 ; GFX12-NEXT:    global_atomic_xor_b64 v2, v[0:1], s[0:1] scope:SCOPE_DEV
5564 ; GFX12-NEXT:    s_wait_storecnt 0x0
5565 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5566 ; GFX12-NEXT:    s_endpgm
5567 entry:
5568   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5569   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
5570   ret void
5571 }
5572
5573 define amdgpu_kernel void @atomic_xor_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index) {
5574 ; CI-LABEL: atomic_xor_i64_ret_addr64:
5575 ; CI:       ; %bb.0: ; %entry
5576 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5577 ; CI-NEXT:    s_mov_b32 s11, 0xf000
5578 ; CI-NEXT:    s_mov_b32 s10, -1
5579 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5580 ; CI-NEXT:    v_mov_b32_e32 v0, s4
5581 ; CI-NEXT:    v_mov_b32_e32 v1, s5
5582 ; CI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5583 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5584 ; CI-NEXT:    s_mov_b32 s8, s2
5585 ; CI-NEXT:    s_mov_b32 s9, s3
5586 ; CI-NEXT:    s_mov_b32 s2, 0
5587 ; CI-NEXT:    s_mov_b32 s3, s11
5588 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5589 ; CI-NEXT:    buffer_atomic_xor_x2 v[0:1], v[2:3], s[0:3], 0 addr64 glc
5590 ; CI-NEXT:    s_waitcnt vmcnt(0)
5591 ; CI-NEXT:    buffer_wbinvl1_vol
5592 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
5593 ; CI-NEXT:    s_endpgm
5594 ;
5595 ; VI-LABEL: atomic_xor_i64_ret_addr64:
5596 ; VI:       ; %bb.0: ; %entry
5597 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5598 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5599 ; VI-NEXT:    v_mov_b32_e32 v0, s4
5600 ; VI-NEXT:    v_mov_b32_e32 v1, s5
5601 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5602 ; VI-NEXT:    s_add_u32 s0, s0, s4
5603 ; VI-NEXT:    s_addc_u32 s1, s1, s5
5604 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5605 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5606 ; VI-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
5607 ; VI-NEXT:    s_waitcnt vmcnt(0)
5608 ; VI-NEXT:    buffer_wbinvl1_vol
5609 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5610 ; VI-NEXT:    s_mov_b32 s6, -1
5611 ; VI-NEXT:    s_mov_b32 s4, s2
5612 ; VI-NEXT:    s_mov_b32 s5, s3
5613 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
5614 ; VI-NEXT:    s_endpgm
5615 ;
5616 ; GFX9-LABEL: atomic_xor_i64_ret_addr64:
5617 ; GFX9:       ; %bb.0: ; %entry
5618 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5619 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
5620 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5621 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
5622 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
5623 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
5624 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
5625 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
5626 ; GFX9-NEXT:    global_atomic_xor_x2 v[0:1], v2, v[0:1], s[0:1] glc
5627 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5628 ; GFX9-NEXT:    buffer_wbinvl1_vol
5629 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[10:11]
5630 ; GFX9-NEXT:    s_endpgm
5631 ;
5632 ; GFX12-LABEL: atomic_xor_i64_ret_addr64:
5633 ; GFX12:       ; %bb.0: ; %entry
5634 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5635 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5636 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s5
5637 ; GFX12-NEXT:    v_mov_b32_e32 v0, s4
5638 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5639 ; GFX12-NEXT:    s_wait_alu 0xfffe
5640 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5641 ; GFX12-NEXT:    global_atomic_xor_b64 v[0:1], v2, v[0:1], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5642 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5643 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5644 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
5645 ; GFX12-NEXT:    s_endpgm
5646 entry:
5647   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5648   %tmp0 = atomicrmw volatile xor ptr addrspace(1) %ptr, i64 %in syncscope("agent") seq_cst
5649   store i64 %tmp0, ptr addrspace(1) %out2
5650   ret void
5651 }
5652
5653 define amdgpu_kernel void @atomic_cmpxchg_i64_offset(ptr addrspace(1) %out, i64 %in, i64 %old) {
5654 ; CI-LABEL: atomic_cmpxchg_i64_offset:
5655 ; CI:       ; %bb.0: ; %entry
5656 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5657 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
5658 ; CI-NEXT:    s_mov_b32 s7, 0xf000
5659 ; CI-NEXT:    s_mov_b32 s6, -1
5660 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5661 ; CI-NEXT:    s_mov_b32 s4, s0
5662 ; CI-NEXT:    s_mov_b32 s5, s1
5663 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5664 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5665 ; CI-NEXT:    v_mov_b32_e32 v2, s8
5666 ; CI-NEXT:    v_mov_b32_e32 v3, s9
5667 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], 0 offset:32
5668 ; CI-NEXT:    s_waitcnt vmcnt(0)
5669 ; CI-NEXT:    buffer_wbinvl1_vol
5670 ; CI-NEXT:    s_endpgm
5671 ;
5672 ; VI-LABEL: atomic_cmpxchg_i64_offset:
5673 ; VI:       ; %bb.0: ; %entry
5674 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5675 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
5676 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5677 ; VI-NEXT:    s_mov_b32 s6, -1
5678 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5679 ; VI-NEXT:    s_mov_b32 s4, s0
5680 ; VI-NEXT:    s_mov_b32 s5, s1
5681 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5682 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5683 ; VI-NEXT:    v_mov_b32_e32 v2, s8
5684 ; VI-NEXT:    v_mov_b32_e32 v3, s9
5685 ; VI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], 0 offset:32
5686 ; VI-NEXT:    s_waitcnt vmcnt(0)
5687 ; VI-NEXT:    buffer_wbinvl1_vol
5688 ; VI-NEXT:    s_endpgm
5689 ;
5690 ; GFX9-LABEL: atomic_cmpxchg_i64_offset:
5691 ; GFX9:       ; %bb.0: ; %entry
5692 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5693 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5694 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
5695 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5696 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5697 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5698 ; GFX9-NEXT:    v_mov_b32_e32 v2, s6
5699 ; GFX9-NEXT:    v_mov_b32_e32 v3, s7
5700 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v4, v[0:3], s[0:1] offset:32
5701 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5702 ; GFX9-NEXT:    buffer_wbinvl1_vol
5703 ; GFX9-NEXT:    s_endpgm
5704 ;
5705 ; GFX12-LABEL: atomic_cmpxchg_i64_offset:
5706 ; GFX12:       ; %bb.0: ; %entry
5707 ; GFX12-NEXT:    s_clause 0x1
5708 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5709 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5710 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5711 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s3
5712 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v3, s5
5713 ; GFX12-NEXT:    v_mov_b32_e32 v2, s4
5714 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v4, v[0:3], s[0:1] offset:32 scope:SCOPE_DEV
5715 ; GFX12-NEXT:    s_wait_storecnt 0x0
5716 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5717 ; GFX12-NEXT:    s_endpgm
5718 entry:
5719   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
5720   %val = cmpxchg volatile ptr addrspace(1) %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
5721   ret void
5722 }
5723
5724 define amdgpu_kernel void @atomic_cmpxchg_i64_soffset(ptr addrspace(1) %out, i64 %in, i64 %old) {
5725 ; CI-LABEL: atomic_cmpxchg_i64_soffset:
5726 ; CI:       ; %bb.0: ; %entry
5727 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5728 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
5729 ; CI-NEXT:    s_mov_b32 s7, 0xf000
5730 ; CI-NEXT:    s_mov_b32 s6, -1
5731 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5732 ; CI-NEXT:    s_mov_b32 s4, s0
5733 ; CI-NEXT:    s_mov_b32 s5, s1
5734 ; CI-NEXT:    s_mov_b32 s0, 0x11940
5735 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5736 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5737 ; CI-NEXT:    v_mov_b32_e32 v2, s8
5738 ; CI-NEXT:    v_mov_b32_e32 v3, s9
5739 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], s0
5740 ; CI-NEXT:    s_waitcnt vmcnt(0)
5741 ; CI-NEXT:    buffer_wbinvl1_vol
5742 ; CI-NEXT:    s_endpgm
5743 ;
5744 ; VI-LABEL: atomic_cmpxchg_i64_soffset:
5745 ; VI:       ; %bb.0: ; %entry
5746 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5747 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
5748 ; VI-NEXT:    s_mov_b32 s7, 0xf000
5749 ; VI-NEXT:    s_mov_b32 s6, -1
5750 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5751 ; VI-NEXT:    s_mov_b32 s4, s0
5752 ; VI-NEXT:    s_mov_b32 s5, s1
5753 ; VI-NEXT:    s_mov_b32 s0, 0x11940
5754 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5755 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5756 ; VI-NEXT:    v_mov_b32_e32 v2, s8
5757 ; VI-NEXT:    v_mov_b32_e32 v3, s9
5758 ; VI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], s0
5759 ; VI-NEXT:    s_waitcnt vmcnt(0)
5760 ; VI-NEXT:    buffer_wbinvl1_vol
5761 ; VI-NEXT:    s_endpgm
5762 ;
5763 ; GFX9-LABEL: atomic_cmpxchg_i64_soffset:
5764 ; GFX9:       ; %bb.0: ; %entry
5765 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5766 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5767 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0x11000
5768 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5769 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
5770 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
5771 ; GFX9-NEXT:    v_mov_b32_e32 v2, s6
5772 ; GFX9-NEXT:    v_mov_b32_e32 v3, s7
5773 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v4, v[0:3], s[0:1] offset:2368
5774 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5775 ; GFX9-NEXT:    buffer_wbinvl1_vol
5776 ; GFX9-NEXT:    s_endpgm
5777 ;
5778 ; GFX12-LABEL: atomic_cmpxchg_i64_soffset:
5779 ; GFX12:       ; %bb.0: ; %entry
5780 ; GFX12-NEXT:    s_clause 0x1
5781 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5782 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5783 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5784 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s3
5785 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v3, s5
5786 ; GFX12-NEXT:    v_mov_b32_e32 v2, s4
5787 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v4, v[0:3], s[0:1] offset:72000 scope:SCOPE_DEV
5788 ; GFX12-NEXT:    s_wait_storecnt 0x0
5789 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5790 ; GFX12-NEXT:    s_endpgm
5791 entry:
5792   %gep = getelementptr i64, ptr addrspace(1) %out, i64 9000
5793   %val = cmpxchg volatile ptr addrspace(1) %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
5794   ret void
5795 }
5796
5797 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %old) {
5798 ; CI-LABEL: atomic_cmpxchg_i64_ret_offset:
5799 ; CI:       ; %bb.0: ; %entry
5800 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5801 ; CI-NEXT:    s_mov_b32 s11, 0xf000
5802 ; CI-NEXT:    s_mov_b32 s10, -1
5803 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5804 ; CI-NEXT:    s_mov_b32 s8, s2
5805 ; CI-NEXT:    s_mov_b32 s9, s3
5806 ; CI-NEXT:    s_mov_b32 s2, s10
5807 ; CI-NEXT:    s_mov_b32 s3, s11
5808 ; CI-NEXT:    v_mov_b32_e32 v0, s4
5809 ; CI-NEXT:    v_mov_b32_e32 v1, s5
5810 ; CI-NEXT:    v_mov_b32_e32 v2, s6
5811 ; CI-NEXT:    v_mov_b32_e32 v3, s7
5812 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[0:3], 0 offset:32 glc
5813 ; CI-NEXT:    s_waitcnt vmcnt(0)
5814 ; CI-NEXT:    buffer_wbinvl1_vol
5815 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
5816 ; CI-NEXT:    s_endpgm
5817 ;
5818 ; VI-LABEL: atomic_cmpxchg_i64_ret_offset:
5819 ; VI:       ; %bb.0: ; %entry
5820 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5821 ; VI-NEXT:    s_mov_b32 s11, 0xf000
5822 ; VI-NEXT:    s_mov_b32 s10, -1
5823 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5824 ; VI-NEXT:    s_mov_b32 s8, s2
5825 ; VI-NEXT:    s_mov_b32 s9, s3
5826 ; VI-NEXT:    s_mov_b32 s2, s10
5827 ; VI-NEXT:    s_mov_b32 s3, s11
5828 ; VI-NEXT:    v_mov_b32_e32 v0, s4
5829 ; VI-NEXT:    v_mov_b32_e32 v1, s5
5830 ; VI-NEXT:    v_mov_b32_e32 v2, s6
5831 ; VI-NEXT:    v_mov_b32_e32 v3, s7
5832 ; VI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[0:3], 0 offset:32 glc
5833 ; VI-NEXT:    s_waitcnt vmcnt(0)
5834 ; VI-NEXT:    buffer_wbinvl1_vol
5835 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
5836 ; VI-NEXT:    s_endpgm
5837 ;
5838 ; GFX9-LABEL: atomic_cmpxchg_i64_ret_offset:
5839 ; GFX9:       ; %bb.0: ; %entry
5840 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5841 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
5842 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5843 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
5844 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
5845 ; GFX9-NEXT:    v_mov_b32_e32 v2, s14
5846 ; GFX9-NEXT:    v_mov_b32_e32 v3, s15
5847 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v[0:1], v4, v[0:3], s[8:9] offset:32 glc
5848 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5849 ; GFX9-NEXT:    buffer_wbinvl1_vol
5850 ; GFX9-NEXT:    global_store_dwordx2 v4, v[0:1], s[10:11]
5851 ; GFX9-NEXT:    s_endpgm
5852 ;
5853 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_offset:
5854 ; GFX12:       ; %bb.0: ; %entry
5855 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5856 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5857 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s5
5858 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v3, s7
5859 ; GFX12-NEXT:    v_mov_b32_e32 v2, s6
5860 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v[0:1], v4, v[0:3], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5861 ; GFX12-NEXT:    s_wait_loadcnt 0x0
5862 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5863 ; GFX12-NEXT:    global_store_b64 v4, v[0:1], s[2:3]
5864 ; GFX12-NEXT:    s_endpgm
5865 entry:
5866   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
5867   %val = cmpxchg volatile ptr addrspace(1) %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
5868   %extract0 = extractvalue { i64, i1 } %val, 0
5869   store i64 %extract0, ptr addrspace(1) %out2
5870   ret void
5871 }
5872
5873 define amdgpu_kernel void @atomic_cmpxchg_i64_addr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index, i64 %old) {
5874 ; CI-LABEL: atomic_cmpxchg_i64_addr64_offset:
5875 ; CI:       ; %bb.0: ; %entry
5876 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5877 ; CI-NEXT:    s_mov_b32 s11, 0xf000
5878 ; CI-NEXT:    s_mov_b32 s10, 0
5879 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5880 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5881 ; CI-NEXT:    v_mov_b32_e32 v4, s4
5882 ; CI-NEXT:    s_mov_b64 s[8:9], s[0:1]
5883 ; CI-NEXT:    v_mov_b32_e32 v0, s2
5884 ; CI-NEXT:    v_mov_b32_e32 v1, s3
5885 ; CI-NEXT:    v_mov_b32_e32 v2, s6
5886 ; CI-NEXT:    v_mov_b32_e32 v3, s7
5887 ; CI-NEXT:    v_mov_b32_e32 v5, s5
5888 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], v[4:5], s[8:11], 0 addr64 offset:32
5889 ; CI-NEXT:    s_waitcnt vmcnt(0)
5890 ; CI-NEXT:    buffer_wbinvl1_vol
5891 ; CI-NEXT:    s_endpgm
5892 ;
5893 ; VI-LABEL: atomic_cmpxchg_i64_addr64_offset:
5894 ; VI:       ; %bb.0: ; %entry
5895 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5896 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5897 ; VI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5898 ; VI-NEXT:    s_add_u32 s0, s0, s4
5899 ; VI-NEXT:    s_addc_u32 s1, s1, s5
5900 ; VI-NEXT:    s_add_u32 s0, s0, 32
5901 ; VI-NEXT:    s_addc_u32 s1, s1, 0
5902 ; VI-NEXT:    v_mov_b32_e32 v5, s1
5903 ; VI-NEXT:    v_mov_b32_e32 v0, s2
5904 ; VI-NEXT:    v_mov_b32_e32 v1, s3
5905 ; VI-NEXT:    v_mov_b32_e32 v2, s6
5906 ; VI-NEXT:    v_mov_b32_e32 v3, s7
5907 ; VI-NEXT:    v_mov_b32_e32 v4, s0
5908 ; VI-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5909 ; VI-NEXT:    s_waitcnt vmcnt(0)
5910 ; VI-NEXT:    buffer_wbinvl1_vol
5911 ; VI-NEXT:    s_endpgm
5912 ;
5913 ; GFX9-LABEL: atomic_cmpxchg_i64_addr64_offset:
5914 ; GFX9:       ; %bb.0: ; %entry
5915 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5916 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
5917 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
5918 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[12:13], 3
5919 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
5920 ; GFX9-NEXT:    v_mov_b32_e32 v0, s10
5921 ; GFX9-NEXT:    v_mov_b32_e32 v1, s11
5922 ; GFX9-NEXT:    v_mov_b32_e32 v2, s14
5923 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
5924 ; GFX9-NEXT:    v_mov_b32_e32 v3, s15
5925 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v4, v[0:3], s[0:1] offset:32
5926 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
5927 ; GFX9-NEXT:    buffer_wbinvl1_vol
5928 ; GFX9-NEXT:    s_endpgm
5929 ;
5930 ; GFX12-LABEL: atomic_cmpxchg_i64_addr64_offset:
5931 ; GFX12:       ; %bb.0: ; %entry
5932 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5933 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5934 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s3
5935 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v3, s7
5936 ; GFX12-NEXT:    v_mov_b32_e32 v2, s6
5937 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
5938 ; GFX12-NEXT:    s_wait_alu 0xfffe
5939 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
5940 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v4, v[0:3], s[0:1] offset:32 scope:SCOPE_DEV
5941 ; GFX12-NEXT:    s_wait_storecnt 0x0
5942 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5943 ; GFX12-NEXT:    s_endpgm
5944 entry:
5945   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
5946   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
5947   %val = cmpxchg volatile ptr addrspace(1) %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
5948   ret void
5949 }
5950
5951 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_addr64_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index, i64 %old) {
5952 ; CI-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
5953 ; CI:       ; %bb.0: ; %entry
5954 ; CI-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x9
5955 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x11
5956 ; CI-NEXT:    s_mov_b32 s3, 0xf000
5957 ; CI-NEXT:    s_mov_b32 s2, -1
5958 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
5959 ; CI-NEXT:    s_lshl_b64 s[6:7], s[14:15], 3
5960 ; CI-NEXT:    v_mov_b32_e32 v4, s6
5961 ; CI-NEXT:    s_mov_b32 s0, s10
5962 ; CI-NEXT:    s_mov_b32 s1, s11
5963 ; CI-NEXT:    s_mov_b32 s10, 0
5964 ; CI-NEXT:    s_mov_b32 s11, s3
5965 ; CI-NEXT:    v_mov_b32_e32 v0, s12
5966 ; CI-NEXT:    v_mov_b32_e32 v1, s13
5967 ; CI-NEXT:    v_mov_b32_e32 v2, s4
5968 ; CI-NEXT:    v_mov_b32_e32 v3, s5
5969 ; CI-NEXT:    v_mov_b32_e32 v5, s7
5970 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], v[4:5], s[8:11], 0 addr64 offset:32 glc
5971 ; CI-NEXT:    s_waitcnt vmcnt(0)
5972 ; CI-NEXT:    buffer_wbinvl1_vol
5973 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0
5974 ; CI-NEXT:    s_endpgm
5975 ;
5976 ; VI-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
5977 ; VI:       ; %bb.0: ; %entry
5978 ; VI-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5979 ; VI-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
5980 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
5981 ; VI-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5982 ; VI-NEXT:    v_mov_b32_e32 v2, s0
5983 ; VI-NEXT:    s_add_u32 s0, s8, s2
5984 ; VI-NEXT:    s_addc_u32 s3, s9, s3
5985 ; VI-NEXT:    s_add_u32 s2, s0, 32
5986 ; VI-NEXT:    s_addc_u32 s3, s3, 0
5987 ; VI-NEXT:    v_mov_b32_e32 v5, s3
5988 ; VI-NEXT:    v_mov_b32_e32 v0, s12
5989 ; VI-NEXT:    v_mov_b32_e32 v1, s13
5990 ; VI-NEXT:    v_mov_b32_e32 v3, s1
5991 ; VI-NEXT:    v_mov_b32_e32 v4, s2
5992 ; VI-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5993 ; VI-NEXT:    s_waitcnt vmcnt(0)
5994 ; VI-NEXT:    buffer_wbinvl1_vol
5995 ; VI-NEXT:    s_mov_b32 s3, 0xf000
5996 ; VI-NEXT:    s_mov_b32 s2, -1
5997 ; VI-NEXT:    s_mov_b32 s0, s10
5998 ; VI-NEXT:    s_mov_b32 s1, s11
5999 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0
6000 ; VI-NEXT:    s_endpgm
6001 ;
6002 ; GFX9-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
6003 ; GFX9:       ; %bb.0: ; %entry
6004 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
6005 ; GFX9-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
6006 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
6007 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6008 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
6009 ; GFX9-NEXT:    s_add_u32 s2, s8, s2
6010 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
6011 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
6012 ; GFX9-NEXT:    s_addc_u32 s3, s9, s3
6013 ; GFX9-NEXT:    v_mov_b32_e32 v2, s0
6014 ; GFX9-NEXT:    v_mov_b32_e32 v3, s1
6015 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v[0:1], v4, v[0:3], s[2:3] offset:32 glc
6016 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6017 ; GFX9-NEXT:    buffer_wbinvl1_vol
6018 ; GFX9-NEXT:    global_store_dwordx2 v4, v[0:1], s[10:11]
6019 ; GFX9-NEXT:    s_endpgm
6020 ;
6021 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
6022 ; GFX12:       ; %bb.0: ; %entry
6023 ; GFX12-NEXT:    s_clause 0x1
6024 ; GFX12-NEXT:    s_load_b256 s[8:15], s[4:5], 0x24
6025 ; GFX12-NEXT:    s_load_b64 s[0:1], s[4:5], 0x44
6026 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6027 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s13
6028 ; GFX12-NEXT:    v_dual_mov_b32 v0, s12 :: v_dual_mov_b32 v3, s1
6029 ; GFX12-NEXT:    v_mov_b32_e32 v2, s0
6030 ; GFX12-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
6031 ; GFX12-NEXT:    s_wait_alu 0xfffe
6032 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[8:9], s[0:1]
6033 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v[0:1], v4, v[0:3], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6034 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6035 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6036 ; GFX12-NEXT:    global_store_b64 v4, v[0:1], s[10:11]
6037 ; GFX12-NEXT:    s_endpgm
6038 entry:
6039   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
6040   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
6041   %val = cmpxchg volatile ptr addrspace(1) %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
6042   %extract0 = extractvalue { i64, i1 } %val, 0
6043   store i64 %extract0, ptr addrspace(1) %out2
6044   ret void
6045 }
6046
6047 define amdgpu_kernel void @atomic_cmpxchg_i64(ptr addrspace(1) %out, i64 %in, i64 %old) {
6048 ; CI-LABEL: atomic_cmpxchg_i64:
6049 ; CI:       ; %bb.0: ; %entry
6050 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6051 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
6052 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6053 ; CI-NEXT:    s_mov_b32 s6, -1
6054 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6055 ; CI-NEXT:    s_mov_b32 s4, s0
6056 ; CI-NEXT:    s_mov_b32 s5, s1
6057 ; CI-NEXT:    v_mov_b32_e32 v0, s2
6058 ; CI-NEXT:    v_mov_b32_e32 v1, s3
6059 ; CI-NEXT:    v_mov_b32_e32 v2, s8
6060 ; CI-NEXT:    v_mov_b32_e32 v3, s9
6061 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], 0
6062 ; CI-NEXT:    s_waitcnt vmcnt(0)
6063 ; CI-NEXT:    buffer_wbinvl1_vol
6064 ; CI-NEXT:    s_endpgm
6065 ;
6066 ; VI-LABEL: atomic_cmpxchg_i64:
6067 ; VI:       ; %bb.0: ; %entry
6068 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6069 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
6070 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6071 ; VI-NEXT:    s_mov_b32 s6, -1
6072 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6073 ; VI-NEXT:    s_mov_b32 s4, s0
6074 ; VI-NEXT:    s_mov_b32 s5, s1
6075 ; VI-NEXT:    v_mov_b32_e32 v0, s2
6076 ; VI-NEXT:    v_mov_b32_e32 v1, s3
6077 ; VI-NEXT:    v_mov_b32_e32 v2, s8
6078 ; VI-NEXT:    v_mov_b32_e32 v3, s9
6079 ; VI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[4:7], 0
6080 ; VI-NEXT:    s_waitcnt vmcnt(0)
6081 ; VI-NEXT:    buffer_wbinvl1_vol
6082 ; VI-NEXT:    s_endpgm
6083 ;
6084 ; GFX9-LABEL: atomic_cmpxchg_i64:
6085 ; GFX9:       ; %bb.0: ; %entry
6086 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6087 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6088 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
6089 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6090 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
6091 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
6092 ; GFX9-NEXT:    v_mov_b32_e32 v2, s6
6093 ; GFX9-NEXT:    v_mov_b32_e32 v3, s7
6094 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v4, v[0:3], s[0:1]
6095 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6096 ; GFX9-NEXT:    buffer_wbinvl1_vol
6097 ; GFX9-NEXT:    s_endpgm
6098 ;
6099 ; GFX12-LABEL: atomic_cmpxchg_i64:
6100 ; GFX12:       ; %bb.0: ; %entry
6101 ; GFX12-NEXT:    s_clause 0x1
6102 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6103 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
6104 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6105 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s3
6106 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v3, s5
6107 ; GFX12-NEXT:    v_mov_b32_e32 v2, s4
6108 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v4, v[0:3], s[0:1] scope:SCOPE_DEV
6109 ; GFX12-NEXT:    s_wait_storecnt 0x0
6110 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6111 ; GFX12-NEXT:    s_endpgm
6112 entry:
6113   %val = cmpxchg volatile ptr addrspace(1) %out, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
6114   ret void
6115 }
6116
6117 define amdgpu_kernel void @atomic_cmpxchg_i64_ret(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %old) {
6118 ; CI-LABEL: atomic_cmpxchg_i64_ret:
6119 ; CI:       ; %bb.0: ; %entry
6120 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6121 ; CI-NEXT:    s_mov_b32 s11, 0xf000
6122 ; CI-NEXT:    s_mov_b32 s10, -1
6123 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6124 ; CI-NEXT:    s_mov_b32 s8, s0
6125 ; CI-NEXT:    s_mov_b32 s9, s1
6126 ; CI-NEXT:    v_mov_b32_e32 v0, s4
6127 ; CI-NEXT:    v_mov_b32_e32 v1, s5
6128 ; CI-NEXT:    v_mov_b32_e32 v2, s6
6129 ; CI-NEXT:    v_mov_b32_e32 v3, s7
6130 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[8:11], 0 glc
6131 ; CI-NEXT:    s_waitcnt vmcnt(0)
6132 ; CI-NEXT:    buffer_wbinvl1_vol
6133 ; CI-NEXT:    s_mov_b32 s8, s2
6134 ; CI-NEXT:    s_mov_b32 s9, s3
6135 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
6136 ; CI-NEXT:    s_endpgm
6137 ;
6138 ; VI-LABEL: atomic_cmpxchg_i64_ret:
6139 ; VI:       ; %bb.0: ; %entry
6140 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6141 ; VI-NEXT:    s_mov_b32 s11, 0xf000
6142 ; VI-NEXT:    s_mov_b32 s10, -1
6143 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6144 ; VI-NEXT:    s_mov_b32 s8, s0
6145 ; VI-NEXT:    s_mov_b32 s9, s1
6146 ; VI-NEXT:    v_mov_b32_e32 v0, s4
6147 ; VI-NEXT:    v_mov_b32_e32 v1, s5
6148 ; VI-NEXT:    v_mov_b32_e32 v2, s6
6149 ; VI-NEXT:    v_mov_b32_e32 v3, s7
6150 ; VI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], off, s[8:11], 0 glc
6151 ; VI-NEXT:    s_waitcnt vmcnt(0)
6152 ; VI-NEXT:    buffer_wbinvl1_vol
6153 ; VI-NEXT:    s_mov_b32 s8, s2
6154 ; VI-NEXT:    s_mov_b32 s9, s3
6155 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0
6156 ; VI-NEXT:    s_endpgm
6157 ;
6158 ; GFX9-LABEL: atomic_cmpxchg_i64_ret:
6159 ; GFX9:       ; %bb.0: ; %entry
6160 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
6161 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
6162 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6163 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
6164 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
6165 ; GFX9-NEXT:    v_mov_b32_e32 v2, s14
6166 ; GFX9-NEXT:    v_mov_b32_e32 v3, s15
6167 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v[0:1], v4, v[0:3], s[8:9] glc
6168 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6169 ; GFX9-NEXT:    buffer_wbinvl1_vol
6170 ; GFX9-NEXT:    global_store_dwordx2 v4, v[0:1], s[10:11]
6171 ; GFX9-NEXT:    s_endpgm
6172 ;
6173 ; GFX12-LABEL: atomic_cmpxchg_i64_ret:
6174 ; GFX12:       ; %bb.0: ; %entry
6175 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6176 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6177 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s5
6178 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v3, s7
6179 ; GFX12-NEXT:    v_mov_b32_e32 v2, s6
6180 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v[0:1], v4, v[0:3], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6181 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6182 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6183 ; GFX12-NEXT:    global_store_b64 v4, v[0:1], s[2:3]
6184 ; GFX12-NEXT:    s_endpgm
6185 entry:
6186   %val = cmpxchg volatile ptr addrspace(1) %out, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
6187   %extract0 = extractvalue { i64, i1 } %val, 0
6188   store i64 %extract0, ptr addrspace(1) %out2
6189   ret void
6190 }
6191
6192 define amdgpu_kernel void @atomic_cmpxchg_i64_addr64(ptr addrspace(1) %out, i64 %in, i64 %index, i64 %old) {
6193 ; CI-LABEL: atomic_cmpxchg_i64_addr64:
6194 ; CI:       ; %bb.0: ; %entry
6195 ; CI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6196 ; CI-NEXT:    s_mov_b32 s11, 0xf000
6197 ; CI-NEXT:    s_mov_b32 s10, 0
6198 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6199 ; CI-NEXT:    s_mov_b64 s[8:9], s[0:1]
6200 ; CI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
6201 ; CI-NEXT:    v_mov_b32_e32 v5, s1
6202 ; CI-NEXT:    v_mov_b32_e32 v0, s2
6203 ; CI-NEXT:    v_mov_b32_e32 v1, s3
6204 ; CI-NEXT:    v_mov_b32_e32 v2, s6
6205 ; CI-NEXT:    v_mov_b32_e32 v3, s7
6206 ; CI-NEXT:    v_mov_b32_e32 v4, s0
6207 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], v[4:5], s[8:11], 0 addr64
6208 ; CI-NEXT:    s_waitcnt vmcnt(0)
6209 ; CI-NEXT:    buffer_wbinvl1_vol
6210 ; CI-NEXT:    s_endpgm
6211 ;
6212 ; VI-LABEL: atomic_cmpxchg_i64_addr64:
6213 ; VI:       ; %bb.0: ; %entry
6214 ; VI-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6215 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6216 ; VI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
6217 ; VI-NEXT:    s_add_u32 s0, s0, s4
6218 ; VI-NEXT:    s_addc_u32 s1, s1, s5
6219 ; VI-NEXT:    v_mov_b32_e32 v5, s1
6220 ; VI-NEXT:    v_mov_b32_e32 v0, s2
6221 ; VI-NEXT:    v_mov_b32_e32 v1, s3
6222 ; VI-NEXT:    v_mov_b32_e32 v2, s6
6223 ; VI-NEXT:    v_mov_b32_e32 v3, s7
6224 ; VI-NEXT:    v_mov_b32_e32 v4, s0
6225 ; VI-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
6226 ; VI-NEXT:    s_waitcnt vmcnt(0)
6227 ; VI-NEXT:    buffer_wbinvl1_vol
6228 ; VI-NEXT:    s_endpgm
6229 ;
6230 ; GFX9-LABEL: atomic_cmpxchg_i64_addr64:
6231 ; GFX9:       ; %bb.0: ; %entry
6232 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
6233 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
6234 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6235 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[12:13], 3
6236 ; GFX9-NEXT:    s_add_u32 s0, s8, s0
6237 ; GFX9-NEXT:    v_mov_b32_e32 v0, s10
6238 ; GFX9-NEXT:    v_mov_b32_e32 v1, s11
6239 ; GFX9-NEXT:    v_mov_b32_e32 v2, s14
6240 ; GFX9-NEXT:    s_addc_u32 s1, s9, s1
6241 ; GFX9-NEXT:    v_mov_b32_e32 v3, s15
6242 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v4, v[0:3], s[0:1]
6243 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6244 ; GFX9-NEXT:    buffer_wbinvl1_vol
6245 ; GFX9-NEXT:    s_endpgm
6246 ;
6247 ; GFX12-LABEL: atomic_cmpxchg_i64_addr64:
6248 ; GFX12:       ; %bb.0: ; %entry
6249 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6250 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6251 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s3
6252 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v3, s7
6253 ; GFX12-NEXT:    v_mov_b32_e32 v2, s6
6254 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6255 ; GFX12-NEXT:    s_wait_alu 0xfffe
6256 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
6257 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v4, v[0:3], s[0:1] scope:SCOPE_DEV
6258 ; GFX12-NEXT:    s_wait_storecnt 0x0
6259 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6260 ; GFX12-NEXT:    s_endpgm
6261 entry:
6262   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
6263   %val = cmpxchg volatile ptr addrspace(1) %ptr, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
6264   ret void
6265 }
6266
6267 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_addr64(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in, i64 %index, i64 %old) {
6268 ; CI-LABEL: atomic_cmpxchg_i64_ret_addr64:
6269 ; CI:       ; %bb.0: ; %entry
6270 ; CI-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x9
6271 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x11
6272 ; CI-NEXT:    s_mov_b32 s3, 0xf000
6273 ; CI-NEXT:    s_mov_b32 s2, -1
6274 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6275 ; CI-NEXT:    s_lshl_b64 s[6:7], s[14:15], 3
6276 ; CI-NEXT:    v_mov_b32_e32 v4, s6
6277 ; CI-NEXT:    s_mov_b32 s0, s10
6278 ; CI-NEXT:    s_mov_b32 s1, s11
6279 ; CI-NEXT:    s_mov_b32 s10, 0
6280 ; CI-NEXT:    s_mov_b32 s11, s3
6281 ; CI-NEXT:    v_mov_b32_e32 v0, s12
6282 ; CI-NEXT:    v_mov_b32_e32 v1, s13
6283 ; CI-NEXT:    v_mov_b32_e32 v2, s4
6284 ; CI-NEXT:    v_mov_b32_e32 v3, s5
6285 ; CI-NEXT:    v_mov_b32_e32 v5, s7
6286 ; CI-NEXT:    buffer_atomic_cmpswap_x2 v[0:3], v[4:5], s[8:11], 0 addr64 glc
6287 ; CI-NEXT:    s_waitcnt vmcnt(0)
6288 ; CI-NEXT:    buffer_wbinvl1_vol
6289 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0
6290 ; CI-NEXT:    s_endpgm
6291 ;
6292 ; VI-LABEL: atomic_cmpxchg_i64_ret_addr64:
6293 ; VI:       ; %bb.0: ; %entry
6294 ; VI-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
6295 ; VI-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
6296 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6297 ; VI-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
6298 ; VI-NEXT:    s_add_u32 s2, s8, s2
6299 ; VI-NEXT:    s_addc_u32 s3, s9, s3
6300 ; VI-NEXT:    v_mov_b32_e32 v5, s3
6301 ; VI-NEXT:    v_mov_b32_e32 v0, s12
6302 ; VI-NEXT:    v_mov_b32_e32 v1, s13
6303 ; VI-NEXT:    v_mov_b32_e32 v2, s0
6304 ; VI-NEXT:    v_mov_b32_e32 v3, s1
6305 ; VI-NEXT:    v_mov_b32_e32 v4, s2
6306 ; VI-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
6307 ; VI-NEXT:    s_waitcnt vmcnt(0)
6308 ; VI-NEXT:    buffer_wbinvl1_vol
6309 ; VI-NEXT:    s_mov_b32 s3, 0xf000
6310 ; VI-NEXT:    s_mov_b32 s2, -1
6311 ; VI-NEXT:    s_mov_b32 s0, s10
6312 ; VI-NEXT:    s_mov_b32 s1, s11
6313 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0
6314 ; VI-NEXT:    s_endpgm
6315 ;
6316 ; GFX9-LABEL: atomic_cmpxchg_i64_ret_addr64:
6317 ; GFX9:       ; %bb.0: ; %entry
6318 ; GFX9-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
6319 ; GFX9-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
6320 ; GFX9-NEXT:    v_mov_b32_e32 v4, 0
6321 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6322 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
6323 ; GFX9-NEXT:    s_add_u32 s2, s8, s2
6324 ; GFX9-NEXT:    v_mov_b32_e32 v0, s12
6325 ; GFX9-NEXT:    v_mov_b32_e32 v1, s13
6326 ; GFX9-NEXT:    s_addc_u32 s3, s9, s3
6327 ; GFX9-NEXT:    v_mov_b32_e32 v2, s0
6328 ; GFX9-NEXT:    v_mov_b32_e32 v3, s1
6329 ; GFX9-NEXT:    global_atomic_cmpswap_x2 v[0:1], v4, v[0:3], s[2:3] glc
6330 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6331 ; GFX9-NEXT:    buffer_wbinvl1_vol
6332 ; GFX9-NEXT:    global_store_dwordx2 v4, v[0:1], s[10:11]
6333 ; GFX9-NEXT:    s_endpgm
6334 ;
6335 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_addr64:
6336 ; GFX12:       ; %bb.0: ; %entry
6337 ; GFX12-NEXT:    s_clause 0x1
6338 ; GFX12-NEXT:    s_load_b256 s[8:15], s[4:5], 0x24
6339 ; GFX12-NEXT:    s_load_b64 s[0:1], s[4:5], 0x44
6340 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6341 ; GFX12-NEXT:    v_dual_mov_b32 v4, 0 :: v_dual_mov_b32 v1, s13
6342 ; GFX12-NEXT:    v_dual_mov_b32 v0, s12 :: v_dual_mov_b32 v3, s1
6343 ; GFX12-NEXT:    v_mov_b32_e32 v2, s0
6344 ; GFX12-NEXT:    s_lshl_b64 s[0:1], s[14:15], 3
6345 ; GFX12-NEXT:    s_wait_alu 0xfffe
6346 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[8:9], s[0:1]
6347 ; GFX12-NEXT:    global_atomic_cmpswap_b64 v[0:1], v4, v[0:3], s[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6348 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6349 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6350 ; GFX12-NEXT:    global_store_b64 v4, v[0:1], s[10:11]
6351 ; GFX12-NEXT:    s_endpgm
6352 entry:
6353   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
6354   %val = cmpxchg volatile ptr addrspace(1) %ptr, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst
6355   %extract0 = extractvalue { i64, i1 } %val, 0
6356   store i64 %extract0, ptr addrspace(1) %out2
6357   ret void
6358 }
6359
6360 define amdgpu_kernel void @atomic_load_i64_offset(ptr addrspace(1) %in, ptr addrspace(1) %out) {
6361 ; CI-LABEL: atomic_load_i64_offset:
6362 ; CI:       ; %bb.0: ; %entry
6363 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6364 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6365 ; CI-NEXT:    s_mov_b32 s6, -1
6366 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6367 ; CI-NEXT:    s_mov_b32 s4, s2
6368 ; CI-NEXT:    s_mov_b32 s5, s3
6369 ; CI-NEXT:    s_mov_b32 s2, s6
6370 ; CI-NEXT:    s_mov_b32 s3, s7
6371 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], off, s[0:3], 0 offset:32 glc
6372 ; CI-NEXT:    s_waitcnt vmcnt(0)
6373 ; CI-NEXT:    buffer_wbinvl1_vol
6374 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6375 ; CI-NEXT:    s_endpgm
6376 ;
6377 ; VI-LABEL: atomic_load_i64_offset:
6378 ; VI:       ; %bb.0: ; %entry
6379 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6380 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6381 ; VI-NEXT:    s_mov_b32 s6, -1
6382 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6383 ; VI-NEXT:    s_add_u32 s0, s0, 32
6384 ; VI-NEXT:    s_addc_u32 s1, s1, 0
6385 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6386 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6387 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6388 ; VI-NEXT:    s_waitcnt vmcnt(0)
6389 ; VI-NEXT:    buffer_wbinvl1_vol
6390 ; VI-NEXT:    s_mov_b32 s4, s2
6391 ; VI-NEXT:    s_mov_b32 s5, s3
6392 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6393 ; VI-NEXT:    s_endpgm
6394 ;
6395 ; GFX9-LABEL: atomic_load_i64_offset:
6396 ; GFX9:       ; %bb.0: ; %entry
6397 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6398 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6399 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6400 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] offset:32 glc
6401 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6402 ; GFX9-NEXT:    buffer_wbinvl1_vol
6403 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6404 ; GFX9-NEXT:    s_endpgm
6405 ;
6406 ; GFX12-LABEL: atomic_load_i64_offset:
6407 ; GFX12:       ; %bb.0: ; %entry
6408 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6409 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6410 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6411 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] offset:32 scope:SCOPE_SYS
6412 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6413 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
6414 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6415 ; GFX12-NEXT:    s_endpgm
6416 entry:
6417   %gep = getelementptr i64, ptr addrspace(1) %in, i64 4
6418   %val = load atomic i64, ptr addrspace(1) %gep  seq_cst, align 8
6419   store i64 %val, ptr addrspace(1) %out
6420   ret void
6421 }
6422
6423 define amdgpu_kernel void @atomic_load_i64_neg_offset(ptr addrspace(1) %in, ptr addrspace(1) %out) {
6424 ; CI-LABEL: atomic_load_i64_neg_offset:
6425 ; CI:       ; %bb.0: ; %entry
6426 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6427 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6428 ; CI-NEXT:    v_not_b32_e32 v0, 31
6429 ; CI-NEXT:    v_mov_b32_e32 v1, -1
6430 ; CI-NEXT:    s_mov_b32 s6, -1
6431 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6432 ; CI-NEXT:    s_mov_b32 s4, s2
6433 ; CI-NEXT:    s_mov_b32 s5, s3
6434 ; CI-NEXT:    s_mov_b32 s2, 0
6435 ; CI-NEXT:    s_mov_b32 s3, s7
6436 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], v[0:1], s[0:3], 0 addr64 glc
6437 ; CI-NEXT:    s_waitcnt vmcnt(0)
6438 ; CI-NEXT:    buffer_wbinvl1_vol
6439 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6440 ; CI-NEXT:    s_endpgm
6441 ;
6442 ; VI-LABEL: atomic_load_i64_neg_offset:
6443 ; VI:       ; %bb.0: ; %entry
6444 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6445 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6446 ; VI-NEXT:    s_mov_b32 s6, -1
6447 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6448 ; VI-NEXT:    s_add_u32 s0, s0, 0xffffffe0
6449 ; VI-NEXT:    s_addc_u32 s1, s1, -1
6450 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6451 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6452 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6453 ; VI-NEXT:    s_waitcnt vmcnt(0)
6454 ; VI-NEXT:    buffer_wbinvl1_vol
6455 ; VI-NEXT:    s_mov_b32 s4, s2
6456 ; VI-NEXT:    s_mov_b32 s5, s3
6457 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6458 ; VI-NEXT:    s_endpgm
6459 ;
6460 ; GFX9-LABEL: atomic_load_i64_neg_offset:
6461 ; GFX9:       ; %bb.0: ; %entry
6462 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6463 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6464 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6465 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] offset:-32 glc
6466 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6467 ; GFX9-NEXT:    buffer_wbinvl1_vol
6468 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6469 ; GFX9-NEXT:    s_endpgm
6470 ;
6471 ; GFX12-LABEL: atomic_load_i64_neg_offset:
6472 ; GFX12:       ; %bb.0: ; %entry
6473 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6474 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6475 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6476 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] offset:-32 scope:SCOPE_SYS
6477 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6478 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
6479 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6480 ; GFX12-NEXT:    s_endpgm
6481 entry:
6482   %gep = getelementptr i64, ptr addrspace(1) %in, i64 -4
6483   %val = load atomic i64, ptr addrspace(1) %gep  seq_cst, align 8
6484   store i64 %val, ptr addrspace(1) %out
6485   ret void
6486 }
6487
6488 define amdgpu_kernel void @atomic_load_i64(ptr addrspace(1) %in, ptr addrspace(1) %out) {
6489 ; CI-LABEL: atomic_load_i64:
6490 ; CI:       ; %bb.0: ; %entry
6491 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6492 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6493 ; CI-NEXT:    s_mov_b32 s6, -1
6494 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6495 ; CI-NEXT:    s_mov_b32 s4, s0
6496 ; CI-NEXT:    s_mov_b32 s5, s1
6497 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], off, s[4:7], 0 glc
6498 ; CI-NEXT:    s_waitcnt vmcnt(0)
6499 ; CI-NEXT:    buffer_wbinvl1_vol
6500 ; CI-NEXT:    s_mov_b32 s4, s2
6501 ; CI-NEXT:    s_mov_b32 s5, s3
6502 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6503 ; CI-NEXT:    s_endpgm
6504 ;
6505 ; VI-LABEL: atomic_load_i64:
6506 ; VI:       ; %bb.0: ; %entry
6507 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6508 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6509 ; VI-NEXT:    s_mov_b32 s6, -1
6510 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6511 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6512 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6513 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6514 ; VI-NEXT:    s_waitcnt vmcnt(0)
6515 ; VI-NEXT:    buffer_wbinvl1_vol
6516 ; VI-NEXT:    s_mov_b32 s4, s2
6517 ; VI-NEXT:    s_mov_b32 s5, s3
6518 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6519 ; VI-NEXT:    s_endpgm
6520 ;
6521 ; GFX9-LABEL: atomic_load_i64:
6522 ; GFX9:       ; %bb.0: ; %entry
6523 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6524 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6525 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6526 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] glc
6527 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6528 ; GFX9-NEXT:    buffer_wbinvl1_vol
6529 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6530 ; GFX9-NEXT:    s_endpgm
6531 ;
6532 ; GFX12-LABEL: atomic_load_i64:
6533 ; GFX12:       ; %bb.0: ; %entry
6534 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6535 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6536 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6537 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] scope:SCOPE_DEV
6538 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6539 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6540 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6541 ; GFX12-NEXT:    s_endpgm
6542 entry:
6543   %val = load atomic i64, ptr addrspace(1) %in syncscope("agent") seq_cst, align 8
6544   store i64 %val, ptr addrspace(1) %out
6545   ret void
6546 }
6547
6548 define amdgpu_kernel void @atomic_load_i64_addr64_offset(ptr addrspace(1) %in, ptr addrspace(1) %out, i64 %index) {
6549 ; CI-LABEL: atomic_load_i64_addr64_offset:
6550 ; CI:       ; %bb.0: ; %entry
6551 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6552 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
6553 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6554 ; CI-NEXT:    s_mov_b32 s6, -1
6555 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6556 ; CI-NEXT:    s_mov_b32 s4, s2
6557 ; CI-NEXT:    s_lshl_b64 s[8:9], s[8:9], 3
6558 ; CI-NEXT:    v_mov_b32_e32 v0, s8
6559 ; CI-NEXT:    s_mov_b32 s5, s3
6560 ; CI-NEXT:    s_mov_b32 s2, 0
6561 ; CI-NEXT:    s_mov_b32 s3, s7
6562 ; CI-NEXT:    v_mov_b32_e32 v1, s9
6563 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], v[0:1], s[0:3], 0 addr64 offset:32 glc
6564 ; CI-NEXT:    s_waitcnt vmcnt(0)
6565 ; CI-NEXT:    buffer_wbinvl1_vol
6566 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6567 ; CI-NEXT:    s_endpgm
6568 ;
6569 ; VI-LABEL: atomic_load_i64_addr64_offset:
6570 ; VI:       ; %bb.0: ; %entry
6571 ; VI-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6572 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6573 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6574 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6575 ; VI-NEXT:    s_add_u32 s0, s0, s4
6576 ; VI-NEXT:    s_addc_u32 s1, s1, s5
6577 ; VI-NEXT:    s_add_u32 s0, s0, 32
6578 ; VI-NEXT:    s_addc_u32 s1, s1, 0
6579 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6580 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6581 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6582 ; VI-NEXT:    s_waitcnt vmcnt(0)
6583 ; VI-NEXT:    buffer_wbinvl1_vol
6584 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6585 ; VI-NEXT:    s_mov_b32 s6, -1
6586 ; VI-NEXT:    s_mov_b32 s4, s2
6587 ; VI-NEXT:    s_mov_b32 s5, s3
6588 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6589 ; VI-NEXT:    s_endpgm
6590 ;
6591 ; GFX9-LABEL: atomic_load_i64_addr64_offset:
6592 ; GFX9:       ; %bb.0: ; %entry
6593 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6594 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6595 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6596 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6597 ; GFX9-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6598 ; GFX9-NEXT:    s_add_u32 s0, s0, s4
6599 ; GFX9-NEXT:    s_addc_u32 s1, s1, s5
6600 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] offset:32 glc
6601 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6602 ; GFX9-NEXT:    buffer_wbinvl1_vol
6603 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6604 ; GFX9-NEXT:    s_endpgm
6605 ;
6606 ; GFX12-LABEL: atomic_load_i64_addr64_offset:
6607 ; GFX12:       ; %bb.0: ; %entry
6608 ; GFX12-NEXT:    s_clause 0x1
6609 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6610 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6611 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6612 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6613 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6614 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6615 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6616 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] offset:32 scope:SCOPE_SYS
6617 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6618 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
6619 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6620 ; GFX12-NEXT:    s_endpgm
6621 entry:
6622   %ptr = getelementptr i64, ptr addrspace(1) %in, i64 %index
6623   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
6624   %val = load atomic i64, ptr addrspace(1) %gep seq_cst, align 8
6625   store i64 %val, ptr addrspace(1) %out
6626   ret void
6627 }
6628
6629 define amdgpu_kernel void @atomic_load_i64_addr64(ptr addrspace(1) %in, ptr addrspace(1) %out, i64 %index) {
6630 ; CI-LABEL: atomic_load_i64_addr64:
6631 ; CI:       ; %bb.0: ; %entry
6632 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6633 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
6634 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6635 ; CI-NEXT:    s_mov_b32 s6, -1
6636 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6637 ; CI-NEXT:    s_mov_b32 s4, s2
6638 ; CI-NEXT:    s_lshl_b64 s[8:9], s[8:9], 3
6639 ; CI-NEXT:    v_mov_b32_e32 v0, s8
6640 ; CI-NEXT:    s_mov_b32 s5, s3
6641 ; CI-NEXT:    s_mov_b32 s2, 0
6642 ; CI-NEXT:    s_mov_b32 s3, s7
6643 ; CI-NEXT:    v_mov_b32_e32 v1, s9
6644 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], v[0:1], s[0:3], 0 addr64 glc
6645 ; CI-NEXT:    s_waitcnt vmcnt(0)
6646 ; CI-NEXT:    buffer_wbinvl1_vol
6647 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6648 ; CI-NEXT:    s_endpgm
6649 ;
6650 ; VI-LABEL: atomic_load_i64_addr64:
6651 ; VI:       ; %bb.0: ; %entry
6652 ; VI-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6653 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6654 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6655 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6656 ; VI-NEXT:    s_add_u32 s0, s0, s4
6657 ; VI-NEXT:    s_addc_u32 s1, s1, s5
6658 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6659 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6660 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6661 ; VI-NEXT:    s_waitcnt vmcnt(0)
6662 ; VI-NEXT:    buffer_wbinvl1_vol
6663 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6664 ; VI-NEXT:    s_mov_b32 s6, -1
6665 ; VI-NEXT:    s_mov_b32 s4, s2
6666 ; VI-NEXT:    s_mov_b32 s5, s3
6667 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6668 ; VI-NEXT:    s_endpgm
6669 ;
6670 ; GFX9-LABEL: atomic_load_i64_addr64:
6671 ; GFX9:       ; %bb.0: ; %entry
6672 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6673 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6674 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6675 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6676 ; GFX9-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6677 ; GFX9-NEXT:    s_add_u32 s0, s0, s4
6678 ; GFX9-NEXT:    s_addc_u32 s1, s1, s5
6679 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] glc
6680 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6681 ; GFX9-NEXT:    buffer_wbinvl1_vol
6682 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6683 ; GFX9-NEXT:    s_endpgm
6684 ;
6685 ; GFX12-LABEL: atomic_load_i64_addr64:
6686 ; GFX12:       ; %bb.0: ; %entry
6687 ; GFX12-NEXT:    s_clause 0x1
6688 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6689 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6690 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6691 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6692 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6693 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6694 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6695 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] scope:SCOPE_SYS
6696 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6697 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
6698 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6699 ; GFX12-NEXT:    s_endpgm
6700 entry:
6701   %ptr = getelementptr i64, ptr addrspace(1) %in, i64 %index
6702   %val = load atomic i64, ptr addrspace(1) %ptr seq_cst, align 8
6703   store i64 %val, ptr addrspace(1) %out
6704   ret void
6705 }
6706
6707 define amdgpu_kernel void @atomic_load_f64_addr64_offset(ptr addrspace(1) %in, ptr addrspace(1) %out, i64 %index) {
6708 ; CI-LABEL: atomic_load_f64_addr64_offset:
6709 ; CI:       ; %bb.0: ; %entry
6710 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6711 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
6712 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6713 ; CI-NEXT:    s_mov_b32 s6, -1
6714 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6715 ; CI-NEXT:    s_mov_b32 s4, s2
6716 ; CI-NEXT:    s_lshl_b64 s[8:9], s[8:9], 3
6717 ; CI-NEXT:    v_mov_b32_e32 v0, s8
6718 ; CI-NEXT:    s_mov_b32 s5, s3
6719 ; CI-NEXT:    s_mov_b32 s2, 0
6720 ; CI-NEXT:    s_mov_b32 s3, s7
6721 ; CI-NEXT:    v_mov_b32_e32 v1, s9
6722 ; CI-NEXT:    buffer_load_dwordx2 v[0:1], v[0:1], s[0:3], 0 addr64 offset:32 glc
6723 ; CI-NEXT:    s_waitcnt vmcnt(0)
6724 ; CI-NEXT:    buffer_wbinvl1_vol
6725 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6726 ; CI-NEXT:    s_endpgm
6727 ;
6728 ; VI-LABEL: atomic_load_f64_addr64_offset:
6729 ; VI:       ; %bb.0: ; %entry
6730 ; VI-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6731 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6732 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6733 ; VI-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6734 ; VI-NEXT:    s_add_u32 s0, s0, s4
6735 ; VI-NEXT:    s_addc_u32 s1, s1, s5
6736 ; VI-NEXT:    s_add_u32 s0, s0, 32
6737 ; VI-NEXT:    s_addc_u32 s1, s1, 0
6738 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6739 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6740 ; VI-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
6741 ; VI-NEXT:    s_waitcnt vmcnt(0)
6742 ; VI-NEXT:    buffer_wbinvl1_vol
6743 ; VI-NEXT:    s_mov_b32 s7, 0xf000
6744 ; VI-NEXT:    s_mov_b32 s6, -1
6745 ; VI-NEXT:    s_mov_b32 s4, s2
6746 ; VI-NEXT:    s_mov_b32 s5, s3
6747 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6748 ; VI-NEXT:    s_endpgm
6749 ;
6750 ; GFX9-LABEL: atomic_load_f64_addr64_offset:
6751 ; GFX9:       ; %bb.0: ; %entry
6752 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6753 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6754 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6755 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6756 ; GFX9-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6757 ; GFX9-NEXT:    s_add_u32 s0, s0, s4
6758 ; GFX9-NEXT:    s_addc_u32 s1, s1, s5
6759 ; GFX9-NEXT:    global_load_dwordx2 v[0:1], v2, s[0:1] offset:32 glc
6760 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
6761 ; GFX9-NEXT:    buffer_wbinvl1_vol
6762 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6763 ; GFX9-NEXT:    s_endpgm
6764 ;
6765 ; GFX12-LABEL: atomic_load_f64_addr64_offset:
6766 ; GFX12:       ; %bb.0: ; %entry
6767 ; GFX12-NEXT:    s_clause 0x1
6768 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6769 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6770 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6771 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6772 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6773 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6774 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6775 ; GFX12-NEXT:    global_load_b64 v[0:1], v2, s[0:1] offset:32 scope:SCOPE_SYS
6776 ; GFX12-NEXT:    s_wait_loadcnt 0x0
6777 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
6778 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
6779 ; GFX12-NEXT:    s_endpgm
6780 entry:
6781   %ptr = getelementptr double, ptr addrspace(1) %in, i64 %index
6782   %gep = getelementptr double, ptr addrspace(1) %ptr, i64 4
6783   %val = load atomic double, ptr addrspace(1) %gep seq_cst, align 8
6784   store double %val, ptr addrspace(1) %out
6785   ret void
6786 }
6787
6788 define amdgpu_kernel void @atomic_store_i64_offset(i64 %in, ptr addrspace(1) %out) {
6789 ; CI-LABEL: atomic_store_i64_offset:
6790 ; CI:       ; %bb.0: ; %entry
6791 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6792 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6793 ; CI-NEXT:    s_mov_b32 s6, -1
6794 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6795 ; CI-NEXT:    v_mov_b32_e32 v0, s0
6796 ; CI-NEXT:    v_mov_b32_e32 v1, s1
6797 ; CI-NEXT:    s_mov_b32 s4, s2
6798 ; CI-NEXT:    s_mov_b32 s5, s3
6799 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0 offset:32
6800 ; CI-NEXT:    s_endpgm
6801 ;
6802 ; VI-LABEL: atomic_store_i64_offset:
6803 ; VI:       ; %bb.0: ; %entry
6804 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6805 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6806 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6807 ; VI-NEXT:    s_add_u32 s0, s2, 32
6808 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6809 ; VI-NEXT:    s_addc_u32 s1, s3, 0
6810 ; VI-NEXT:    v_mov_b32_e32 v3, s1
6811 ; VI-NEXT:    v_mov_b32_e32 v2, s0
6812 ; VI-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6813 ; VI-NEXT:    s_endpgm
6814 ;
6815 ; GFX9-LABEL: atomic_store_i64_offset:
6816 ; GFX9:       ; %bb.0: ; %entry
6817 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6818 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6819 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6820 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0
6821 ; GFX9-NEXT:    v_mov_b32_e32 v1, s1
6822 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3] offset:32
6823 ; GFX9-NEXT:    s_endpgm
6824 ;
6825 ; GFX12-LABEL: atomic_store_i64_offset:
6826 ; GFX12:       ; %bb.0: ; %entry
6827 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6828 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6829 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6830 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6831 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
6832 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3] offset:32 scope:SCOPE_SYS
6833 ; GFX12-NEXT:    s_endpgm
6834 entry:
6835   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
6836   store atomic i64 %in, ptr addrspace(1) %gep  seq_cst, align 8
6837   ret void
6838 }
6839
6840 define amdgpu_kernel void @atomic_store_i64(i64 %in, ptr addrspace(1) %out) {
6841 ; CI-LABEL: atomic_store_i64:
6842 ; CI:       ; %bb.0: ; %entry
6843 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6844 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6845 ; CI-NEXT:    s_mov_b32 s6, -1
6846 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6847 ; CI-NEXT:    v_mov_b32_e32 v0, s0
6848 ; CI-NEXT:    v_mov_b32_e32 v1, s1
6849 ; CI-NEXT:    s_mov_b32 s4, s2
6850 ; CI-NEXT:    s_mov_b32 s5, s3
6851 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
6852 ; CI-NEXT:    s_endpgm
6853 ;
6854 ; VI-LABEL: atomic_store_i64:
6855 ; VI:       ; %bb.0: ; %entry
6856 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6857 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6858 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6859 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6860 ; VI-NEXT:    v_mov_b32_e32 v2, s2
6861 ; VI-NEXT:    v_mov_b32_e32 v3, s3
6862 ; VI-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6863 ; VI-NEXT:    s_endpgm
6864 ;
6865 ; GFX9-LABEL: atomic_store_i64:
6866 ; GFX9:       ; %bb.0: ; %entry
6867 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6868 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6869 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6870 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0
6871 ; GFX9-NEXT:    v_mov_b32_e32 v1, s1
6872 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
6873 ; GFX9-NEXT:    s_endpgm
6874 ;
6875 ; GFX12-LABEL: atomic_store_i64:
6876 ; GFX12:       ; %bb.0: ; %entry
6877 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6878 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6879 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6880 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6881 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
6882 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3] scope:SCOPE_SYS
6883 ; GFX12-NEXT:    s_endpgm
6884 entry:
6885   store atomic i64 %in, ptr addrspace(1) %out seq_cst, align 8
6886   ret void
6887 }
6888
6889 define amdgpu_kernel void @atomic_store_i64_addr64_offset(i64 %in, ptr addrspace(1) %out, i64 %index) {
6890 ; CI-LABEL: atomic_store_i64_addr64_offset:
6891 ; CI:       ; %bb.0: ; %entry
6892 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6893 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6894 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6895 ; CI-NEXT:    s_mov_b32 s6, 0
6896 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6897 ; CI-NEXT:    v_mov_b32_e32 v0, s0
6898 ; CI-NEXT:    v_mov_b32_e32 v1, s1
6899 ; CI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
6900 ; CI-NEXT:    v_mov_b32_e32 v3, s1
6901 ; CI-NEXT:    s_mov_b64 s[4:5], s[2:3]
6902 ; CI-NEXT:    v_mov_b32_e32 v2, s0
6903 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], v[2:3], s[4:7], 0 addr64 offset:32
6904 ; CI-NEXT:    s_endpgm
6905 ;
6906 ; VI-LABEL: atomic_store_i64_addr64_offset:
6907 ; VI:       ; %bb.0: ; %entry
6908 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6909 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6910 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6911 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6912 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6913 ; VI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
6914 ; VI-NEXT:    s_add_u32 s0, s2, s0
6915 ; VI-NEXT:    s_addc_u32 s1, s3, s1
6916 ; VI-NEXT:    s_add_u32 s0, s0, 32
6917 ; VI-NEXT:    s_addc_u32 s1, s1, 0
6918 ; VI-NEXT:    v_mov_b32_e32 v3, s1
6919 ; VI-NEXT:    v_mov_b32_e32 v2, s0
6920 ; VI-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6921 ; VI-NEXT:    s_endpgm
6922 ;
6923 ; GFX9-LABEL: atomic_store_i64_addr64_offset:
6924 ; GFX9:       ; %bb.0: ; %entry
6925 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6926 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6927 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6928 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6929 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0
6930 ; GFX9-NEXT:    v_mov_b32_e32 v1, s1
6931 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[6:7], 3
6932 ; GFX9-NEXT:    s_add_u32 s0, s2, s0
6933 ; GFX9-NEXT:    s_addc_u32 s1, s3, s1
6934 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[0:1] offset:32
6935 ; GFX9-NEXT:    s_endpgm
6936 ;
6937 ; GFX12-LABEL: atomic_store_i64_addr64_offset:
6938 ; GFX12:       ; %bb.0: ; %entry
6939 ; GFX12-NEXT:    s_clause 0x1
6940 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6941 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
6942 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
6943 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6944 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6945 ; GFX12-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
6946 ; GFX12-NEXT:    s_wait_alu 0xfffe
6947 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[2:3], s[0:1]
6948 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
6949 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SYS
6950 ; GFX12-NEXT:    s_endpgm
6951 entry:
6952   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
6953   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
6954   store atomic i64 %in, ptr addrspace(1) %gep seq_cst, align 8
6955   ret void
6956 }
6957
6958 define amdgpu_kernel void @atomic_store_i64_addr64(i64 %in, ptr addrspace(1) %out, i64 %index) {
6959 ; CI-LABEL: atomic_store_i64_addr64:
6960 ; CI:       ; %bb.0: ; %entry
6961 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6962 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
6963 ; CI-NEXT:    s_mov_b32 s7, 0xf000
6964 ; CI-NEXT:    s_mov_b32 s6, 0
6965 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
6966 ; CI-NEXT:    v_mov_b32_e32 v0, s0
6967 ; CI-NEXT:    v_mov_b32_e32 v1, s1
6968 ; CI-NEXT:    s_lshl_b64 s[0:1], s[8:9], 3
6969 ; CI-NEXT:    v_mov_b32_e32 v3, s1
6970 ; CI-NEXT:    s_mov_b64 s[4:5], s[2:3]
6971 ; CI-NEXT:    v_mov_b32_e32 v2, s0
6972 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], v[2:3], s[4:7], 0 addr64
6973 ; CI-NEXT:    s_endpgm
6974 ;
6975 ; VI-LABEL: atomic_store_i64_addr64:
6976 ; VI:       ; %bb.0: ; %entry
6977 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6978 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6979 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
6980 ; VI-NEXT:    v_mov_b32_e32 v0, s0
6981 ; VI-NEXT:    v_mov_b32_e32 v1, s1
6982 ; VI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
6983 ; VI-NEXT:    s_add_u32 s0, s2, s0
6984 ; VI-NEXT:    s_addc_u32 s1, s3, s1
6985 ; VI-NEXT:    v_mov_b32_e32 v3, s1
6986 ; VI-NEXT:    v_mov_b32_e32 v2, s0
6987 ; VI-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6988 ; VI-NEXT:    s_endpgm
6989 ;
6990 ; GFX9-LABEL: atomic_store_i64_addr64:
6991 ; GFX9:       ; %bb.0: ; %entry
6992 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6993 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6994 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
6995 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
6996 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0
6997 ; GFX9-NEXT:    v_mov_b32_e32 v1, s1
6998 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[6:7], 3
6999 ; GFX9-NEXT:    s_add_u32 s0, s2, s0
7000 ; GFX9-NEXT:    s_addc_u32 s1, s3, s1
7001 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[0:1]
7002 ; GFX9-NEXT:    s_endpgm
7003 ;
7004 ; GFX12-LABEL: atomic_store_i64_addr64:
7005 ; GFX12:       ; %bb.0: ; %entry
7006 ; GFX12-NEXT:    s_clause 0x1
7007 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7008 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
7009 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
7010 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7011 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7012 ; GFX12-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
7013 ; GFX12-NEXT:    s_wait_alu 0xfffe
7014 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[2:3], s[0:1]
7015 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
7016 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[0:1] scope:SCOPE_SYS
7017 ; GFX12-NEXT:    s_endpgm
7018 entry:
7019   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
7020   store atomic i64 %in, ptr addrspace(1) %ptr seq_cst, align 8
7021   ret void
7022 }
7023
7024 define amdgpu_kernel void @atomic_store_f64_addr64_offset(double %in, ptr addrspace(1) %out, i64 %index) {
7025 ; CI-LABEL: atomic_store_f64_addr64_offset:
7026 ; CI:       ; %bb.0: ; %entry
7027 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7028 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
7029 ; CI-NEXT:    s_mov_b32 s7, 0xf000
7030 ; CI-NEXT:    s_mov_b32 s6, 0
7031 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7032 ; CI-NEXT:    v_mov_b32_e32 v0, s0
7033 ; CI-NEXT:    v_mov_b32_e32 v1, s1
7034 ; CI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
7035 ; CI-NEXT:    v_mov_b32_e32 v3, s1
7036 ; CI-NEXT:    s_mov_b64 s[4:5], s[2:3]
7037 ; CI-NEXT:    v_mov_b32_e32 v2, s0
7038 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], v[2:3], s[4:7], 0 addr64 offset:32
7039 ; CI-NEXT:    s_endpgm
7040 ;
7041 ; VI-LABEL: atomic_store_f64_addr64_offset:
7042 ; VI:       ; %bb.0: ; %entry
7043 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7044 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
7045 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7046 ; VI-NEXT:    v_mov_b32_e32 v0, s0
7047 ; VI-NEXT:    v_mov_b32_e32 v1, s1
7048 ; VI-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
7049 ; VI-NEXT:    s_add_u32 s0, s2, s0
7050 ; VI-NEXT:    s_addc_u32 s1, s3, s1
7051 ; VI-NEXT:    s_add_u32 s0, s0, 32
7052 ; VI-NEXT:    s_addc_u32 s1, s1, 0
7053 ; VI-NEXT:    v_mov_b32_e32 v3, s1
7054 ; VI-NEXT:    v_mov_b32_e32 v2, s0
7055 ; VI-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
7056 ; VI-NEXT:    s_endpgm
7057 ;
7058 ; GFX9-LABEL: atomic_store_f64_addr64_offset:
7059 ; GFX9:       ; %bb.0: ; %entry
7060 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7061 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
7062 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7063 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7064 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0
7065 ; GFX9-NEXT:    v_mov_b32_e32 v1, s1
7066 ; GFX9-NEXT:    s_lshl_b64 s[0:1], s[6:7], 3
7067 ; GFX9-NEXT:    s_add_u32 s0, s2, s0
7068 ; GFX9-NEXT:    s_addc_u32 s1, s3, s1
7069 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[0:1] offset:32
7070 ; GFX9-NEXT:    s_endpgm
7071 ;
7072 ; GFX12-LABEL: atomic_store_f64_addr64_offset:
7073 ; GFX12:       ; %bb.0: ; %entry
7074 ; GFX12-NEXT:    s_clause 0x1
7075 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7076 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
7077 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
7078 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7079 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
7080 ; GFX12-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
7081 ; GFX12-NEXT:    s_wait_alu 0xfffe
7082 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[2:3], s[0:1]
7083 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
7084 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_SYS
7085 ; GFX12-NEXT:    s_endpgm
7086 entry:
7087   %ptr = getelementptr double, ptr addrspace(1) %out, i64 %index
7088   %gep = getelementptr double, ptr addrspace(1) %ptr, i64 4
7089   store atomic double %in, ptr addrspace(1) %gep seq_cst, align 8
7090   ret void
7091 }
7092
7093 define amdgpu_kernel void @atomic_inc_i64_offset(ptr addrspace(1) %out, i64 %in) {
7094 ; CI-LABEL: atomic_inc_i64_offset:
7095 ; CI:       ; %bb.0: ; %entry
7096 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7097 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7098 ; CI-NEXT:    v_mov_b32_e32 v0, s2
7099 ; CI-NEXT:    v_mov_b32_e32 v1, s3
7100 ; CI-NEXT:    s_mov_b32 s3, 0xf000
7101 ; CI-NEXT:    s_mov_b32 s2, -1
7102 ; CI-NEXT:    buffer_atomic_inc_x2 v[0:1], off, s[0:3], 0 offset:32
7103 ; CI-NEXT:    s_waitcnt vmcnt(0)
7104 ; CI-NEXT:    buffer_wbinvl1_vol
7105 ; CI-NEXT:    s_endpgm
7106 ;
7107 ; VI-LABEL: atomic_inc_i64_offset:
7108 ; VI:       ; %bb.0: ; %entry
7109 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7110 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7111 ; VI-NEXT:    v_mov_b32_e32 v0, s2
7112 ; VI-NEXT:    v_mov_b32_e32 v1, s3
7113 ; VI-NEXT:    s_mov_b32 s3, 0xf000
7114 ; VI-NEXT:    s_mov_b32 s2, -1
7115 ; VI-NEXT:    buffer_atomic_inc_x2 v[0:1], off, s[0:3], 0 offset:32
7116 ; VI-NEXT:    s_waitcnt vmcnt(0)
7117 ; VI-NEXT:    buffer_wbinvl1_vol
7118 ; VI-NEXT:    s_endpgm
7119 ;
7120 ; GFX9-LABEL: atomic_inc_i64_offset:
7121 ; GFX9:       ; %bb.0: ; %entry
7122 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7123 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7124 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7125 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
7126 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
7127 ; GFX9-NEXT:    global_atomic_inc_x2 v2, v[0:1], s[0:1] offset:32
7128 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7129 ; GFX9-NEXT:    buffer_wbinvl1_vol
7130 ; GFX9-NEXT:    s_endpgm
7131 ;
7132 ; GFX12-LABEL: atomic_inc_i64_offset:
7133 ; GFX12:       ; %bb.0: ; %entry
7134 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7135 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7136 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
7137 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
7138 ; GFX12-NEXT:    global_atomic_inc_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
7139 ; GFX12-NEXT:    s_wait_storecnt 0x0
7140 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7141 ; GFX12-NEXT:    s_endpgm
7142 entry:
7143   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
7144   %tmp0 = atomicrmw volatile uinc_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7145   ret void
7146 }
7147
7148 define amdgpu_kernel void @atomic_inc_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
7149 ; CI-LABEL: atomic_inc_i64_ret_offset:
7150 ; CI:       ; %bb.0: ; %entry
7151 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7152 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
7153 ; CI-NEXT:    s_mov_b32 s7, 0xf000
7154 ; CI-NEXT:    s_mov_b32 s6, -1
7155 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7156 ; CI-NEXT:    s_mov_b32 s4, s2
7157 ; CI-NEXT:    s_mov_b32 s5, s3
7158 ; CI-NEXT:    v_mov_b32_e32 v0, s8
7159 ; CI-NEXT:    v_mov_b32_e32 v1, s9
7160 ; CI-NEXT:    s_mov_b32 s2, s6
7161 ; CI-NEXT:    s_mov_b32 s3, s7
7162 ; CI-NEXT:    buffer_atomic_inc_x2 v[0:1], off, s[0:3], 0 offset:32 glc
7163 ; CI-NEXT:    s_waitcnt vmcnt(0)
7164 ; CI-NEXT:    buffer_wbinvl1_vol
7165 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
7166 ; CI-NEXT:    s_endpgm
7167 ;
7168 ; VI-LABEL: atomic_inc_i64_ret_offset:
7169 ; VI:       ; %bb.0: ; %entry
7170 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7171 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
7172 ; VI-NEXT:    s_mov_b32 s7, 0xf000
7173 ; VI-NEXT:    s_mov_b32 s6, -1
7174 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7175 ; VI-NEXT:    s_mov_b32 s4, s2
7176 ; VI-NEXT:    s_mov_b32 s5, s3
7177 ; VI-NEXT:    v_mov_b32_e32 v0, s8
7178 ; VI-NEXT:    v_mov_b32_e32 v1, s9
7179 ; VI-NEXT:    s_mov_b32 s2, s6
7180 ; VI-NEXT:    s_mov_b32 s3, s7
7181 ; VI-NEXT:    buffer_atomic_inc_x2 v[0:1], off, s[0:3], 0 offset:32 glc
7182 ; VI-NEXT:    s_waitcnt vmcnt(0)
7183 ; VI-NEXT:    buffer_wbinvl1_vol
7184 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
7185 ; VI-NEXT:    s_endpgm
7186 ;
7187 ; GFX9-LABEL: atomic_inc_i64_ret_offset:
7188 ; GFX9:       ; %bb.0: ; %entry
7189 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
7190 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7191 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7192 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7193 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
7194 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
7195 ; GFX9-NEXT:    global_atomic_inc_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
7196 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7197 ; GFX9-NEXT:    buffer_wbinvl1_vol
7198 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
7199 ; GFX9-NEXT:    s_endpgm
7200 ;
7201 ; GFX12-LABEL: atomic_inc_i64_ret_offset:
7202 ; GFX12:       ; %bb.0: ; %entry
7203 ; GFX12-NEXT:    s_clause 0x1
7204 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
7205 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7206 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7207 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
7208 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
7209 ; GFX12-NEXT:    global_atomic_inc_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
7210 ; GFX12-NEXT:    s_wait_loadcnt 0x0
7211 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7212 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
7213 ; GFX12-NEXT:    s_endpgm
7214 entry:
7215   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
7216   %tmp0 = atomicrmw volatile uinc_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7217   store i64 %tmp0, ptr addrspace(1) %out2
7218   ret void
7219 }
7220
7221 define amdgpu_kernel void @atomic_inc_i64_incr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
7222 ; CI-LABEL: atomic_inc_i64_incr64_offset:
7223 ; CI:       ; %bb.0: ; %entry
7224 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7225 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
7226 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7227 ; CI-NEXT:    v_mov_b32_e32 v0, s2
7228 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
7229 ; CI-NEXT:    v_mov_b32_e32 v2, s4
7230 ; CI-NEXT:    v_mov_b32_e32 v1, s3
7231 ; CI-NEXT:    s_mov_b32 s3, 0xf000
7232 ; CI-NEXT:    s_mov_b32 s2, 0
7233 ; CI-NEXT:    v_mov_b32_e32 v3, s5
7234 ; CI-NEXT:    buffer_atomic_inc_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
7235 ; CI-NEXT:    s_waitcnt vmcnt(0)
7236 ; CI-NEXT:    buffer_wbinvl1_vol
7237 ; CI-NEXT:    s_endpgm
7238 ;
7239 ; VI-LABEL: atomic_inc_i64_incr64_offset:
7240 ; VI:       ; %bb.0: ; %entry
7241 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7242 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
7243 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7244 ; VI-NEXT:    v_mov_b32_e32 v0, s2
7245 ; VI-NEXT:    v_mov_b32_e32 v1, s3
7246 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
7247 ; VI-NEXT:    s_add_u32 s0, s0, s2
7248 ; VI-NEXT:    s_addc_u32 s1, s1, s3
7249 ; VI-NEXT:    s_add_u32 s0, s0, 32
7250 ; VI-NEXT:    s_addc_u32 s1, s1, 0
7251 ; VI-NEXT:    v_mov_b32_e32 v3, s1
7252 ; VI-NEXT:    v_mov_b32_e32 v2, s0
7253 ; VI-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
7254 ; VI-NEXT:    s_waitcnt vmcnt(0)
7255 ; VI-NEXT:    buffer_wbinvl1_vol
7256 ; VI-NEXT:    s_endpgm
7257 ;
7258 ; GFX9-LABEL: atomic_inc_i64_incr64_offset:
7259 ; GFX9:       ; %bb.0: ; %entry
7260 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7261 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
7262 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7263 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7264 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
7265 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
7266 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
7267 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
7268 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
7269 ; GFX9-NEXT:    global_atomic_inc_x2 v2, v[0:1], s[0:1] offset:32
7270 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7271 ; GFX9-NEXT:    buffer_wbinvl1_vol
7272 ; GFX9-NEXT:    s_endpgm
7273 ;
7274 ; GFX12-LABEL: atomic_inc_i64_incr64_offset:
7275 ; GFX12:       ; %bb.0: ; %entry
7276 ; GFX12-NEXT:    s_clause 0x1
7277 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7278 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
7279 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
7280 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7281 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7282 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
7283 ; GFX12-NEXT:    s_wait_alu 0xfffe
7284 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
7285 ; GFX12-NEXT:    global_atomic_inc_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
7286 ; GFX12-NEXT:    s_wait_storecnt 0x0
7287 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7288 ; GFX12-NEXT:    s_endpgm
7289 entry:
7290   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
7291   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
7292   %tmp0 = atomicrmw volatile uinc_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7293   ret void
7294 }
7295
7296 define amdgpu_kernel void @atomic_dec_i64_offset(ptr addrspace(1) %out, i64 %in) {
7297 ; CI-LABEL: atomic_dec_i64_offset:
7298 ; CI:       ; %bb.0: ; %entry
7299 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7300 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7301 ; CI-NEXT:    v_mov_b32_e32 v0, s2
7302 ; CI-NEXT:    v_mov_b32_e32 v1, s3
7303 ; CI-NEXT:    s_mov_b32 s3, 0xf000
7304 ; CI-NEXT:    s_mov_b32 s2, -1
7305 ; CI-NEXT:    buffer_atomic_dec_x2 v[0:1], off, s[0:3], 0 offset:32
7306 ; CI-NEXT:    s_waitcnt vmcnt(0)
7307 ; CI-NEXT:    buffer_wbinvl1_vol
7308 ; CI-NEXT:    s_endpgm
7309 ;
7310 ; VI-LABEL: atomic_dec_i64_offset:
7311 ; VI:       ; %bb.0: ; %entry
7312 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7313 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7314 ; VI-NEXT:    v_mov_b32_e32 v0, s2
7315 ; VI-NEXT:    v_mov_b32_e32 v1, s3
7316 ; VI-NEXT:    s_mov_b32 s3, 0xf000
7317 ; VI-NEXT:    s_mov_b32 s2, -1
7318 ; VI-NEXT:    buffer_atomic_dec_x2 v[0:1], off, s[0:3], 0 offset:32
7319 ; VI-NEXT:    s_waitcnt vmcnt(0)
7320 ; VI-NEXT:    buffer_wbinvl1_vol
7321 ; VI-NEXT:    s_endpgm
7322 ;
7323 ; GFX9-LABEL: atomic_dec_i64_offset:
7324 ; GFX9:       ; %bb.0: ; %entry
7325 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7326 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7327 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7328 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
7329 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
7330 ; GFX9-NEXT:    global_atomic_dec_x2 v2, v[0:1], s[0:1] offset:32
7331 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7332 ; GFX9-NEXT:    buffer_wbinvl1_vol
7333 ; GFX9-NEXT:    s_endpgm
7334 ;
7335 ; GFX12-LABEL: atomic_dec_i64_offset:
7336 ; GFX12:       ; %bb.0: ; %entry
7337 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7338 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7339 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s3
7340 ; GFX12-NEXT:    v_mov_b32_e32 v0, s2
7341 ; GFX12-NEXT:    global_atomic_dec_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
7342 ; GFX12-NEXT:    s_wait_storecnt 0x0
7343 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7344 ; GFX12-NEXT:    s_endpgm
7345 entry:
7346   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
7347   %tmp0 = atomicrmw volatile udec_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7348   ret void
7349 }
7350
7351 define amdgpu_kernel void @atomic_dec_i64_ret_offset(ptr addrspace(1) %out, ptr addrspace(1) %out2, i64 %in) {
7352 ; CI-LABEL: atomic_dec_i64_ret_offset:
7353 ; CI:       ; %bb.0: ; %entry
7354 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7355 ; CI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0xd
7356 ; CI-NEXT:    s_mov_b32 s7, 0xf000
7357 ; CI-NEXT:    s_mov_b32 s6, -1
7358 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7359 ; CI-NEXT:    s_mov_b32 s4, s2
7360 ; CI-NEXT:    s_mov_b32 s5, s3
7361 ; CI-NEXT:    v_mov_b32_e32 v0, s8
7362 ; CI-NEXT:    v_mov_b32_e32 v1, s9
7363 ; CI-NEXT:    s_mov_b32 s2, s6
7364 ; CI-NEXT:    s_mov_b32 s3, s7
7365 ; CI-NEXT:    buffer_atomic_dec_x2 v[0:1], off, s[0:3], 0 offset:32 glc
7366 ; CI-NEXT:    s_waitcnt vmcnt(0)
7367 ; CI-NEXT:    buffer_wbinvl1_vol
7368 ; CI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
7369 ; CI-NEXT:    s_endpgm
7370 ;
7371 ; VI-LABEL: atomic_dec_i64_ret_offset:
7372 ; VI:       ; %bb.0: ; %entry
7373 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7374 ; VI-NEXT:    s_load_dwordx2 s[8:9], s[4:5], 0x34
7375 ; VI-NEXT:    s_mov_b32 s7, 0xf000
7376 ; VI-NEXT:    s_mov_b32 s6, -1
7377 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7378 ; VI-NEXT:    s_mov_b32 s4, s2
7379 ; VI-NEXT:    s_mov_b32 s5, s3
7380 ; VI-NEXT:    v_mov_b32_e32 v0, s8
7381 ; VI-NEXT:    v_mov_b32_e32 v1, s9
7382 ; VI-NEXT:    s_mov_b32 s2, s6
7383 ; VI-NEXT:    s_mov_b32 s3, s7
7384 ; VI-NEXT:    buffer_atomic_dec_x2 v[0:1], off, s[0:3], 0 offset:32 glc
7385 ; VI-NEXT:    s_waitcnt vmcnt(0)
7386 ; VI-NEXT:    buffer_wbinvl1_vol
7387 ; VI-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0
7388 ; VI-NEXT:    s_endpgm
7389 ;
7390 ; GFX9-LABEL: atomic_dec_i64_ret_offset:
7391 ; GFX9:       ; %bb.0: ; %entry
7392 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
7393 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7394 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7395 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7396 ; GFX9-NEXT:    v_mov_b32_e32 v0, s6
7397 ; GFX9-NEXT:    v_mov_b32_e32 v1, s7
7398 ; GFX9-NEXT:    global_atomic_dec_x2 v[0:1], v2, v[0:1], s[0:1] offset:32 glc
7399 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7400 ; GFX9-NEXT:    buffer_wbinvl1_vol
7401 ; GFX9-NEXT:    global_store_dwordx2 v2, v[0:1], s[2:3]
7402 ; GFX9-NEXT:    s_endpgm
7403 ;
7404 ; GFX12-LABEL: atomic_dec_i64_ret_offset:
7405 ; GFX12:       ; %bb.0: ; %entry
7406 ; GFX12-NEXT:    s_clause 0x1
7407 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
7408 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7409 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7410 ; GFX12-NEXT:    v_dual_mov_b32 v2, 0 :: v_dual_mov_b32 v1, s7
7411 ; GFX12-NEXT:    v_mov_b32_e32 v0, s6
7412 ; GFX12-NEXT:    global_atomic_dec_u64 v[0:1], v2, v[0:1], s[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
7413 ; GFX12-NEXT:    s_wait_loadcnt 0x0
7414 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7415 ; GFX12-NEXT:    global_store_b64 v2, v[0:1], s[2:3]
7416 ; GFX12-NEXT:    s_endpgm
7417 entry:
7418   %gep = getelementptr i64, ptr addrspace(1) %out, i64 4
7419   %tmp0 = atomicrmw volatile udec_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7420   store i64 %tmp0, ptr addrspace(1) %out2
7421   ret void
7422 }
7423
7424 define amdgpu_kernel void @atomic_dec_i64_decr64_offset(ptr addrspace(1) %out, i64 %in, i64 %index) {
7425 ; CI-LABEL: atomic_dec_i64_decr64_offset:
7426 ; CI:       ; %bb.0: ; %entry
7427 ; CI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
7428 ; CI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
7429 ; CI-NEXT:    s_waitcnt lgkmcnt(0)
7430 ; CI-NEXT:    v_mov_b32_e32 v0, s2
7431 ; CI-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
7432 ; CI-NEXT:    v_mov_b32_e32 v2, s4
7433 ; CI-NEXT:    v_mov_b32_e32 v1, s3
7434 ; CI-NEXT:    s_mov_b32 s3, 0xf000
7435 ; CI-NEXT:    s_mov_b32 s2, 0
7436 ; CI-NEXT:    v_mov_b32_e32 v3, s5
7437 ; CI-NEXT:    buffer_atomic_dec_x2 v[0:1], v[2:3], s[0:3], 0 addr64 offset:32
7438 ; CI-NEXT:    s_waitcnt vmcnt(0)
7439 ; CI-NEXT:    buffer_wbinvl1_vol
7440 ; CI-NEXT:    s_endpgm
7441 ;
7442 ; VI-LABEL: atomic_dec_i64_decr64_offset:
7443 ; VI:       ; %bb.0: ; %entry
7444 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7445 ; VI-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
7446 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
7447 ; VI-NEXT:    v_mov_b32_e32 v0, s2
7448 ; VI-NEXT:    v_mov_b32_e32 v1, s3
7449 ; VI-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
7450 ; VI-NEXT:    s_add_u32 s0, s0, s2
7451 ; VI-NEXT:    s_addc_u32 s1, s1, s3
7452 ; VI-NEXT:    s_add_u32 s0, s0, 32
7453 ; VI-NEXT:    s_addc_u32 s1, s1, 0
7454 ; VI-NEXT:    v_mov_b32_e32 v3, s1
7455 ; VI-NEXT:    v_mov_b32_e32 v2, s0
7456 ; VI-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
7457 ; VI-NEXT:    s_waitcnt vmcnt(0)
7458 ; VI-NEXT:    buffer_wbinvl1_vol
7459 ; VI-NEXT:    s_endpgm
7460 ;
7461 ; GFX9-LABEL: atomic_dec_i64_decr64_offset:
7462 ; GFX9:       ; %bb.0: ; %entry
7463 ; GFX9-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
7464 ; GFX9-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
7465 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0
7466 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)
7467 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2
7468 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3
7469 ; GFX9-NEXT:    s_lshl_b64 s[2:3], s[6:7], 3
7470 ; GFX9-NEXT:    s_add_u32 s0, s0, s2
7471 ; GFX9-NEXT:    s_addc_u32 s1, s1, s3
7472 ; GFX9-NEXT:    global_atomic_dec_x2 v2, v[0:1], s[0:1] offset:32
7473 ; GFX9-NEXT:    s_waitcnt vmcnt(0)
7474 ; GFX9-NEXT:    buffer_wbinvl1_vol
7475 ; GFX9-NEXT:    s_endpgm
7476 ;
7477 ; GFX12-LABEL: atomic_dec_i64_decr64_offset:
7478 ; GFX12:       ; %bb.0: ; %entry
7479 ; GFX12-NEXT:    s_clause 0x1
7480 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
7481 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
7482 ; GFX12-NEXT:    v_mov_b32_e32 v2, 0
7483 ; GFX12-NEXT:    s_wait_kmcnt 0x0
7484 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
7485 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
7486 ; GFX12-NEXT:    s_wait_alu 0xfffe
7487 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[2:3]
7488 ; GFX12-NEXT:    global_atomic_dec_u64 v2, v[0:1], s[0:1] offset:32 scope:SCOPE_DEV
7489 ; GFX12-NEXT:    s_wait_storecnt 0x0
7490 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
7491 ; GFX12-NEXT:    s_endpgm
7492 entry:
7493   %ptr = getelementptr i64, ptr addrspace(1) %out, i64 %index
7494   %gep = getelementptr i64, ptr addrspace(1) %ptr, i64 4
7495   %tmp0 = atomicrmw volatile udec_wrap ptr addrspace(1) %gep, i64 %in syncscope("agent") seq_cst
7496   ret void
7497 }