llvm/test/CodeGen/AMDGPU/flat_atomics_i64_noprivate.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn -mcpu=bonaire < %s | FileCheck -check-prefix=GFX7 %s
   3 ; RUN: llc -mtriple=amdgcn -mcpu=tonga < %s | FileCheck -check-prefix=GFX8 %s
   4 ; RUN: llc -mtriple=amdgcn -mcpu=gfx1200 < %s | FileCheck -check-prefix=GFX12 %s
   5
   6 define amdgpu_kernel void @atomic_add_i64_offset(ptr %out, i64 %in) {
   7 ; GFX7-LABEL: atomic_add_i64_offset:
   8 ; GFX7:       ; %bb.0: ; %entry
   9 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
  10 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  11 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
  12 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
  13 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
  14 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
  15 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
  16 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
  17 ; GFX7-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
  18 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  19 ; GFX7-NEXT:    buffer_wbinvl1_vol
  20 ; GFX7-NEXT:    s_endpgm
  21 ;
  22 ; GFX8-LABEL: atomic_add_i64_offset:
  23 ; GFX8:       ; %bb.0: ; %entry
  24 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
  25 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
  26 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
  27 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
  28 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
  29 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
  30 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
  31 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
  32 ; GFX8-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
  33 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  34 ; GFX8-NEXT:    buffer_wbinvl1_vol
  35 ; GFX8-NEXT:    s_endpgm
  36 ;
  37 ; GFX12-LABEL: atomic_add_i64_offset:
  38 ; GFX12:       ; %bb.0: ; %entry
  39 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  40 ; GFX12-NEXT:    s_wait_kmcnt 0x0
  41 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
  42 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
  43 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
  44 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
  45 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
  46 ; GFX12-NEXT:    s_endpgm
  47 entry:
  48   %gep = getelementptr i64, ptr %out, i64 4
  49   %tmp0 = atomicrmw volatile add ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
  50   ret void
  51 }
  52
  53 define amdgpu_kernel void @atomic_add_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
  54 ; GFX7-LABEL: atomic_add_i64_ret_offset:
  55 ; GFX7:       ; %bb.0: ; %entry
  56 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
  57 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
  58 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
  59 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
  60 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
  61 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
  62 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
  63 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
  64 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
  65 ; GFX7-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
  66 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  67 ; GFX7-NEXT:    buffer_wbinvl1_vol
  68 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
  69 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
  70 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
  71 ; GFX7-NEXT:    s_endpgm
  72 ;
  73 ; GFX8-LABEL: atomic_add_i64_ret_offset:
  74 ; GFX8:       ; %bb.0: ; %entry
  75 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
  76 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
  77 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
  78 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
  79 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
  80 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
  81 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
  82 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
  83 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
  84 ; GFX8-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
  85 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  86 ; GFX8-NEXT:    buffer_wbinvl1_vol
  87 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
  88 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
  89 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
  90 ; GFX8-NEXT:    s_endpgm
  91 ;
  92 ; GFX12-LABEL: atomic_add_i64_ret_offset:
  93 ; GFX12:       ; %bb.0: ; %entry
  94 ; GFX12-NEXT:    s_clause 0x1
  95 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  96 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
  97 ; GFX12-NEXT:    s_wait_kmcnt 0x0
  98 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
  99 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
 100 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 101 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 102 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 103 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 104 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 105 ; GFX12-NEXT:    s_endpgm
 106 entry:
 107   %gep = getelementptr i64, ptr %out, i64 4
 108   %tmp0 = atomicrmw volatile add ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 109   store i64 %tmp0, ptr %out2
 110   ret void
 111 }
 112
 113 define amdgpu_kernel void @atomic_add_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
 114 ; GFX7-LABEL: atomic_add_i64_addr64_offset:
 115 ; GFX7:       ; %bb.0: ; %entry
 116 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 117 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 118 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 119 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 120 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 121 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 122 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
 123 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
 124 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 125 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 126 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 127 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 128 ; GFX7-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 129 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 130 ; GFX7-NEXT:    buffer_wbinvl1_vol
 131 ; GFX7-NEXT:    s_endpgm
 132 ;
 133 ; GFX8-LABEL: atomic_add_i64_addr64_offset:
 134 ; GFX8:       ; %bb.0: ; %entry
 135 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 136 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 137 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 138 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 139 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 140 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 141 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
 142 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
 143 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 144 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 145 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 146 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 147 ; GFX8-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 148 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 149 ; GFX8-NEXT:    buffer_wbinvl1_vol
 150 ; GFX8-NEXT:    s_endpgm
 151 ;
 152 ; GFX12-LABEL: atomic_add_i64_addr64_offset:
 153 ; GFX12:       ; %bb.0: ; %entry
 154 ; GFX12-NEXT:    s_clause 0x1
 155 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 156 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 157 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 158 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 159 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 160 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 161 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 162 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 163 ; GFX12-NEXT:    flat_atomic_add_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
 164 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 165 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 166 ; GFX12-NEXT:    s_endpgm
 167 entry:
 168   %ptr = getelementptr i64, ptr %out, i64 %index
 169   %gep = getelementptr i64, ptr %ptr, i64 4
 170   %tmp0 = atomicrmw volatile add ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 171   ret void
 172 }
 173
 174 define amdgpu_kernel void @atomic_add_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
 175 ; GFX7-LABEL: atomic_add_i64_ret_addr64_offset:
 176 ; GFX7:       ; %bb.0: ; %entry
 177 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 178 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 179 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 180 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
 181 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 182 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
 183 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
 184 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 185 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 186 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 187 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 188 ; GFX7-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 189 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 190 ; GFX7-NEXT:    buffer_wbinvl1_vol
 191 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 192 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 193 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 194 ; GFX7-NEXT:    s_endpgm
 195 ;
 196 ; GFX8-LABEL: atomic_add_i64_ret_addr64_offset:
 197 ; GFX8:       ; %bb.0: ; %entry
 198 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 199 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 200 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
 201 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
 202 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 203 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
 204 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
 205 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 206 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 207 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 208 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 209 ; GFX8-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 210 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 211 ; GFX8-NEXT:    buffer_wbinvl1_vol
 212 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 213 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 214 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 215 ; GFX8-NEXT:    s_endpgm
 216 ;
 217 ; GFX12-LABEL: atomic_add_i64_ret_addr64_offset:
 218 ; GFX12:       ; %bb.0: ; %entry
 219 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 220 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 221 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
 222 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
 223 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
 224 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 225 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 226 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 227 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 228 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 229 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 230 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 231 ; GFX12-NEXT:    s_endpgm
 232 entry:
 233   %ptr = getelementptr i64, ptr %out, i64 %index
 234   %gep = getelementptr i64, ptr %ptr, i64 4
 235   %tmp0 = atomicrmw volatile add ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 236   store i64 %tmp0, ptr %out2
 237   ret void
 238 }
 239
 240 define amdgpu_kernel void @atomic_add_i64(ptr %out, i64 %in) {
 241 ; GFX7-LABEL: atomic_add_i64:
 242 ; GFX7:       ; %bb.0: ; %entry
 243 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 244 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 245 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 246 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 247 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 248 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 249 ; GFX7-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3]
 250 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 251 ; GFX7-NEXT:    buffer_wbinvl1_vol
 252 ; GFX7-NEXT:    s_endpgm
 253 ;
 254 ; GFX8-LABEL: atomic_add_i64:
 255 ; GFX8:       ; %bb.0: ; %entry
 256 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 257 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 258 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
 259 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
 260 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 261 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 262 ; GFX8-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3]
 263 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 264 ; GFX8-NEXT:    buffer_wbinvl1_vol
 265 ; GFX8-NEXT:    s_endpgm
 266 ;
 267 ; GFX12-LABEL: atomic_add_i64:
 268 ; GFX12:       ; %bb.0: ; %entry
 269 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 270 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 271 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 272 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 273 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[2:3] scope:SCOPE_DEV
 274 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 275 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 276 ; GFX12-NEXT:    s_endpgm
 277 entry:
 278   %tmp0 = atomicrmw volatile add ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 279   ret void
 280 }
 281
 282 define amdgpu_kernel void @atomic_add_i64_ret(ptr %out, ptr %out2, i64 %in) {
 283 ; GFX7-LABEL: atomic_add_i64_ret:
 284 ; GFX7:       ; %bb.0: ; %entry
 285 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 286 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 287 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 288 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 289 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 290 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
 291 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
 292 ; GFX7-NEXT:    flat_atomic_add_x2 v[0:1], v[0:1], v[2:3] glc
 293 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 294 ; GFX7-NEXT:    buffer_wbinvl1_vol
 295 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 296 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 297 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 298 ; GFX7-NEXT:    s_endpgm
 299 ;
 300 ; GFX8-LABEL: atomic_add_i64_ret:
 301 ; GFX8:       ; %bb.0: ; %entry
 302 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 303 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 304 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 305 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
 306 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
 307 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
 308 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
 309 ; GFX8-NEXT:    flat_atomic_add_x2 v[0:1], v[0:1], v[2:3] glc
 310 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 311 ; GFX8-NEXT:    buffer_wbinvl1_vol
 312 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 313 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 314 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 315 ; GFX8-NEXT:    s_endpgm
 316 ;
 317 ; GFX12-LABEL: atomic_add_i64_ret:
 318 ; GFX12:       ; %bb.0: ; %entry
 319 ; GFX12-NEXT:    s_clause 0x1
 320 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 321 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 322 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 323 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 324 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
 325 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 326 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 327 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 328 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 329 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 330 ; GFX12-NEXT:    s_endpgm
 331 entry:
 332   %tmp0 = atomicrmw volatile add ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 333   store i64 %tmp0, ptr %out2
 334   ret void
 335 }
 336
 337 define amdgpu_kernel void @atomic_add_i64_addr64(ptr %out, i64 %in, i64 %index) {
 338 ; GFX7-LABEL: atomic_add_i64_addr64:
 339 ; GFX7:       ; %bb.0: ; %entry
 340 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 341 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 342 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 343 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 344 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 345 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 346 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
 347 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
 348 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 349 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 350 ; GFX7-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 351 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 352 ; GFX7-NEXT:    buffer_wbinvl1_vol
 353 ; GFX7-NEXT:    s_endpgm
 354 ;
 355 ; GFX8-LABEL: atomic_add_i64_addr64:
 356 ; GFX8:       ; %bb.0: ; %entry
 357 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 358 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 359 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 360 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 361 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 362 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 363 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
 364 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
 365 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 366 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 367 ; GFX8-NEXT:    flat_atomic_add_x2 v[2:3], v[0:1]
 368 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 369 ; GFX8-NEXT:    buffer_wbinvl1_vol
 370 ; GFX8-NEXT:    s_endpgm
 371 ;
 372 ; GFX12-LABEL: atomic_add_i64_addr64:
 373 ; GFX12:       ; %bb.0: ; %entry
 374 ; GFX12-NEXT:    s_clause 0x1
 375 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 376 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 377 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 378 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 379 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 380 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 381 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 382 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 383 ; GFX12-NEXT:    flat_atomic_add_u64 v[2:3], v[0:1] scope:SCOPE_DEV
 384 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 385 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 386 ; GFX12-NEXT:    s_endpgm
 387 entry:
 388   %ptr = getelementptr i64, ptr %out, i64 %index
 389   %tmp0 = atomicrmw volatile add ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 390   ret void
 391 }
 392
 393 define amdgpu_kernel void @atomic_add_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
 394 ; GFX7-LABEL: atomic_add_i64_ret_addr64:
 395 ; GFX7:       ; %bb.0: ; %entry
 396 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 397 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 398 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 399 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
 400 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 401 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
 402 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
 403 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 404 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 405 ; GFX7-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 406 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 407 ; GFX7-NEXT:    buffer_wbinvl1_vol
 408 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 409 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 410 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 411 ; GFX7-NEXT:    s_endpgm
 412 ;
 413 ; GFX8-LABEL: atomic_add_i64_ret_addr64:
 414 ; GFX8:       ; %bb.0: ; %entry
 415 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 416 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 417 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
 418 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
 419 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 420 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
 421 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
 422 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 423 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 424 ; GFX8-NEXT:    flat_atomic_add_x2 v[0:1], v[2:3], v[0:1] glc
 425 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 426 ; GFX8-NEXT:    buffer_wbinvl1_vol
 427 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 428 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 429 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 430 ; GFX8-NEXT:    s_endpgm
 431 ;
 432 ; GFX12-LABEL: atomic_add_i64_ret_addr64:
 433 ; GFX12:       ; %bb.0: ; %entry
 434 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 435 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 436 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
 437 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
 438 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
 439 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 440 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 441 ; GFX12-NEXT:    flat_atomic_add_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 442 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 443 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 444 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 445 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 446 ; GFX12-NEXT:    s_endpgm
 447 entry:
 448   %ptr = getelementptr i64, ptr %out, i64 %index
 449   %tmp0 = atomicrmw volatile add ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 450   store i64 %tmp0, ptr %out2
 451   ret void
 452 }
 453
 454 define amdgpu_kernel void @atomic_and_i64_offset(ptr %out, i64 %in) {
 455 ; GFX7-LABEL: atomic_and_i64_offset:
 456 ; GFX7:       ; %bb.0: ; %entry
 457 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 458 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 459 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 460 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 461 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 462 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 463 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 464 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 465 ; GFX7-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 466 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 467 ; GFX7-NEXT:    buffer_wbinvl1_vol
 468 ; GFX7-NEXT:    s_endpgm
 469 ;
 470 ; GFX8-LABEL: atomic_and_i64_offset:
 471 ; GFX8:       ; %bb.0: ; %entry
 472 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 473 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 474 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 475 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 476 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 477 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 478 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 479 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 480 ; GFX8-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 481 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 482 ; GFX8-NEXT:    buffer_wbinvl1_vol
 483 ; GFX8-NEXT:    s_endpgm
 484 ;
 485 ; GFX12-LABEL: atomic_and_i64_offset:
 486 ; GFX12:       ; %bb.0: ; %entry
 487 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 488 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 489 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 490 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 491 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
 492 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 493 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 494 ; GFX12-NEXT:    s_endpgm
 495 entry:
 496   %gep = getelementptr i64, ptr %out, i64 4
 497   %tmp0 = atomicrmw volatile and ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 498   ret void
 499 }
 500
 501 define amdgpu_kernel void @atomic_and_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
 502 ; GFX7-LABEL: atomic_and_i64_ret_offset:
 503 ; GFX7:       ; %bb.0: ; %entry
 504 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
 505 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 506 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 507 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
 508 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 509 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 510 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 511 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
 512 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 513 ; GFX7-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 514 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 515 ; GFX7-NEXT:    buffer_wbinvl1_vol
 516 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 517 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 518 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 519 ; GFX7-NEXT:    s_endpgm
 520 ;
 521 ; GFX8-LABEL: atomic_and_i64_ret_offset:
 522 ; GFX8:       ; %bb.0: ; %entry
 523 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 524 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 525 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 526 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
 527 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 528 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 529 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 530 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
 531 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 532 ; GFX8-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 533 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 534 ; GFX8-NEXT:    buffer_wbinvl1_vol
 535 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 536 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 537 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 538 ; GFX8-NEXT:    s_endpgm
 539 ;
 540 ; GFX12-LABEL: atomic_and_i64_ret_offset:
 541 ; GFX12:       ; %bb.0: ; %entry
 542 ; GFX12-NEXT:    s_clause 0x1
 543 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 544 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 545 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 546 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 547 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
 548 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 549 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 550 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 551 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 552 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 553 ; GFX12-NEXT:    s_endpgm
 554 entry:
 555   %gep = getelementptr i64, ptr %out, i64 4
 556   %tmp0 = atomicrmw volatile and ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 557   store i64 %tmp0, ptr %out2
 558   ret void
 559 }
 560
 561 define amdgpu_kernel void @atomic_and_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
 562 ; GFX7-LABEL: atomic_and_i64_addr64_offset:
 563 ; GFX7:       ; %bb.0: ; %entry
 564 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 565 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 566 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 567 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 568 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 569 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 570 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
 571 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
 572 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 573 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 574 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 575 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 576 ; GFX7-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 577 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 578 ; GFX7-NEXT:    buffer_wbinvl1_vol
 579 ; GFX7-NEXT:    s_endpgm
 580 ;
 581 ; GFX8-LABEL: atomic_and_i64_addr64_offset:
 582 ; GFX8:       ; %bb.0: ; %entry
 583 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 584 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 585 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 586 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 587 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 588 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 589 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
 590 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
 591 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 592 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 593 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 594 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 595 ; GFX8-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 596 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 597 ; GFX8-NEXT:    buffer_wbinvl1_vol
 598 ; GFX8-NEXT:    s_endpgm
 599 ;
 600 ; GFX12-LABEL: atomic_and_i64_addr64_offset:
 601 ; GFX12:       ; %bb.0: ; %entry
 602 ; GFX12-NEXT:    s_clause 0x1
 603 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 604 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 605 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 606 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 607 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 608 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 609 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 610 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 611 ; GFX12-NEXT:    flat_atomic_and_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
 612 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 613 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 614 ; GFX12-NEXT:    s_endpgm
 615 entry:
 616   %ptr = getelementptr i64, ptr %out, i64 %index
 617   %gep = getelementptr i64, ptr %ptr, i64 4
 618   %tmp0 = atomicrmw volatile and ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 619   ret void
 620 }
 621
 622 define amdgpu_kernel void @atomic_and_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
 623 ; GFX7-LABEL: atomic_and_i64_ret_addr64_offset:
 624 ; GFX7:       ; %bb.0: ; %entry
 625 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 626 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 627 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 628 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
 629 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 630 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
 631 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
 632 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 633 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 634 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 635 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 636 ; GFX7-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 637 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 638 ; GFX7-NEXT:    buffer_wbinvl1_vol
 639 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 640 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 641 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 642 ; GFX7-NEXT:    s_endpgm
 643 ;
 644 ; GFX8-LABEL: atomic_and_i64_ret_addr64_offset:
 645 ; GFX8:       ; %bb.0: ; %entry
 646 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 647 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 648 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
 649 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
 650 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 651 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
 652 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
 653 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 654 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 655 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 656 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 657 ; GFX8-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 658 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 659 ; GFX8-NEXT:    buffer_wbinvl1_vol
 660 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 661 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 662 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 663 ; GFX8-NEXT:    s_endpgm
 664 ;
 665 ; GFX12-LABEL: atomic_and_i64_ret_addr64_offset:
 666 ; GFX12:       ; %bb.0: ; %entry
 667 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 668 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 669 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
 670 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
 671 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
 672 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 673 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 674 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 675 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 676 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 677 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 678 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 679 ; GFX12-NEXT:    s_endpgm
 680 entry:
 681   %ptr = getelementptr i64, ptr %out, i64 %index
 682   %gep = getelementptr i64, ptr %ptr, i64 4
 683   %tmp0 = atomicrmw volatile and ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 684   store i64 %tmp0, ptr %out2
 685   ret void
 686 }
 687
 688 define amdgpu_kernel void @atomic_and_i64(ptr %out, i64 %in) {
 689 ; GFX7-LABEL: atomic_and_i64:
 690 ; GFX7:       ; %bb.0: ; %entry
 691 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 692 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 693 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 694 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 695 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 696 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 697 ; GFX7-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3]
 698 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 699 ; GFX7-NEXT:    buffer_wbinvl1_vol
 700 ; GFX7-NEXT:    s_endpgm
 701 ;
 702 ; GFX8-LABEL: atomic_and_i64:
 703 ; GFX8:       ; %bb.0: ; %entry
 704 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 705 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 706 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
 707 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
 708 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 709 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 710 ; GFX8-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3]
 711 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 712 ; GFX8-NEXT:    buffer_wbinvl1_vol
 713 ; GFX8-NEXT:    s_endpgm
 714 ;
 715 ; GFX12-LABEL: atomic_and_i64:
 716 ; GFX12:       ; %bb.0: ; %entry
 717 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 718 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 719 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 720 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 721 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[2:3] scope:SCOPE_DEV
 722 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 723 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 724 ; GFX12-NEXT:    s_endpgm
 725 entry:
 726   %tmp0 = atomicrmw volatile and ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 727   ret void
 728 }
 729
 730 define amdgpu_kernel void @atomic_and_i64_ret(ptr %out, ptr %out2, i64 %in) {
 731 ; GFX7-LABEL: atomic_and_i64_ret:
 732 ; GFX7:       ; %bb.0: ; %entry
 733 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 734 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 735 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 736 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
 737 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
 738 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
 739 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
 740 ; GFX7-NEXT:    flat_atomic_and_x2 v[0:1], v[0:1], v[2:3] glc
 741 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 742 ; GFX7-NEXT:    buffer_wbinvl1_vol
 743 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 744 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 745 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 746 ; GFX7-NEXT:    s_endpgm
 747 ;
 748 ; GFX8-LABEL: atomic_and_i64_ret:
 749 ; GFX8:       ; %bb.0: ; %entry
 750 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 751 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 752 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 753 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
 754 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
 755 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
 756 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
 757 ; GFX8-NEXT:    flat_atomic_and_x2 v[0:1], v[0:1], v[2:3] glc
 758 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 759 ; GFX8-NEXT:    buffer_wbinvl1_vol
 760 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 761 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 762 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 763 ; GFX8-NEXT:    s_endpgm
 764 ;
 765 ; GFX12-LABEL: atomic_and_i64_ret:
 766 ; GFX12:       ; %bb.0: ; %entry
 767 ; GFX12-NEXT:    s_clause 0x1
 768 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 769 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 770 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 771 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 772 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
 773 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 774 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 775 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 776 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 777 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 778 ; GFX12-NEXT:    s_endpgm
 779 entry:
 780   %tmp0 = atomicrmw volatile and ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 781   store i64 %tmp0, ptr %out2
 782   ret void
 783 }
 784
 785 define amdgpu_kernel void @atomic_and_i64_addr64(ptr %out, i64 %in, i64 %index) {
 786 ; GFX7-LABEL: atomic_and_i64_addr64:
 787 ; GFX7:       ; %bb.0: ; %entry
 788 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 789 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
 790 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 791 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 792 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 793 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 794 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
 795 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
 796 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 797 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 798 ; GFX7-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 799 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 800 ; GFX7-NEXT:    buffer_wbinvl1_vol
 801 ; GFX7-NEXT:    s_endpgm
 802 ;
 803 ; GFX8-LABEL: atomic_and_i64_addr64:
 804 ; GFX8:       ; %bb.0: ; %entry
 805 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 806 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
 807 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 808 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 809 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 810 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
 811 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
 812 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
 813 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 814 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 815 ; GFX8-NEXT:    flat_atomic_and_x2 v[2:3], v[0:1]
 816 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 817 ; GFX8-NEXT:    buffer_wbinvl1_vol
 818 ; GFX8-NEXT:    s_endpgm
 819 ;
 820 ; GFX12-LABEL: atomic_and_i64_addr64:
 821 ; GFX12:       ; %bb.0: ; %entry
 822 ; GFX12-NEXT:    s_clause 0x1
 823 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
 824 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 825 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 826 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 827 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
 828 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
 829 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 830 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 831 ; GFX12-NEXT:    flat_atomic_and_b64 v[2:3], v[0:1] scope:SCOPE_DEV
 832 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 833 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 834 ; GFX12-NEXT:    s_endpgm
 835 entry:
 836   %ptr = getelementptr i64, ptr %out, i64 %index
 837   %tmp0 = atomicrmw volatile and ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 838   ret void
 839 }
 840
 841 define amdgpu_kernel void @atomic_and_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
 842 ; GFX7-LABEL: atomic_and_i64_ret_addr64:
 843 ; GFX7:       ; %bb.0: ; %entry
 844 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
 845 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 846 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
 847 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
 848 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 849 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
 850 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
 851 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 852 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 853 ; GFX7-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 854 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 855 ; GFX7-NEXT:    buffer_wbinvl1_vol
 856 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 857 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 858 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 859 ; GFX7-NEXT:    s_endpgm
 860 ;
 861 ; GFX8-LABEL: atomic_and_i64_ret_addr64:
 862 ; GFX8:       ; %bb.0: ; %entry
 863 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
 864 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 865 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
 866 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
 867 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
 868 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
 869 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
 870 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 871 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 872 ; GFX8-NEXT:    flat_atomic_and_x2 v[0:1], v[2:3], v[0:1] glc
 873 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 874 ; GFX8-NEXT:    buffer_wbinvl1_vol
 875 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 876 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 877 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 878 ; GFX8-NEXT:    s_endpgm
 879 ;
 880 ; GFX12-LABEL: atomic_and_i64_ret_addr64:
 881 ; GFX12:       ; %bb.0: ; %entry
 882 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
 883 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 884 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
 885 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
 886 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
 887 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
 888 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
 889 ; GFX12-NEXT:    flat_atomic_and_b64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 890 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 891 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 892 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 893 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
 894 ; GFX12-NEXT:    s_endpgm
 895 entry:
 896   %ptr = getelementptr i64, ptr %out, i64 %index
 897   %tmp0 = atomicrmw volatile and ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 898   store i64 %tmp0, ptr %out2
 899   ret void
 900 }
 901
 902 define amdgpu_kernel void @atomic_sub_i64_offset(ptr %out, i64 %in) {
 903 ; GFX7-LABEL: atomic_sub_i64_offset:
 904 ; GFX7:       ; %bb.0: ; %entry
 905 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 906 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 907 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 908 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 909 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 910 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
 911 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
 912 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 913 ; GFX7-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
 914 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 915 ; GFX7-NEXT:    buffer_wbinvl1_vol
 916 ; GFX7-NEXT:    s_endpgm
 917 ;
 918 ; GFX8-LABEL: atomic_sub_i64_offset:
 919 ; GFX8:       ; %bb.0: ; %entry
 920 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 921 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 922 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 923 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 924 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 925 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
 926 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
 927 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 928 ; GFX8-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
 929 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 930 ; GFX8-NEXT:    buffer_wbinvl1_vol
 931 ; GFX8-NEXT:    s_endpgm
 932 ;
 933 ; GFX12-LABEL: atomic_sub_i64_offset:
 934 ; GFX12:       ; %bb.0: ; %entry
 935 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 936 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 937 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 938 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
 939 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
 940 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
 941 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 942 ; GFX12-NEXT:    s_endpgm
 943 entry:
 944   %gep = getelementptr i64, ptr %out, i64 4
 945   %tmp0 = atomicrmw volatile sub ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
 946   ret void
 947 }
 948
 949 define amdgpu_kernel void @atomic_sub_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
 950 ; GFX7-LABEL: atomic_sub_i64_ret_offset:
 951 ; GFX7:       ; %bb.0: ; %entry
 952 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
 953 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
 954 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
 955 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
 956 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
 957 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
 958 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
 959 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
 960 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
 961 ; GFX7-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
 962 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 963 ; GFX7-NEXT:    buffer_wbinvl1_vol
 964 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
 965 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
 966 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 967 ; GFX7-NEXT:    s_endpgm
 968 ;
 969 ; GFX8-LABEL: atomic_sub_i64_ret_offset:
 970 ; GFX8:       ; %bb.0: ; %entry
 971 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
 972 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
 973 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
 974 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
 975 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
 976 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
 977 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
 978 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
 979 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
 980 ; GFX8-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
 981 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
 982 ; GFX8-NEXT:    buffer_wbinvl1_vol
 983 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
 984 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
 985 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
 986 ; GFX8-NEXT:    s_endpgm
 987 ;
 988 ; GFX12-LABEL: atomic_sub_i64_ret_offset:
 989 ; GFX12:       ; %bb.0: ; %entry
 990 ; GFX12-NEXT:    s_clause 0x1
 991 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
 992 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
 993 ; GFX12-NEXT:    s_wait_kmcnt 0x0
 994 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
 995 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
 996 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
 997 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
 998 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
 999 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1000 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1001 ; GFX12-NEXT:    s_endpgm
1002 entry:
1003   %gep = getelementptr i64, ptr %out, i64 4
1004   %tmp0 = atomicrmw volatile sub ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1005   store i64 %tmp0, ptr %out2
1006   ret void
1007 }
1008
1009 define amdgpu_kernel void @atomic_sub_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
1010 ; GFX7-LABEL: atomic_sub_i64_addr64_offset:
1011 ; GFX7:       ; %bb.0: ; %entry
1012 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1013 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1014 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1015 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1016 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1017 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1018 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
1019 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
1020 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1021 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1022 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1023 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1024 ; GFX7-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1025 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1026 ; GFX7-NEXT:    buffer_wbinvl1_vol
1027 ; GFX7-NEXT:    s_endpgm
1028 ;
1029 ; GFX8-LABEL: atomic_sub_i64_addr64_offset:
1030 ; GFX8:       ; %bb.0: ; %entry
1031 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1032 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1033 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1034 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1035 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1036 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1037 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
1038 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
1039 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1040 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1041 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1042 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1043 ; GFX8-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1044 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1045 ; GFX8-NEXT:    buffer_wbinvl1_vol
1046 ; GFX8-NEXT:    s_endpgm
1047 ;
1048 ; GFX12-LABEL: atomic_sub_i64_addr64_offset:
1049 ; GFX12:       ; %bb.0: ; %entry
1050 ; GFX12-NEXT:    s_clause 0x1
1051 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1052 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1053 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1054 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1055 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1056 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1057 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1058 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1059 ; GFX12-NEXT:    flat_atomic_sub_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
1060 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1061 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1062 ; GFX12-NEXT:    s_endpgm
1063 entry:
1064   %ptr = getelementptr i64, ptr %out, i64 %index
1065   %gep = getelementptr i64, ptr %ptr, i64 4
1066   %tmp0 = atomicrmw volatile sub ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1067   ret void
1068 }
1069
1070 define amdgpu_kernel void @atomic_sub_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
1071 ; GFX7-LABEL: atomic_sub_i64_ret_addr64_offset:
1072 ; GFX7:       ; %bb.0: ; %entry
1073 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1074 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1075 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1076 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1077 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1078 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
1079 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
1080 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1081 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1082 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1083 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1084 ; GFX7-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1085 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1086 ; GFX7-NEXT:    buffer_wbinvl1_vol
1087 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1088 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1089 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1090 ; GFX7-NEXT:    s_endpgm
1091 ;
1092 ; GFX8-LABEL: atomic_sub_i64_ret_addr64_offset:
1093 ; GFX8:       ; %bb.0: ; %entry
1094 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1095 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1096 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
1097 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
1098 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1099 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
1100 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
1101 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1102 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1103 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1104 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1105 ; GFX8-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1106 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1107 ; GFX8-NEXT:    buffer_wbinvl1_vol
1108 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1109 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1110 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1111 ; GFX8-NEXT:    s_endpgm
1112 ;
1113 ; GFX12-LABEL: atomic_sub_i64_ret_addr64_offset:
1114 ; GFX12:       ; %bb.0: ; %entry
1115 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1116 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1117 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
1118 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
1119 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
1120 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1121 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1122 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1123 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1124 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1125 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1126 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1127 ; GFX12-NEXT:    s_endpgm
1128 entry:
1129   %ptr = getelementptr i64, ptr %out, i64 %index
1130   %gep = getelementptr i64, ptr %ptr, i64 4
1131   %tmp0 = atomicrmw volatile sub ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1132   store i64 %tmp0, ptr %out2
1133   ret void
1134 }
1135
1136 define amdgpu_kernel void @atomic_sub_i64(ptr %out, i64 %in) {
1137 ; GFX7-LABEL: atomic_sub_i64:
1138 ; GFX7:       ; %bb.0: ; %entry
1139 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1140 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1141 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1142 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1143 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1144 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1145 ; GFX7-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3]
1146 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1147 ; GFX7-NEXT:    buffer_wbinvl1_vol
1148 ; GFX7-NEXT:    s_endpgm
1149 ;
1150 ; GFX8-LABEL: atomic_sub_i64:
1151 ; GFX8:       ; %bb.0: ; %entry
1152 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1153 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1154 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
1155 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
1156 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1157 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1158 ; GFX8-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3]
1159 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1160 ; GFX8-NEXT:    buffer_wbinvl1_vol
1161 ; GFX8-NEXT:    s_endpgm
1162 ;
1163 ; GFX12-LABEL: atomic_sub_i64:
1164 ; GFX12:       ; %bb.0: ; %entry
1165 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1166 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1167 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1168 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1169 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[2:3] scope:SCOPE_DEV
1170 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1171 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1172 ; GFX12-NEXT:    s_endpgm
1173 entry:
1174   %tmp0 = atomicrmw volatile sub ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1175   ret void
1176 }
1177
1178 define amdgpu_kernel void @atomic_sub_i64_ret(ptr %out, ptr %out2, i64 %in) {
1179 ; GFX7-LABEL: atomic_sub_i64_ret:
1180 ; GFX7:       ; %bb.0: ; %entry
1181 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1182 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1183 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1184 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1185 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1186 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
1187 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
1188 ; GFX7-NEXT:    flat_atomic_sub_x2 v[0:1], v[0:1], v[2:3] glc
1189 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1190 ; GFX7-NEXT:    buffer_wbinvl1_vol
1191 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1192 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1193 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1194 ; GFX7-NEXT:    s_endpgm
1195 ;
1196 ; GFX8-LABEL: atomic_sub_i64_ret:
1197 ; GFX8:       ; %bb.0: ; %entry
1198 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1199 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1200 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1201 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
1202 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
1203 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
1204 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
1205 ; GFX8-NEXT:    flat_atomic_sub_x2 v[0:1], v[0:1], v[2:3] glc
1206 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1207 ; GFX8-NEXT:    buffer_wbinvl1_vol
1208 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1209 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1210 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1211 ; GFX8-NEXT:    s_endpgm
1212 ;
1213 ; GFX12-LABEL: atomic_sub_i64_ret:
1214 ; GFX12:       ; %bb.0: ; %entry
1215 ; GFX12-NEXT:    s_clause 0x1
1216 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1217 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1218 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1219 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1220 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
1221 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1222 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1223 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1224 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1225 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1226 ; GFX12-NEXT:    s_endpgm
1227 entry:
1228   %tmp0 = atomicrmw volatile sub ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1229   store i64 %tmp0, ptr %out2
1230   ret void
1231 }
1232
1233 define amdgpu_kernel void @atomic_sub_i64_addr64(ptr %out, i64 %in, i64 %index) {
1234 ; GFX7-LABEL: atomic_sub_i64_addr64:
1235 ; GFX7:       ; %bb.0: ; %entry
1236 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1237 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1238 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1239 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1240 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1241 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1242 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
1243 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
1244 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1245 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1246 ; GFX7-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1247 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1248 ; GFX7-NEXT:    buffer_wbinvl1_vol
1249 ; GFX7-NEXT:    s_endpgm
1250 ;
1251 ; GFX8-LABEL: atomic_sub_i64_addr64:
1252 ; GFX8:       ; %bb.0: ; %entry
1253 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1254 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1255 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1256 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1257 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1258 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1259 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
1260 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
1261 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1262 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1263 ; GFX8-NEXT:    flat_atomic_sub_x2 v[2:3], v[0:1]
1264 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1265 ; GFX8-NEXT:    buffer_wbinvl1_vol
1266 ; GFX8-NEXT:    s_endpgm
1267 ;
1268 ; GFX12-LABEL: atomic_sub_i64_addr64:
1269 ; GFX12:       ; %bb.0: ; %entry
1270 ; GFX12-NEXT:    s_clause 0x1
1271 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1272 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1273 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1274 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1275 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1276 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1277 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1278 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1279 ; GFX12-NEXT:    flat_atomic_sub_u64 v[2:3], v[0:1] scope:SCOPE_DEV
1280 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1281 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1282 ; GFX12-NEXT:    s_endpgm
1283 entry:
1284   %ptr = getelementptr i64, ptr %out, i64 %index
1285   %tmp0 = atomicrmw volatile sub ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1286   ret void
1287 }
1288
1289 define amdgpu_kernel void @atomic_sub_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
1290 ; GFX7-LABEL: atomic_sub_i64_ret_addr64:
1291 ; GFX7:       ; %bb.0: ; %entry
1292 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1293 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1294 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1295 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1296 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1297 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
1298 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
1299 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1300 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1301 ; GFX7-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1302 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1303 ; GFX7-NEXT:    buffer_wbinvl1_vol
1304 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1305 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1306 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1307 ; GFX7-NEXT:    s_endpgm
1308 ;
1309 ; GFX8-LABEL: atomic_sub_i64_ret_addr64:
1310 ; GFX8:       ; %bb.0: ; %entry
1311 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1312 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1313 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
1314 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
1315 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1316 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
1317 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
1318 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1319 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1320 ; GFX8-NEXT:    flat_atomic_sub_x2 v[0:1], v[2:3], v[0:1] glc
1321 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
1322 ; GFX8-NEXT:    buffer_wbinvl1_vol
1323 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1324 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1325 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1326 ; GFX8-NEXT:    s_endpgm
1327 ;
1328 ; GFX12-LABEL: atomic_sub_i64_ret_addr64:
1329 ; GFX12:       ; %bb.0: ; %entry
1330 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1331 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1332 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
1333 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
1334 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
1335 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1336 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1337 ; GFX12-NEXT:    flat_atomic_sub_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
1338 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1339 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
1340 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1341 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1342 ; GFX12-NEXT:    s_endpgm
1343 entry:
1344   %ptr = getelementptr i64, ptr %out, i64 %index
1345   %tmp0 = atomicrmw volatile sub ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
1346   store i64 %tmp0, ptr %out2
1347   ret void
1348 }
1349
1350 define amdgpu_kernel void @atomic_max_i64_offset(ptr %out, i64 %in) {
1351 ; GFX7-LABEL: atomic_max_i64_offset:
1352 ; GFX7:       ; %bb.0: ; %entry
1353 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1354 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1355 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1356 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1357 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1358 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1359 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1360 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1361 ; GFX7-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1362 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1363 ; GFX7-NEXT:    s_endpgm
1364 ;
1365 ; GFX8-LABEL: atomic_max_i64_offset:
1366 ; GFX8:       ; %bb.0: ; %entry
1367 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1368 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1369 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1370 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1371 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1372 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1373 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1374 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1375 ; GFX8-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1376 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1377 ; GFX8-NEXT:    s_endpgm
1378 ;
1379 ; GFX12-LABEL: atomic_max_i64_offset:
1380 ; GFX12:       ; %bb.0: ; %entry
1381 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1382 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1383 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1384 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1385 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[2:3] offset:32 scope:SCOPE_SE
1386 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1387 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1388 ; GFX12-NEXT:    s_endpgm
1389 entry:
1390   %gep = getelementptr i64, ptr %out, i64 4
1391   %tmp0 = atomicrmw volatile max ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1392   ret void
1393 }
1394
1395 define amdgpu_kernel void @atomic_max_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
1396 ; GFX7-LABEL: atomic_max_i64_ret_offset:
1397 ; GFX7:       ; %bb.0: ; %entry
1398 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
1399 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1400 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1401 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
1402 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1403 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1404 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1405 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
1406 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1407 ; GFX7-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1408 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1409 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1410 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1411 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1412 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1413 ; GFX7-NEXT:    s_endpgm
1414 ;
1415 ; GFX8-LABEL: atomic_max_i64_ret_offset:
1416 ; GFX8:       ; %bb.0: ; %entry
1417 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1418 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1419 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1420 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
1421 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1422 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1423 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1424 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
1425 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1426 ; GFX8-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1427 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1428 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1429 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1430 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1431 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1432 ; GFX8-NEXT:    s_endpgm
1433 ;
1434 ; GFX12-LABEL: atomic_max_i64_ret_offset:
1435 ; GFX12:       ; %bb.0: ; %entry
1436 ; GFX12-NEXT:    s_clause 0x1
1437 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1438 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1439 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1440 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1441 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
1442 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
1443 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1444 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1445 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1446 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1447 ; GFX12-NEXT:    s_endpgm
1448 entry:
1449   %gep = getelementptr i64, ptr %out, i64 4
1450   %tmp0 = atomicrmw volatile max ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1451   store i64 %tmp0, ptr %out2
1452   ret void
1453 }
1454
1455 define amdgpu_kernel void @atomic_max_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
1456 ; GFX7-LABEL: atomic_max_i64_addr64_offset:
1457 ; GFX7:       ; %bb.0: ; %entry
1458 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1459 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1460 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1461 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1462 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1463 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1464 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
1465 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
1466 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1467 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1468 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1469 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1470 ; GFX7-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1471 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1472 ; GFX7-NEXT:    s_endpgm
1473 ;
1474 ; GFX8-LABEL: atomic_max_i64_addr64_offset:
1475 ; GFX8:       ; %bb.0: ; %entry
1476 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1477 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1478 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1479 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1480 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1481 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1482 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
1483 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
1484 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1485 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1486 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1487 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1488 ; GFX8-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1489 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1490 ; GFX8-NEXT:    s_endpgm
1491 ;
1492 ; GFX12-LABEL: atomic_max_i64_addr64_offset:
1493 ; GFX12:       ; %bb.0: ; %entry
1494 ; GFX12-NEXT:    s_clause 0x1
1495 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1496 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1497 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1498 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1499 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1500 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1501 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1502 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1503 ; GFX12-NEXT:    flat_atomic_max_i64 v[2:3], v[0:1] offset:32 scope:SCOPE_SE
1504 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1505 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1506 ; GFX12-NEXT:    s_endpgm
1507 entry:
1508   %ptr = getelementptr i64, ptr %out, i64 %index
1509   %gep = getelementptr i64, ptr %ptr, i64 4
1510   %tmp0 = atomicrmw volatile max ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1511   ret void
1512 }
1513
1514 define amdgpu_kernel void @atomic_max_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
1515 ; GFX7-LABEL: atomic_max_i64_ret_addr64_offset:
1516 ; GFX7:       ; %bb.0: ; %entry
1517 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1518 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1519 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1520 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1521 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1522 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
1523 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
1524 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1525 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1526 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1527 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1528 ; GFX7-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1529 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1530 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1531 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1532 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1533 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1534 ; GFX7-NEXT:    s_endpgm
1535 ;
1536 ; GFX8-LABEL: atomic_max_i64_ret_addr64_offset:
1537 ; GFX8:       ; %bb.0: ; %entry
1538 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1539 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1540 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
1541 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
1542 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1543 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
1544 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
1545 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1546 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1547 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1548 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1549 ; GFX8-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1550 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1551 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1552 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1553 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1554 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1555 ; GFX8-NEXT:    s_endpgm
1556 ;
1557 ; GFX12-LABEL: atomic_max_i64_ret_addr64_offset:
1558 ; GFX12:       ; %bb.0: ; %entry
1559 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1560 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1561 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
1562 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
1563 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
1564 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1565 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1566 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
1567 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1568 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1569 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1570 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1571 ; GFX12-NEXT:    s_endpgm
1572 entry:
1573   %ptr = getelementptr i64, ptr %out, i64 %index
1574   %gep = getelementptr i64, ptr %ptr, i64 4
1575   %tmp0 = atomicrmw volatile max ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1576   store i64 %tmp0, ptr %out2
1577   ret void
1578 }
1579
1580 define amdgpu_kernel void @atomic_max_i64(ptr %out, i64 %in) {
1581 ; GFX7-LABEL: atomic_max_i64:
1582 ; GFX7:       ; %bb.0: ; %entry
1583 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1584 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1585 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1586 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1587 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1588 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1589 ; GFX7-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3]
1590 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1591 ; GFX7-NEXT:    s_endpgm
1592 ;
1593 ; GFX8-LABEL: atomic_max_i64:
1594 ; GFX8:       ; %bb.0: ; %entry
1595 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1596 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1597 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
1598 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
1599 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1600 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1601 ; GFX8-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3]
1602 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1603 ; GFX8-NEXT:    s_endpgm
1604 ;
1605 ; GFX12-LABEL: atomic_max_i64:
1606 ; GFX12:       ; %bb.0: ; %entry
1607 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1608 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1609 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1610 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1611 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[2:3] scope:SCOPE_SE
1612 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1613 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1614 ; GFX12-NEXT:    s_endpgm
1615 entry:
1616   %tmp0 = atomicrmw volatile max ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1617   ret void
1618 }
1619
1620 define amdgpu_kernel void @atomic_max_i64_ret(ptr %out, ptr %out2, i64 %in) {
1621 ; GFX7-LABEL: atomic_max_i64_ret:
1622 ; GFX7:       ; %bb.0: ; %entry
1623 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1624 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1625 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1626 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
1627 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
1628 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
1629 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
1630 ; GFX7-NEXT:    flat_atomic_smax_x2 v[0:1], v[0:1], v[2:3] glc
1631 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1632 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1633 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1634 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1635 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1636 ; GFX7-NEXT:    s_endpgm
1637 ;
1638 ; GFX8-LABEL: atomic_max_i64_ret:
1639 ; GFX8:       ; %bb.0: ; %entry
1640 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1641 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1642 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1643 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
1644 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
1645 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
1646 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
1647 ; GFX8-NEXT:    flat_atomic_smax_x2 v[0:1], v[0:1], v[2:3] glc
1648 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1649 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1650 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1651 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1652 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1653 ; GFX8-NEXT:    s_endpgm
1654 ;
1655 ; GFX12-LABEL: atomic_max_i64_ret:
1656 ; GFX12:       ; %bb.0: ; %entry
1657 ; GFX12-NEXT:    s_clause 0x1
1658 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1659 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1660 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1661 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1662 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
1663 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_SE
1664 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1665 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1666 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1667 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1668 ; GFX12-NEXT:    s_endpgm
1669 entry:
1670   %tmp0 = atomicrmw volatile max ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1671   store i64 %tmp0, ptr %out2
1672   ret void
1673 }
1674
1675 define amdgpu_kernel void @atomic_max_i64_addr64(ptr %out, i64 %in, i64 %index) {
1676 ; GFX7-LABEL: atomic_max_i64_addr64:
1677 ; GFX7:       ; %bb.0: ; %entry
1678 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1679 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1680 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1681 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1682 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1683 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1684 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
1685 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
1686 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1687 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1688 ; GFX7-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1689 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1690 ; GFX7-NEXT:    s_endpgm
1691 ;
1692 ; GFX8-LABEL: atomic_max_i64_addr64:
1693 ; GFX8:       ; %bb.0: ; %entry
1694 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1695 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1696 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1697 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1698 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1699 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1700 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
1701 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
1702 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1703 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1704 ; GFX8-NEXT:    flat_atomic_smax_x2 v[2:3], v[0:1]
1705 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1706 ; GFX8-NEXT:    s_endpgm
1707 ;
1708 ; GFX12-LABEL: atomic_max_i64_addr64:
1709 ; GFX12:       ; %bb.0: ; %entry
1710 ; GFX12-NEXT:    s_clause 0x1
1711 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1712 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1713 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1714 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1715 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1716 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1717 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1718 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1719 ; GFX12-NEXT:    flat_atomic_max_i64 v[2:3], v[0:1] scope:SCOPE_SE
1720 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1721 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1722 ; GFX12-NEXT:    s_endpgm
1723 entry:
1724   %ptr = getelementptr i64, ptr %out, i64 %index
1725   %tmp0 = atomicrmw volatile max ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1726   ret void
1727 }
1728
1729 define amdgpu_kernel void @atomic_max_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
1730 ; GFX7-LABEL: atomic_max_i64_ret_addr64:
1731 ; GFX7:       ; %bb.0: ; %entry
1732 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1733 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1734 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1735 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1736 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1737 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
1738 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
1739 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1740 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1741 ; GFX7-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1742 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1743 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1744 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1745 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1746 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1747 ; GFX7-NEXT:    s_endpgm
1748 ;
1749 ; GFX8-LABEL: atomic_max_i64_ret_addr64:
1750 ; GFX8:       ; %bb.0: ; %entry
1751 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1752 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1753 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
1754 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
1755 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1756 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
1757 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
1758 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1759 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1760 ; GFX8-NEXT:    flat_atomic_smax_x2 v[0:1], v[2:3], v[0:1] glc
1761 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1762 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1763 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1764 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1765 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1766 ; GFX8-NEXT:    s_endpgm
1767 ;
1768 ; GFX12-LABEL: atomic_max_i64_ret_addr64:
1769 ; GFX12:       ; %bb.0: ; %entry
1770 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
1771 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1772 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
1773 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
1774 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
1775 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1776 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1777 ; GFX12-NEXT:    flat_atomic_max_i64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
1778 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1779 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1780 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1781 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1782 ; GFX12-NEXT:    s_endpgm
1783 entry:
1784   %ptr = getelementptr i64, ptr %out, i64 %index
1785   %tmp0 = atomicrmw volatile max ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1786   store i64 %tmp0, ptr %out2
1787   ret void
1788 }
1789
1790 define amdgpu_kernel void @atomic_umax_i64_offset(ptr %out, i64 %in) {
1791 ; GFX7-LABEL: atomic_umax_i64_offset:
1792 ; GFX7:       ; %bb.0: ; %entry
1793 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1794 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1795 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1796 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1797 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1798 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1799 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1800 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1801 ; GFX7-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
1802 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1803 ; GFX7-NEXT:    s_endpgm
1804 ;
1805 ; GFX8-LABEL: atomic_umax_i64_offset:
1806 ; GFX8:       ; %bb.0: ; %entry
1807 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1808 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1809 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1810 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1811 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1812 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1813 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1814 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1815 ; GFX8-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
1816 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1817 ; GFX8-NEXT:    s_endpgm
1818 ;
1819 ; GFX12-LABEL: atomic_umax_i64_offset:
1820 ; GFX12:       ; %bb.0: ; %entry
1821 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1822 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1823 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1824 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1825 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_SE
1826 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1827 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1828 ; GFX12-NEXT:    s_endpgm
1829 entry:
1830   %gep = getelementptr i64, ptr %out, i64 4
1831   %tmp0 = atomicrmw volatile umax ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1832   ret void
1833 }
1834
1835 define amdgpu_kernel void @atomic_umax_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
1836 ; GFX7-LABEL: atomic_umax_i64_ret_offset:
1837 ; GFX7:       ; %bb.0: ; %entry
1838 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
1839 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1840 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1841 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
1842 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1843 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1844 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1845 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
1846 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1847 ; GFX7-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
1848 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1849 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1850 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1851 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1852 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1853 ; GFX7-NEXT:    s_endpgm
1854 ;
1855 ; GFX8-LABEL: atomic_umax_i64_ret_offset:
1856 ; GFX8:       ; %bb.0: ; %entry
1857 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
1858 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1859 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1860 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
1861 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1862 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1863 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1864 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
1865 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1866 ; GFX8-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
1867 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1868 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1869 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1870 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1871 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1872 ; GFX8-NEXT:    s_endpgm
1873 ;
1874 ; GFX12-LABEL: atomic_umax_i64_ret_offset:
1875 ; GFX12:       ; %bb.0: ; %entry
1876 ; GFX12-NEXT:    s_clause 0x1
1877 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1878 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
1879 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1880 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
1881 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
1882 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
1883 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
1884 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1885 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
1886 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
1887 ; GFX12-NEXT:    s_endpgm
1888 entry:
1889   %gep = getelementptr i64, ptr %out, i64 4
1890   %tmp0 = atomicrmw volatile umax ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1891   store i64 %tmp0, ptr %out2
1892   ret void
1893 }
1894
1895 define amdgpu_kernel void @atomic_umax_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
1896 ; GFX7-LABEL: atomic_umax_i64_addr64_offset:
1897 ; GFX7:       ; %bb.0: ; %entry
1898 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
1899 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
1900 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1901 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
1902 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
1903 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1904 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
1905 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
1906 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1907 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1908 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1909 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1910 ; GFX7-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
1911 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1912 ; GFX7-NEXT:    s_endpgm
1913 ;
1914 ; GFX8-LABEL: atomic_umax_i64_addr64_offset:
1915 ; GFX8:       ; %bb.0: ; %entry
1916 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
1917 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
1918 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1919 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
1920 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
1921 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
1922 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
1923 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
1924 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1925 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1926 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1927 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1928 ; GFX8-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
1929 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1930 ; GFX8-NEXT:    s_endpgm
1931 ;
1932 ; GFX12-LABEL: atomic_umax_i64_addr64_offset:
1933 ; GFX12:       ; %bb.0: ; %entry
1934 ; GFX12-NEXT:    s_clause 0x1
1935 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
1936 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
1937 ; GFX12-NEXT:    s_wait_kmcnt 0x0
1938 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1939 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
1940 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
1941 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
1942 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
1943 ; GFX12-NEXT:    flat_atomic_max_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_SE
1944 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
1945 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
1946 ; GFX12-NEXT:    s_endpgm
1947 entry:
1948   %ptr = getelementptr i64, ptr %out, i64 %index
1949   %gep = getelementptr i64, ptr %ptr, i64 4
1950   %tmp0 = atomicrmw volatile umax ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
1951   ret void
1952 }
1953
1954 define amdgpu_kernel void @atomic_umax_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
1955 ; GFX7-LABEL: atomic_umax_i64_ret_addr64_offset:
1956 ; GFX7:       ; %bb.0: ; %entry
1957 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
1958 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1959 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
1960 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
1961 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1962 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
1963 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
1964 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
1965 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
1966 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
1967 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
1968 ; GFX7-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
1969 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
1970 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
1971 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
1972 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
1973 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1974 ; GFX7-NEXT:    s_endpgm
1975 ;
1976 ; GFX8-LABEL: atomic_umax_i64_ret_addr64_offset:
1977 ; GFX8:       ; %bb.0: ; %entry
1978 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
1979 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1980 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
1981 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
1982 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
1983 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
1984 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
1985 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
1986 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
1987 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
1988 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
1989 ; GFX8-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
1990 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
1991 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
1992 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
1993 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
1994 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
1995 ; GFX8-NEXT:    s_endpgm
1996 ;
1997 ; GFX12-LABEL: atomic_umax_i64_ret_addr64_offset:
1998 ; GFX12:       ; %bb.0: ; %entry
1999 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2000 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2001 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
2002 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
2003 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
2004 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2005 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2006 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2007 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2008 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2009 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2010 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2011 ; GFX12-NEXT:    s_endpgm
2012 entry:
2013   %ptr = getelementptr i64, ptr %out, i64 %index
2014   %gep = getelementptr i64, ptr %ptr, i64 4
2015   %tmp0 = atomicrmw volatile umax ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2016   store i64 %tmp0, ptr %out2
2017   ret void
2018 }
2019
2020 define amdgpu_kernel void @atomic_umax_i64(ptr %out, i64 %in) {
2021 ; GFX7-LABEL: atomic_umax_i64:
2022 ; GFX7:       ; %bb.0: ; %entry
2023 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2024 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2025 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2026 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2027 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2028 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2029 ; GFX7-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3]
2030 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2031 ; GFX7-NEXT:    s_endpgm
2032 ;
2033 ; GFX8-LABEL: atomic_umax_i64:
2034 ; GFX8:       ; %bb.0: ; %entry
2035 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2036 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2037 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2038 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2039 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2040 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2041 ; GFX8-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3]
2042 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2043 ; GFX8-NEXT:    s_endpgm
2044 ;
2045 ; GFX12-LABEL: atomic_umax_i64:
2046 ; GFX12:       ; %bb.0: ; %entry
2047 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2048 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2049 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2050 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2051 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[2:3] scope:SCOPE_SE
2052 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2053 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2054 ; GFX12-NEXT:    s_endpgm
2055 entry:
2056   %tmp0 = atomicrmw volatile umax ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2057   ret void
2058 }
2059
2060 define amdgpu_kernel void @atomic_umax_i64_ret(ptr %out, ptr %out2, i64 %in) {
2061 ; GFX7-LABEL: atomic_umax_i64_ret:
2062 ; GFX7:       ; %bb.0: ; %entry
2063 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2064 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2065 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2066 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2067 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2068 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2069 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
2070 ; GFX7-NEXT:    flat_atomic_umax_x2 v[0:1], v[0:1], v[2:3] glc
2071 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2072 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2073 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2074 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2075 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2076 ; GFX7-NEXT:    s_endpgm
2077 ;
2078 ; GFX8-LABEL: atomic_umax_i64_ret:
2079 ; GFX8:       ; %bb.0: ; %entry
2080 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2081 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2082 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2083 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2084 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2085 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
2086 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
2087 ; GFX8-NEXT:    flat_atomic_umax_x2 v[0:1], v[0:1], v[2:3] glc
2088 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2089 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2090 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2091 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2092 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2093 ; GFX8-NEXT:    s_endpgm
2094 ;
2095 ; GFX12-LABEL: atomic_umax_i64_ret:
2096 ; GFX12:       ; %bb.0: ; %entry
2097 ; GFX12-NEXT:    s_clause 0x1
2098 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2099 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2100 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2101 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2102 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
2103 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2104 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2105 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2106 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2107 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2108 ; GFX12-NEXT:    s_endpgm
2109 entry:
2110   %tmp0 = atomicrmw volatile umax ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2111   store i64 %tmp0, ptr %out2
2112   ret void
2113 }
2114
2115 define amdgpu_kernel void @atomic_umax_i64_addr64(ptr %out, i64 %in, i64 %index) {
2116 ; GFX7-LABEL: atomic_umax_i64_addr64:
2117 ; GFX7:       ; %bb.0: ; %entry
2118 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2119 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2120 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2121 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2122 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2123 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2124 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
2125 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
2126 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2127 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2128 ; GFX7-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
2129 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2130 ; GFX7-NEXT:    s_endpgm
2131 ;
2132 ; GFX8-LABEL: atomic_umax_i64_addr64:
2133 ; GFX8:       ; %bb.0: ; %entry
2134 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2135 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2136 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2137 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2138 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2139 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2140 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
2141 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
2142 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2143 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2144 ; GFX8-NEXT:    flat_atomic_umax_x2 v[2:3], v[0:1]
2145 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2146 ; GFX8-NEXT:    s_endpgm
2147 ;
2148 ; GFX12-LABEL: atomic_umax_i64_addr64:
2149 ; GFX12:       ; %bb.0: ; %entry
2150 ; GFX12-NEXT:    s_clause 0x1
2151 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2152 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2153 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2154 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2155 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2156 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2157 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2158 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2159 ; GFX12-NEXT:    flat_atomic_max_u64 v[2:3], v[0:1] scope:SCOPE_SE
2160 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2161 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2162 ; GFX12-NEXT:    s_endpgm
2163 entry:
2164   %ptr = getelementptr i64, ptr %out, i64 %index
2165   %tmp0 = atomicrmw volatile umax ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2166   ret void
2167 }
2168
2169 define amdgpu_kernel void @atomic_umax_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
2170 ; GFX7-LABEL: atomic_umax_i64_ret_addr64:
2171 ; GFX7:       ; %bb.0: ; %entry
2172 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2173 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2174 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2175 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2176 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2177 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
2178 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
2179 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2180 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2181 ; GFX7-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
2182 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2183 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2184 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2185 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2186 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2187 ; GFX7-NEXT:    s_endpgm
2188 ;
2189 ; GFX8-LABEL: atomic_umax_i64_ret_addr64:
2190 ; GFX8:       ; %bb.0: ; %entry
2191 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2192 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2193 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
2194 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
2195 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2196 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
2197 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
2198 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2199 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2200 ; GFX8-NEXT:    flat_atomic_umax_x2 v[0:1], v[2:3], v[0:1] glc
2201 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2202 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2203 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2204 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2205 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2206 ; GFX8-NEXT:    s_endpgm
2207 ;
2208 ; GFX12-LABEL: atomic_umax_i64_ret_addr64:
2209 ; GFX12:       ; %bb.0: ; %entry
2210 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2211 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2212 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
2213 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
2214 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
2215 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2216 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2217 ; GFX12-NEXT:    flat_atomic_max_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2218 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2219 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2220 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2221 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2222 ; GFX12-NEXT:    s_endpgm
2223 entry:
2224   %ptr = getelementptr i64, ptr %out, i64 %index
2225   %tmp0 = atomicrmw volatile umax ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2226   store i64 %tmp0, ptr %out2
2227   ret void
2228 }
2229
2230 define amdgpu_kernel void @atomic_min_i64_offset(ptr %out, i64 %in) {
2231 ; GFX7-LABEL: atomic_min_i64_offset:
2232 ; GFX7:       ; %bb.0: ; %entry
2233 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2234 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2235 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2236 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2237 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2238 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2239 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2240 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2241 ; GFX7-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2242 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2243 ; GFX7-NEXT:    s_endpgm
2244 ;
2245 ; GFX8-LABEL: atomic_min_i64_offset:
2246 ; GFX8:       ; %bb.0: ; %entry
2247 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2248 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2249 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2250 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2251 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2252 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2253 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2254 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2255 ; GFX8-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2256 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2257 ; GFX8-NEXT:    s_endpgm
2258 ;
2259 ; GFX12-LABEL: atomic_min_i64_offset:
2260 ; GFX12:       ; %bb.0: ; %entry
2261 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2262 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2263 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2264 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2265 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[2:3] offset:32 scope:SCOPE_SE
2266 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2267 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2268 ; GFX12-NEXT:    s_endpgm
2269 entry:
2270   %gep = getelementptr i64, ptr %out, i64 4
2271   %tmp0 = atomicrmw volatile min ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2272   ret void
2273 }
2274
2275 define amdgpu_kernel void @atomic_min_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
2276 ; GFX7-LABEL: atomic_min_i64_ret_offset:
2277 ; GFX7:       ; %bb.0: ; %entry
2278 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
2279 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2280 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2281 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
2282 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2283 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2284 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2285 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
2286 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2287 ; GFX7-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2288 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2289 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2290 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2291 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2292 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2293 ; GFX7-NEXT:    s_endpgm
2294 ;
2295 ; GFX8-LABEL: atomic_min_i64_ret_offset:
2296 ; GFX8:       ; %bb.0: ; %entry
2297 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2298 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2299 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2300 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
2301 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2302 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2303 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2304 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
2305 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2306 ; GFX8-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2307 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2308 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2309 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2310 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2311 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2312 ; GFX8-NEXT:    s_endpgm
2313 ;
2314 ; GFX12-LABEL: atomic_min_i64_ret_offset:
2315 ; GFX12:       ; %bb.0: ; %entry
2316 ; GFX12-NEXT:    s_clause 0x1
2317 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2318 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2319 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2320 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2321 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
2322 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2323 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2324 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2325 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2326 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2327 ; GFX12-NEXT:    s_endpgm
2328 entry:
2329   %gep = getelementptr i64, ptr %out, i64 4
2330   %tmp0 = atomicrmw volatile min ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2331   store i64 %tmp0, ptr %out2
2332   ret void
2333 }
2334
2335 define amdgpu_kernel void @atomic_min_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
2336 ; GFX7-LABEL: atomic_min_i64_addr64_offset:
2337 ; GFX7:       ; %bb.0: ; %entry
2338 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2339 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2340 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2341 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2342 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2343 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2344 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
2345 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
2346 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2347 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2348 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2349 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2350 ; GFX7-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2351 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2352 ; GFX7-NEXT:    s_endpgm
2353 ;
2354 ; GFX8-LABEL: atomic_min_i64_addr64_offset:
2355 ; GFX8:       ; %bb.0: ; %entry
2356 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2357 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2358 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2359 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2360 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2361 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2362 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
2363 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
2364 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2365 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2366 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2367 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2368 ; GFX8-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2369 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2370 ; GFX8-NEXT:    s_endpgm
2371 ;
2372 ; GFX12-LABEL: atomic_min_i64_addr64_offset:
2373 ; GFX12:       ; %bb.0: ; %entry
2374 ; GFX12-NEXT:    s_clause 0x1
2375 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2376 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2377 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2378 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2379 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2380 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2381 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2382 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2383 ; GFX12-NEXT:    flat_atomic_min_i64 v[2:3], v[0:1] offset:32 scope:SCOPE_SE
2384 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2385 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2386 ; GFX12-NEXT:    s_endpgm
2387 entry:
2388   %ptr = getelementptr i64, ptr %out, i64 %index
2389   %gep = getelementptr i64, ptr %ptr, i64 4
2390   %tmp0 = atomicrmw volatile min ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2391   ret void
2392 }
2393
2394 define amdgpu_kernel void @atomic_min_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
2395 ; GFX7-LABEL: atomic_min_i64_ret_addr64_offset:
2396 ; GFX7:       ; %bb.0: ; %entry
2397 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2398 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2399 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2400 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2401 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2402 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
2403 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
2404 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2405 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2406 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2407 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2408 ; GFX7-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2409 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2410 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2411 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2412 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2413 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2414 ; GFX7-NEXT:    s_endpgm
2415 ;
2416 ; GFX8-LABEL: atomic_min_i64_ret_addr64_offset:
2417 ; GFX8:       ; %bb.0: ; %entry
2418 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2419 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2420 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
2421 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
2422 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2423 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
2424 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
2425 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2426 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2427 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2428 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2429 ; GFX8-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2430 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2431 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2432 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2433 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2434 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2435 ; GFX8-NEXT:    s_endpgm
2436 ;
2437 ; GFX12-LABEL: atomic_min_i64_ret_addr64_offset:
2438 ; GFX12:       ; %bb.0: ; %entry
2439 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2440 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2441 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
2442 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
2443 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
2444 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2445 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2446 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2447 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2448 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2449 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2450 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2451 ; GFX12-NEXT:    s_endpgm
2452 entry:
2453   %ptr = getelementptr i64, ptr %out, i64 %index
2454   %gep = getelementptr i64, ptr %ptr, i64 4
2455   %tmp0 = atomicrmw volatile min ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2456   store i64 %tmp0, ptr %out2
2457   ret void
2458 }
2459
2460 define amdgpu_kernel void @atomic_min_i64(ptr %out, i64 %in) {
2461 ; GFX7-LABEL: atomic_min_i64:
2462 ; GFX7:       ; %bb.0: ; %entry
2463 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2464 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2465 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2466 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2467 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2468 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2469 ; GFX7-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3]
2470 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2471 ; GFX7-NEXT:    s_endpgm
2472 ;
2473 ; GFX8-LABEL: atomic_min_i64:
2474 ; GFX8:       ; %bb.0: ; %entry
2475 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2476 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2477 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2478 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2479 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2480 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2481 ; GFX8-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3]
2482 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2483 ; GFX8-NEXT:    s_endpgm
2484 ;
2485 ; GFX12-LABEL: atomic_min_i64:
2486 ; GFX12:       ; %bb.0: ; %entry
2487 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2488 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2489 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2490 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2491 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[2:3] scope:SCOPE_SE
2492 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2493 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2494 ; GFX12-NEXT:    s_endpgm
2495 entry:
2496   %tmp0 = atomicrmw volatile min ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2497   ret void
2498 }
2499
2500 define amdgpu_kernel void @atomic_min_i64_ret(ptr %out, ptr %out2, i64 %in) {
2501 ; GFX7-LABEL: atomic_min_i64_ret:
2502 ; GFX7:       ; %bb.0: ; %entry
2503 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2504 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2505 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2506 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2507 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2508 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2509 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
2510 ; GFX7-NEXT:    flat_atomic_smin_x2 v[0:1], v[0:1], v[2:3] glc
2511 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2512 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2513 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2514 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2515 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2516 ; GFX7-NEXT:    s_endpgm
2517 ;
2518 ; GFX8-LABEL: atomic_min_i64_ret:
2519 ; GFX8:       ; %bb.0: ; %entry
2520 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2521 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2522 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2523 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2524 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2525 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
2526 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
2527 ; GFX8-NEXT:    flat_atomic_smin_x2 v[0:1], v[0:1], v[2:3] glc
2528 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2529 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2530 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2531 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2532 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2533 ; GFX8-NEXT:    s_endpgm
2534 ;
2535 ; GFX12-LABEL: atomic_min_i64_ret:
2536 ; GFX12:       ; %bb.0: ; %entry
2537 ; GFX12-NEXT:    s_clause 0x1
2538 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2539 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2540 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2541 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2542 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
2543 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2544 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2545 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2546 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2547 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2548 ; GFX12-NEXT:    s_endpgm
2549 entry:
2550   %tmp0 = atomicrmw volatile min ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2551   store i64 %tmp0, ptr %out2
2552   ret void
2553 }
2554
2555 define amdgpu_kernel void @atomic_min_i64_addr64(ptr %out, i64 %in, i64 %index) {
2556 ; GFX7-LABEL: atomic_min_i64_addr64:
2557 ; GFX7:       ; %bb.0: ; %entry
2558 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2559 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2560 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2561 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2562 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2563 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2564 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
2565 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
2566 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2567 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2568 ; GFX7-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2569 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2570 ; GFX7-NEXT:    s_endpgm
2571 ;
2572 ; GFX8-LABEL: atomic_min_i64_addr64:
2573 ; GFX8:       ; %bb.0: ; %entry
2574 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2575 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2576 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2577 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2578 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2579 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2580 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
2581 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
2582 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2583 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2584 ; GFX8-NEXT:    flat_atomic_smin_x2 v[2:3], v[0:1]
2585 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2586 ; GFX8-NEXT:    s_endpgm
2587 ;
2588 ; GFX12-LABEL: atomic_min_i64_addr64:
2589 ; GFX12:       ; %bb.0: ; %entry
2590 ; GFX12-NEXT:    s_clause 0x1
2591 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2592 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2593 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2594 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2595 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2596 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2597 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2598 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2599 ; GFX12-NEXT:    flat_atomic_min_i64 v[2:3], v[0:1] scope:SCOPE_SE
2600 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2601 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2602 ; GFX12-NEXT:    s_endpgm
2603 entry:
2604   %ptr = getelementptr i64, ptr %out, i64 %index
2605   %tmp0 = atomicrmw volatile min ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2606   ret void
2607 }
2608
2609 define amdgpu_kernel void @atomic_min_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
2610 ; GFX7-LABEL: atomic_min_i64_ret_addr64:
2611 ; GFX7:       ; %bb.0: ; %entry
2612 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2613 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2614 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2615 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2616 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2617 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
2618 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
2619 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2620 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2621 ; GFX7-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2622 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2623 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2624 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2625 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2626 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2627 ; GFX7-NEXT:    s_endpgm
2628 ;
2629 ; GFX8-LABEL: atomic_min_i64_ret_addr64:
2630 ; GFX8:       ; %bb.0: ; %entry
2631 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2632 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2633 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
2634 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
2635 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2636 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
2637 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
2638 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2639 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2640 ; GFX8-NEXT:    flat_atomic_smin_x2 v[0:1], v[2:3], v[0:1] glc
2641 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2642 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2643 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2644 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2645 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2646 ; GFX8-NEXT:    s_endpgm
2647 ;
2648 ; GFX12-LABEL: atomic_min_i64_ret_addr64:
2649 ; GFX12:       ; %bb.0: ; %entry
2650 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2651 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2652 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
2653 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
2654 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
2655 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2656 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2657 ; GFX12-NEXT:    flat_atomic_min_i64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2658 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2659 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2660 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2661 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2662 ; GFX12-NEXT:    s_endpgm
2663 entry:
2664   %ptr = getelementptr i64, ptr %out, i64 %index
2665   %tmp0 = atomicrmw volatile min ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2666   store i64 %tmp0, ptr %out2
2667   ret void
2668 }
2669
2670 define amdgpu_kernel void @atomic_umin_i64_offset(ptr %out, i64 %in) {
2671 ; GFX7-LABEL: atomic_umin_i64_offset:
2672 ; GFX7:       ; %bb.0: ; %entry
2673 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2674 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2675 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2676 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2677 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2678 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2679 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2680 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2681 ; GFX7-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
2682 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2683 ; GFX7-NEXT:    s_endpgm
2684 ;
2685 ; GFX8-LABEL: atomic_umin_i64_offset:
2686 ; GFX8:       ; %bb.0: ; %entry
2687 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2688 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2689 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2690 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2691 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2692 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2693 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2694 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2695 ; GFX8-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
2696 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2697 ; GFX8-NEXT:    s_endpgm
2698 ;
2699 ; GFX12-LABEL: atomic_umin_i64_offset:
2700 ; GFX12:       ; %bb.0: ; %entry
2701 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2702 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2703 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2704 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2705 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_SE
2706 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2707 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2708 ; GFX12-NEXT:    s_endpgm
2709 entry:
2710   %gep = getelementptr i64, ptr %out, i64 4
2711   %tmp0 = atomicrmw volatile umin ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2712   ret void
2713 }
2714
2715 define amdgpu_kernel void @atomic_umin_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
2716 ; GFX7-LABEL: atomic_umin_i64_ret_offset:
2717 ; GFX7:       ; %bb.0: ; %entry
2718 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
2719 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2720 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2721 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
2722 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2723 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2724 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2725 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
2726 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2727 ; GFX7-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
2728 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2729 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2730 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2731 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2732 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2733 ; GFX7-NEXT:    s_endpgm
2734 ;
2735 ; GFX8-LABEL: atomic_umin_i64_ret_offset:
2736 ; GFX8:       ; %bb.0: ; %entry
2737 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
2738 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2739 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2740 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
2741 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2742 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2743 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2744 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
2745 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2746 ; GFX8-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
2747 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2748 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2749 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2750 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2751 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2752 ; GFX8-NEXT:    s_endpgm
2753 ;
2754 ; GFX12-LABEL: atomic_umin_i64_ret_offset:
2755 ; GFX12:       ; %bb.0: ; %entry
2756 ; GFX12-NEXT:    s_clause 0x1
2757 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2758 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2759 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2760 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2761 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
2762 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2763 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2764 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2765 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2766 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2767 ; GFX12-NEXT:    s_endpgm
2768 entry:
2769   %gep = getelementptr i64, ptr %out, i64 4
2770   %tmp0 = atomicrmw volatile umin ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2771   store i64 %tmp0, ptr %out2
2772   ret void
2773 }
2774
2775 define amdgpu_kernel void @atomic_umin_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
2776 ; GFX7-LABEL: atomic_umin_i64_addr64_offset:
2777 ; GFX7:       ; %bb.0: ; %entry
2778 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2779 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2780 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2781 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
2782 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
2783 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2784 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
2785 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
2786 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2787 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2788 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2789 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2790 ; GFX7-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
2791 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2792 ; GFX7-NEXT:    s_endpgm
2793 ;
2794 ; GFX8-LABEL: atomic_umin_i64_addr64_offset:
2795 ; GFX8:       ; %bb.0: ; %entry
2796 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2797 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2798 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2799 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
2800 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
2801 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
2802 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
2803 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
2804 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2805 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2806 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2807 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2808 ; GFX8-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
2809 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2810 ; GFX8-NEXT:    s_endpgm
2811 ;
2812 ; GFX12-LABEL: atomic_umin_i64_addr64_offset:
2813 ; GFX12:       ; %bb.0: ; %entry
2814 ; GFX12-NEXT:    s_clause 0x1
2815 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
2816 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2817 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2818 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2819 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
2820 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
2821 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2822 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2823 ; GFX12-NEXT:    flat_atomic_min_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_SE
2824 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2825 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2826 ; GFX12-NEXT:    s_endpgm
2827 entry:
2828   %ptr = getelementptr i64, ptr %out, i64 %index
2829   %gep = getelementptr i64, ptr %ptr, i64 4
2830   %tmp0 = atomicrmw volatile umin ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2831   ret void
2832 }
2833
2834 define amdgpu_kernel void @atomic_umin_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
2835 ; GFX7-LABEL: atomic_umin_i64_ret_addr64_offset:
2836 ; GFX7:       ; %bb.0: ; %entry
2837 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
2838 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2839 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
2840 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
2841 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2842 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
2843 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
2844 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
2845 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
2846 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
2847 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
2848 ; GFX7-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
2849 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2850 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2851 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2852 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2853 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2854 ; GFX7-NEXT:    s_endpgm
2855 ;
2856 ; GFX8-LABEL: atomic_umin_i64_ret_addr64_offset:
2857 ; GFX8:       ; %bb.0: ; %entry
2858 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
2859 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2860 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
2861 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
2862 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
2863 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
2864 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
2865 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
2866 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
2867 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
2868 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
2869 ; GFX8-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
2870 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2871 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2872 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2873 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2874 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2875 ; GFX8-NEXT:    s_endpgm
2876 ;
2877 ; GFX12-LABEL: atomic_umin_i64_ret_addr64_offset:
2878 ; GFX12:       ; %bb.0: ; %entry
2879 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
2880 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2881 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
2882 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
2883 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
2884 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
2885 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
2886 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_SE
2887 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2888 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2889 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2890 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2891 ; GFX12-NEXT:    s_endpgm
2892 entry:
2893   %ptr = getelementptr i64, ptr %out, i64 %index
2894   %gep = getelementptr i64, ptr %ptr, i64 4
2895   %tmp0 = atomicrmw volatile umin ptr %gep, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2896   store i64 %tmp0, ptr %out2
2897   ret void
2898 }
2899
2900 define amdgpu_kernel void @atomic_umin_i64(ptr %out, i64 %in) {
2901 ; GFX7-LABEL: atomic_umin_i64:
2902 ; GFX7:       ; %bb.0: ; %entry
2903 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2904 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2905 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2906 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2907 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2908 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2909 ; GFX7-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3]
2910 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2911 ; GFX7-NEXT:    s_endpgm
2912 ;
2913 ; GFX8-LABEL: atomic_umin_i64:
2914 ; GFX8:       ; %bb.0: ; %entry
2915 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2916 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2917 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2918 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2919 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2920 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2921 ; GFX8-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3]
2922 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2923 ; GFX8-NEXT:    s_endpgm
2924 ;
2925 ; GFX12-LABEL: atomic_umin_i64:
2926 ; GFX12:       ; %bb.0: ; %entry
2927 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2928 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2929 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2930 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2931 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[2:3] scope:SCOPE_SE
2932 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
2933 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2934 ; GFX12-NEXT:    s_endpgm
2935 entry:
2936   %tmp0 = atomicrmw volatile umin ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2937   ret void
2938 }
2939
2940 define amdgpu_kernel void @atomic_umin_i64_ret(ptr %out, ptr %out2, i64 %in) {
2941 ; GFX7-LABEL: atomic_umin_i64_ret:
2942 ; GFX7:       ; %bb.0: ; %entry
2943 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2944 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
2945 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2946 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
2947 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
2948 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
2949 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
2950 ; GFX7-NEXT:    flat_atomic_umin_x2 v[0:1], v[0:1], v[2:3] glc
2951 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
2952 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
2953 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
2954 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
2955 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2956 ; GFX7-NEXT:    s_endpgm
2957 ;
2958 ; GFX8-LABEL: atomic_umin_i64_ret:
2959 ; GFX8:       ; %bb.0: ; %entry
2960 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
2961 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
2962 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2963 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
2964 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
2965 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
2966 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
2967 ; GFX8-NEXT:    flat_atomic_umin_x2 v[0:1], v[0:1], v[2:3] glc
2968 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
2969 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
2970 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
2971 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
2972 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
2973 ; GFX8-NEXT:    s_endpgm
2974 ;
2975 ; GFX12-LABEL: atomic_umin_i64_ret:
2976 ; GFX12:       ; %bb.0: ; %entry
2977 ; GFX12-NEXT:    s_clause 0x1
2978 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
2979 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
2980 ; GFX12-NEXT:    s_wait_kmcnt 0x0
2981 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
2982 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
2983 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_SE
2984 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
2985 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
2986 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
2987 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
2988 ; GFX12-NEXT:    s_endpgm
2989 entry:
2990   %tmp0 = atomicrmw volatile umin ptr %out, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
2991   store i64 %tmp0, ptr %out2
2992   ret void
2993 }
2994
2995 define amdgpu_kernel void @atomic_umin_i64_addr64(ptr %out, i64 %in, i64 %index) {
2996 ; GFX7-LABEL: atomic_umin_i64_addr64:
2997 ; GFX7:       ; %bb.0: ; %entry
2998 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
2999 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3000 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3001 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3002 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3003 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3004 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
3005 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
3006 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3007 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3008 ; GFX7-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
3009 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3010 ; GFX7-NEXT:    s_endpgm
3011 ;
3012 ; GFX8-LABEL: atomic_umin_i64_addr64:
3013 ; GFX8:       ; %bb.0: ; %entry
3014 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3015 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3016 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3017 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3018 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3019 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3020 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
3021 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
3022 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3023 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3024 ; GFX8-NEXT:    flat_atomic_umin_x2 v[2:3], v[0:1]
3025 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3026 ; GFX8-NEXT:    s_endpgm
3027 ;
3028 ; GFX12-LABEL: atomic_umin_i64_addr64:
3029 ; GFX12:       ; %bb.0: ; %entry
3030 ; GFX12-NEXT:    s_clause 0x1
3031 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3032 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3033 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3034 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3035 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3036 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3037 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3038 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3039 ; GFX12-NEXT:    flat_atomic_min_u64 v[2:3], v[0:1] scope:SCOPE_SE
3040 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3041 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3042 ; GFX12-NEXT:    s_endpgm
3043 entry:
3044   %ptr = getelementptr i64, ptr %out, i64 %index
3045   %tmp0 = atomicrmw volatile umin ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
3046   ret void
3047 }
3048
3049 define amdgpu_kernel void @atomic_umin_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
3050 ; GFX7-LABEL: atomic_umin_i64_ret_addr64:
3051 ; GFX7:       ; %bb.0: ; %entry
3052 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3053 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3054 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
3055 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3056 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3057 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
3058 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
3059 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3060 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3061 ; GFX7-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
3062 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3063 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3064 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3065 ; GFX7-NEXT:    s_waitcnt vmcnt(0)
3066 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3067 ; GFX7-NEXT:    s_endpgm
3068 ;
3069 ; GFX8-LABEL: atomic_umin_i64_ret_addr64:
3070 ; GFX8:       ; %bb.0: ; %entry
3071 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3072 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3073 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
3074 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
3075 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3076 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
3077 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
3078 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3079 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3080 ; GFX8-NEXT:    flat_atomic_umin_x2 v[0:1], v[2:3], v[0:1] glc
3081 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3082 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3083 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3084 ; GFX8-NEXT:    s_waitcnt vmcnt(0)
3085 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3086 ; GFX8-NEXT:    s_endpgm
3087 ;
3088 ; GFX12-LABEL: atomic_umin_i64_ret_addr64:
3089 ; GFX12:       ; %bb.0: ; %entry
3090 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3091 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3092 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
3093 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
3094 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
3095 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3096 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3097 ; GFX12-NEXT:    flat_atomic_min_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_SE
3098 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3099 ; GFX12-NEXT:    global_inv scope:SCOPE_SE
3100 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3101 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3102 ; GFX12-NEXT:    s_endpgm
3103 entry:
3104   %ptr = getelementptr i64, ptr %out, i64 %index
3105   %tmp0 = atomicrmw volatile umin ptr %ptr, i64 %in syncscope("workgroup") seq_cst, !noalias.addrspace !0
3106   store i64 %tmp0, ptr %out2
3107   ret void
3108 }
3109
3110 define amdgpu_kernel void @atomic_or_i64_offset(ptr %out, i64 %in) {
3111 ; GFX7-LABEL: atomic_or_i64_offset:
3112 ; GFX7:       ; %bb.0: ; %entry
3113 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3114 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3115 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3116 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3117 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3118 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3119 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3120 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3121 ; GFX7-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3122 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3123 ; GFX7-NEXT:    buffer_wbinvl1_vol
3124 ; GFX7-NEXT:    s_endpgm
3125 ;
3126 ; GFX8-LABEL: atomic_or_i64_offset:
3127 ; GFX8:       ; %bb.0: ; %entry
3128 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3129 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3130 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3131 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3132 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3133 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3134 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3135 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3136 ; GFX8-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3137 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3138 ; GFX8-NEXT:    buffer_wbinvl1_vol
3139 ; GFX8-NEXT:    s_endpgm
3140 ;
3141 ; GFX12-LABEL: atomic_or_i64_offset:
3142 ; GFX12:       ; %bb.0: ; %entry
3143 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3144 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3145 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3146 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3147 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
3148 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3149 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3150 ; GFX12-NEXT:    s_endpgm
3151 entry:
3152   %gep = getelementptr i64, ptr %out, i64 4
3153   %tmp0 = atomicrmw volatile or ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3154   ret void
3155 }
3156
3157 define amdgpu_kernel void @atomic_or_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
3158 ; GFX7-LABEL: atomic_or_i64_ret_offset:
3159 ; GFX7:       ; %bb.0: ; %entry
3160 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
3161 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3162 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3163 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3164 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3165 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3166 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3167 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
3168 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3169 ; GFX7-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3170 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3171 ; GFX7-NEXT:    buffer_wbinvl1_vol
3172 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3173 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3174 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3175 ; GFX7-NEXT:    s_endpgm
3176 ;
3177 ; GFX8-LABEL: atomic_or_i64_ret_offset:
3178 ; GFX8:       ; %bb.0: ; %entry
3179 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3180 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3181 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3182 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
3183 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3184 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3185 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3186 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
3187 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3188 ; GFX8-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3189 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3190 ; GFX8-NEXT:    buffer_wbinvl1_vol
3191 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3192 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3193 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3194 ; GFX8-NEXT:    s_endpgm
3195 ;
3196 ; GFX12-LABEL: atomic_or_i64_ret_offset:
3197 ; GFX12:       ; %bb.0: ; %entry
3198 ; GFX12-NEXT:    s_clause 0x1
3199 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3200 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3201 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3202 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3203 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
3204 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3205 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3206 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3207 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3208 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3209 ; GFX12-NEXT:    s_endpgm
3210 entry:
3211   %gep = getelementptr i64, ptr %out, i64 4
3212   %tmp0 = atomicrmw volatile or ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3213   store i64 %tmp0, ptr %out2
3214   ret void
3215 }
3216
3217 define amdgpu_kernel void @atomic_or_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
3218 ; GFX7-LABEL: atomic_or_i64_addr64_offset:
3219 ; GFX7:       ; %bb.0: ; %entry
3220 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3221 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3222 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3223 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3224 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3225 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3226 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
3227 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
3228 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3229 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3230 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3231 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3232 ; GFX7-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3233 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3234 ; GFX7-NEXT:    buffer_wbinvl1_vol
3235 ; GFX7-NEXT:    s_endpgm
3236 ;
3237 ; GFX8-LABEL: atomic_or_i64_addr64_offset:
3238 ; GFX8:       ; %bb.0: ; %entry
3239 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3240 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3241 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3242 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3243 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3244 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3245 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
3246 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
3247 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3248 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3249 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3250 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3251 ; GFX8-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3252 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3253 ; GFX8-NEXT:    buffer_wbinvl1_vol
3254 ; GFX8-NEXT:    s_endpgm
3255 ;
3256 ; GFX12-LABEL: atomic_or_i64_addr64_offset:
3257 ; GFX12:       ; %bb.0: ; %entry
3258 ; GFX12-NEXT:    s_clause 0x1
3259 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3260 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3261 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3262 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3263 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3264 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3265 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3266 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3267 ; GFX12-NEXT:    flat_atomic_or_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
3268 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3269 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3270 ; GFX12-NEXT:    s_endpgm
3271 entry:
3272   %ptr = getelementptr i64, ptr %out, i64 %index
3273   %gep = getelementptr i64, ptr %ptr, i64 4
3274   %tmp0 = atomicrmw volatile or ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3275   ret void
3276 }
3277
3278 define amdgpu_kernel void @atomic_or_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
3279 ; GFX7-LABEL: atomic_or_i64_ret_addr64_offset:
3280 ; GFX7:       ; %bb.0: ; %entry
3281 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3282 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3283 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
3284 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3285 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3286 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
3287 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
3288 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3289 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3290 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3291 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3292 ; GFX7-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3293 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3294 ; GFX7-NEXT:    buffer_wbinvl1_vol
3295 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3296 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3297 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3298 ; GFX7-NEXT:    s_endpgm
3299 ;
3300 ; GFX8-LABEL: atomic_or_i64_ret_addr64_offset:
3301 ; GFX8:       ; %bb.0: ; %entry
3302 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3303 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3304 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
3305 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
3306 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3307 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
3308 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
3309 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3310 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3311 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3312 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3313 ; GFX8-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3314 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3315 ; GFX8-NEXT:    buffer_wbinvl1_vol
3316 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3317 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3318 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3319 ; GFX8-NEXT:    s_endpgm
3320 ;
3321 ; GFX12-LABEL: atomic_or_i64_ret_addr64_offset:
3322 ; GFX12:       ; %bb.0: ; %entry
3323 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3324 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3325 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
3326 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
3327 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
3328 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3329 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3330 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3331 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3332 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3333 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3334 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3335 ; GFX12-NEXT:    s_endpgm
3336 entry:
3337   %ptr = getelementptr i64, ptr %out, i64 %index
3338   %gep = getelementptr i64, ptr %ptr, i64 4
3339   %tmp0 = atomicrmw volatile or ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3340   store i64 %tmp0, ptr %out2
3341   ret void
3342 }
3343
3344 define amdgpu_kernel void @atomic_or_i64(ptr %out, i64 %in) {
3345 ; GFX7-LABEL: atomic_or_i64:
3346 ; GFX7:       ; %bb.0: ; %entry
3347 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3348 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3349 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3350 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3351 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3352 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3353 ; GFX7-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3]
3354 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3355 ; GFX7-NEXT:    buffer_wbinvl1_vol
3356 ; GFX7-NEXT:    s_endpgm
3357 ;
3358 ; GFX8-LABEL: atomic_or_i64:
3359 ; GFX8:       ; %bb.0: ; %entry
3360 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3361 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3362 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
3363 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
3364 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3365 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3366 ; GFX8-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3]
3367 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3368 ; GFX8-NEXT:    buffer_wbinvl1_vol
3369 ; GFX8-NEXT:    s_endpgm
3370 ;
3371 ; GFX12-LABEL: atomic_or_i64:
3372 ; GFX12:       ; %bb.0: ; %entry
3373 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3374 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3375 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3376 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3377 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[2:3] scope:SCOPE_DEV
3378 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3379 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3380 ; GFX12-NEXT:    s_endpgm
3381 entry:
3382   %tmp0 = atomicrmw volatile or ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3383   ret void
3384 }
3385
3386 define amdgpu_kernel void @atomic_or_i64_ret(ptr %out, ptr %out2, i64 %in) {
3387 ; GFX7-LABEL: atomic_or_i64_ret:
3388 ; GFX7:       ; %bb.0: ; %entry
3389 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3390 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3391 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3392 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3393 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3394 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3395 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
3396 ; GFX7-NEXT:    flat_atomic_or_x2 v[0:1], v[0:1], v[2:3] glc
3397 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3398 ; GFX7-NEXT:    buffer_wbinvl1_vol
3399 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3400 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3401 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3402 ; GFX7-NEXT:    s_endpgm
3403 ;
3404 ; GFX8-LABEL: atomic_or_i64_ret:
3405 ; GFX8:       ; %bb.0: ; %entry
3406 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3407 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3408 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3409 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
3410 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
3411 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
3412 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
3413 ; GFX8-NEXT:    flat_atomic_or_x2 v[0:1], v[0:1], v[2:3] glc
3414 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3415 ; GFX8-NEXT:    buffer_wbinvl1_vol
3416 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3417 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3418 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3419 ; GFX8-NEXT:    s_endpgm
3420 ;
3421 ; GFX12-LABEL: atomic_or_i64_ret:
3422 ; GFX12:       ; %bb.0: ; %entry
3423 ; GFX12-NEXT:    s_clause 0x1
3424 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3425 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3426 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3427 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3428 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
3429 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3430 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3431 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3432 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3433 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3434 ; GFX12-NEXT:    s_endpgm
3435 entry:
3436   %tmp0 = atomicrmw volatile or ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3437   store i64 %tmp0, ptr %out2
3438   ret void
3439 }
3440
3441 define amdgpu_kernel void @atomic_or_i64_addr64(ptr %out, i64 %in, i64 %index) {
3442 ; GFX7-LABEL: atomic_or_i64_addr64:
3443 ; GFX7:       ; %bb.0: ; %entry
3444 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3445 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3446 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3447 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3448 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3449 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3450 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
3451 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
3452 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3453 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3454 ; GFX7-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3455 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3456 ; GFX7-NEXT:    buffer_wbinvl1_vol
3457 ; GFX7-NEXT:    s_endpgm
3458 ;
3459 ; GFX8-LABEL: atomic_or_i64_addr64:
3460 ; GFX8:       ; %bb.0: ; %entry
3461 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3462 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3463 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3464 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3465 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3466 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3467 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
3468 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
3469 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3470 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3471 ; GFX8-NEXT:    flat_atomic_or_x2 v[2:3], v[0:1]
3472 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3473 ; GFX8-NEXT:    buffer_wbinvl1_vol
3474 ; GFX8-NEXT:    s_endpgm
3475 ;
3476 ; GFX12-LABEL: atomic_or_i64_addr64:
3477 ; GFX12:       ; %bb.0: ; %entry
3478 ; GFX12-NEXT:    s_clause 0x1
3479 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3480 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3481 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3482 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3483 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3484 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3485 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3486 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3487 ; GFX12-NEXT:    flat_atomic_or_b64 v[2:3], v[0:1] scope:SCOPE_DEV
3488 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3489 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3490 ; GFX12-NEXT:    s_endpgm
3491 entry:
3492   %ptr = getelementptr i64, ptr %out, i64 %index
3493   %tmp0 = atomicrmw volatile or ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3494   ret void
3495 }
3496
3497 define amdgpu_kernel void @atomic_or_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
3498 ; GFX7-LABEL: atomic_or_i64_ret_addr64:
3499 ; GFX7:       ; %bb.0: ; %entry
3500 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3501 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3502 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
3503 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3504 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3505 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
3506 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
3507 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3508 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3509 ; GFX7-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3510 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3511 ; GFX7-NEXT:    buffer_wbinvl1_vol
3512 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3513 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3514 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3515 ; GFX7-NEXT:    s_endpgm
3516 ;
3517 ; GFX8-LABEL: atomic_or_i64_ret_addr64:
3518 ; GFX8:       ; %bb.0: ; %entry
3519 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3520 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3521 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
3522 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
3523 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3524 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
3525 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
3526 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3527 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3528 ; GFX8-NEXT:    flat_atomic_or_x2 v[0:1], v[2:3], v[0:1] glc
3529 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3530 ; GFX8-NEXT:    buffer_wbinvl1_vol
3531 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3532 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3533 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3534 ; GFX8-NEXT:    s_endpgm
3535 ;
3536 ; GFX12-LABEL: atomic_or_i64_ret_addr64:
3537 ; GFX12:       ; %bb.0: ; %entry
3538 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3539 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3540 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
3541 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
3542 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
3543 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3544 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3545 ; GFX12-NEXT:    flat_atomic_or_b64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3546 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3547 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3548 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3549 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3550 ; GFX12-NEXT:    s_endpgm
3551 entry:
3552   %ptr = getelementptr i64, ptr %out, i64 %index
3553   %tmp0 = atomicrmw volatile or ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3554   store i64 %tmp0, ptr %out2
3555   ret void
3556 }
3557
3558 define amdgpu_kernel void @atomic_xchg_i64_offset(ptr %out, i64 %in) {
3559 ; GFX7-LABEL: atomic_xchg_i64_offset:
3560 ; GFX7:       ; %bb.0: ; %entry
3561 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3562 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3563 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3564 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3565 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3566 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3567 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3568 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3569 ; GFX7-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3570 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3571 ; GFX7-NEXT:    buffer_wbinvl1_vol
3572 ; GFX7-NEXT:    s_endpgm
3573 ;
3574 ; GFX8-LABEL: atomic_xchg_i64_offset:
3575 ; GFX8:       ; %bb.0: ; %entry
3576 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3577 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3578 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3579 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3580 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3581 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3582 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3583 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3584 ; GFX8-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3585 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3586 ; GFX8-NEXT:    buffer_wbinvl1_vol
3587 ; GFX8-NEXT:    s_endpgm
3588 ;
3589 ; GFX12-LABEL: atomic_xchg_i64_offset:
3590 ; GFX12:       ; %bb.0: ; %entry
3591 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3592 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3593 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3594 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3595 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
3596 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3597 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3598 ; GFX12-NEXT:    s_endpgm
3599 entry:
3600   %gep = getelementptr i64, ptr %out, i64 4
3601   %tmp0 = atomicrmw volatile xchg ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3602   ret void
3603 }
3604
3605 define amdgpu_kernel void @atomic_xchg_f64_offset(ptr %out, double %in) {
3606 ; GFX7-LABEL: atomic_xchg_f64_offset:
3607 ; GFX7:       ; %bb.0: ; %entry
3608 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3609 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3610 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3611 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3612 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3613 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3614 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3615 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3616 ; GFX7-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3617 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3618 ; GFX7-NEXT:    buffer_wbinvl1_vol
3619 ; GFX7-NEXT:    s_endpgm
3620 ;
3621 ; GFX8-LABEL: atomic_xchg_f64_offset:
3622 ; GFX8:       ; %bb.0: ; %entry
3623 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3624 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3625 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3626 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3627 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3628 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3629 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3630 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3631 ; GFX8-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3632 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3633 ; GFX8-NEXT:    buffer_wbinvl1_vol
3634 ; GFX8-NEXT:    s_endpgm
3635 ;
3636 ; GFX12-LABEL: atomic_xchg_f64_offset:
3637 ; GFX12:       ; %bb.0: ; %entry
3638 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3639 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3640 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3641 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3642 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
3643 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3644 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3645 ; GFX12-NEXT:    s_endpgm
3646 entry:
3647   %gep = getelementptr double, ptr %out, i64 4
3648   %tmp0 = atomicrmw volatile xchg ptr %gep, double %in syncscope("agent") seq_cst, !noalias.addrspace !0
3649   ret void
3650 }
3651
3652 define amdgpu_kernel void @atomic_xchg_pointer_offset(ptr %out, ptr %in) {
3653 ; GFX7-LABEL: atomic_xchg_pointer_offset:
3654 ; GFX7:       ; %bb.0: ; %entry
3655 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3656 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3657 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3658 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3659 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3660 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3661 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3662 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3663 ; GFX7-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3664 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3665 ; GFX7-NEXT:    buffer_wbinvl1_vol
3666 ; GFX7-NEXT:    s_endpgm
3667 ;
3668 ; GFX8-LABEL: atomic_xchg_pointer_offset:
3669 ; GFX8:       ; %bb.0: ; %entry
3670 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3671 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3672 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3673 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3674 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3675 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3676 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3677 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3678 ; GFX8-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3679 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3680 ; GFX8-NEXT:    buffer_wbinvl1_vol
3681 ; GFX8-NEXT:    s_endpgm
3682 ;
3683 ; GFX12-LABEL: atomic_xchg_pointer_offset:
3684 ; GFX12:       ; %bb.0: ; %entry
3685 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3686 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3687 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3688 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3689 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
3690 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3691 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3692 ; GFX12-NEXT:    s_endpgm
3693 entry:
3694   %gep = getelementptr ptr, ptr %out, i32 4
3695   %val = atomicrmw volatile xchg ptr %gep, ptr %in syncscope("agent") seq_cst, !noalias.addrspace !0
3696   ret void
3697 }
3698
3699 define amdgpu_kernel void @atomic_xchg_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
3700 ; GFX7-LABEL: atomic_xchg_i64_ret_offset:
3701 ; GFX7:       ; %bb.0: ; %entry
3702 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
3703 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3704 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3705 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
3706 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3707 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3708 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3709 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
3710 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3711 ; GFX7-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
3712 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3713 ; GFX7-NEXT:    buffer_wbinvl1_vol
3714 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3715 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3716 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3717 ; GFX7-NEXT:    s_endpgm
3718 ;
3719 ; GFX8-LABEL: atomic_xchg_i64_ret_offset:
3720 ; GFX8:       ; %bb.0: ; %entry
3721 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
3722 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3723 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3724 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
3725 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3726 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3727 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3728 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
3729 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3730 ; GFX8-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
3731 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3732 ; GFX8-NEXT:    buffer_wbinvl1_vol
3733 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3734 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3735 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3736 ; GFX8-NEXT:    s_endpgm
3737 ;
3738 ; GFX12-LABEL: atomic_xchg_i64_ret_offset:
3739 ; GFX12:       ; %bb.0: ; %entry
3740 ; GFX12-NEXT:    s_clause 0x1
3741 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3742 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3743 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3744 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3745 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
3746 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3747 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3748 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3749 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3750 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3751 ; GFX12-NEXT:    s_endpgm
3752 entry:
3753   %gep = getelementptr i64, ptr %out, i64 4
3754   %tmp0 = atomicrmw volatile xchg ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3755   store i64 %tmp0, ptr %out2
3756   ret void
3757 }
3758
3759 define amdgpu_kernel void @atomic_xchg_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
3760 ; GFX7-LABEL: atomic_xchg_i64_addr64_offset:
3761 ; GFX7:       ; %bb.0: ; %entry
3762 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3763 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3764 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3765 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3766 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3767 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3768 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
3769 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
3770 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3771 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3772 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3773 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3774 ; GFX7-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3775 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3776 ; GFX7-NEXT:    buffer_wbinvl1_vol
3777 ; GFX7-NEXT:    s_endpgm
3778 ;
3779 ; GFX8-LABEL: atomic_xchg_i64_addr64_offset:
3780 ; GFX8:       ; %bb.0: ; %entry
3781 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3782 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3783 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3784 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
3785 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
3786 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3787 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
3788 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
3789 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3790 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3791 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3792 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3793 ; GFX8-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3794 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3795 ; GFX8-NEXT:    buffer_wbinvl1_vol
3796 ; GFX8-NEXT:    s_endpgm
3797 ;
3798 ; GFX12-LABEL: atomic_xchg_i64_addr64_offset:
3799 ; GFX12:       ; %bb.0: ; %entry
3800 ; GFX12-NEXT:    s_clause 0x1
3801 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
3802 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3803 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3804 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3805 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
3806 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
3807 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3808 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3809 ; GFX12-NEXT:    flat_atomic_swap_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
3810 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3811 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3812 ; GFX12-NEXT:    s_endpgm
3813 entry:
3814   %ptr = getelementptr i64, ptr %out, i64 %index
3815   %gep = getelementptr i64, ptr %ptr, i64 4
3816   %tmp0 = atomicrmw volatile xchg ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3817   ret void
3818 }
3819
3820 define amdgpu_kernel void @atomic_xchg_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
3821 ; GFX7-LABEL: atomic_xchg_i64_ret_addr64_offset:
3822 ; GFX7:       ; %bb.0: ; %entry
3823 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
3824 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3825 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
3826 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
3827 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3828 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
3829 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
3830 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
3831 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
3832 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3833 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3834 ; GFX7-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
3835 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3836 ; GFX7-NEXT:    buffer_wbinvl1_vol
3837 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3838 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3839 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3840 ; GFX7-NEXT:    s_endpgm
3841 ;
3842 ; GFX8-LABEL: atomic_xchg_i64_ret_addr64_offset:
3843 ; GFX8:       ; %bb.0: ; %entry
3844 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
3845 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3846 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
3847 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
3848 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
3849 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
3850 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
3851 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
3852 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
3853 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
3854 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
3855 ; GFX8-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
3856 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3857 ; GFX8-NEXT:    buffer_wbinvl1_vol
3858 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3859 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3860 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3861 ; GFX8-NEXT:    s_endpgm
3862 ;
3863 ; GFX12-LABEL: atomic_xchg_i64_ret_addr64_offset:
3864 ; GFX12:       ; %bb.0: ; %entry
3865 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
3866 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3867 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
3868 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
3869 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
3870 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
3871 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
3872 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3873 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3874 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3875 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3876 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3877 ; GFX12-NEXT:    s_endpgm
3878 entry:
3879   %ptr = getelementptr i64, ptr %out, i64 %index
3880   %gep = getelementptr i64, ptr %ptr, i64 4
3881   %tmp0 = atomicrmw volatile xchg ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3882   store i64 %tmp0, ptr %out2
3883   ret void
3884 }
3885
3886 define amdgpu_kernel void @atomic_xchg_i64(ptr %out, i64 %in) {
3887 ; GFX7-LABEL: atomic_xchg_i64:
3888 ; GFX7:       ; %bb.0: ; %entry
3889 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3890 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3891 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3892 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3893 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3894 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3895 ; GFX7-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3]
3896 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3897 ; GFX7-NEXT:    buffer_wbinvl1_vol
3898 ; GFX7-NEXT:    s_endpgm
3899 ;
3900 ; GFX8-LABEL: atomic_xchg_i64:
3901 ; GFX8:       ; %bb.0: ; %entry
3902 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3903 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3904 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
3905 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
3906 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3907 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3908 ; GFX8-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3]
3909 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3910 ; GFX8-NEXT:    buffer_wbinvl1_vol
3911 ; GFX8-NEXT:    s_endpgm
3912 ;
3913 ; GFX12-LABEL: atomic_xchg_i64:
3914 ; GFX12:       ; %bb.0: ; %entry
3915 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3916 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3917 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3918 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3919 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3] scope:SCOPE_DEV
3920 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
3921 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3922 ; GFX12-NEXT:    s_endpgm
3923 entry:
3924   %tmp0 = atomicrmw volatile xchg ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3925   ret void
3926 }
3927
3928 define amdgpu_kernel void @atomic_xchg_i64_ret(ptr %out, ptr %out2, i64 %in) {
3929 ; GFX7-LABEL: atomic_xchg_i64_ret:
3930 ; GFX7:       ; %bb.0: ; %entry
3931 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3932 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3933 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3934 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
3935 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
3936 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
3937 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
3938 ; GFX7-NEXT:    flat_atomic_swap_x2 v[0:1], v[0:1], v[2:3] glc
3939 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3940 ; GFX7-NEXT:    buffer_wbinvl1_vol
3941 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
3942 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
3943 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3944 ; GFX7-NEXT:    s_endpgm
3945 ;
3946 ; GFX8-LABEL: atomic_xchg_i64_ret:
3947 ; GFX8:       ; %bb.0: ; %entry
3948 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
3949 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
3950 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
3951 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
3952 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
3953 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
3954 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
3955 ; GFX8-NEXT:    flat_atomic_swap_x2 v[0:1], v[0:1], v[2:3] glc
3956 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3957 ; GFX8-NEXT:    buffer_wbinvl1_vol
3958 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
3959 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
3960 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
3961 ; GFX8-NEXT:    s_endpgm
3962 ;
3963 ; GFX12-LABEL: atomic_xchg_i64_ret:
3964 ; GFX12:       ; %bb.0: ; %entry
3965 ; GFX12-NEXT:    s_clause 0x1
3966 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
3967 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
3968 ; GFX12-NEXT:    s_wait_kmcnt 0x0
3969 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
3970 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
3971 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
3972 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
3973 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
3974 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
3975 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
3976 ; GFX12-NEXT:    s_endpgm
3977 entry:
3978   %tmp0 = atomicrmw volatile xchg ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
3979   store i64 %tmp0, ptr %out2
3980   ret void
3981 }
3982
3983 define amdgpu_kernel void @atomic_xchg_i64_addr64(ptr %out, i64 %in, i64 %index) {
3984 ; GFX7-LABEL: atomic_xchg_i64_addr64:
3985 ; GFX7:       ; %bb.0: ; %entry
3986 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
3987 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
3988 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
3989 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
3990 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
3991 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
3992 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
3993 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
3994 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
3995 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
3996 ; GFX7-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
3997 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
3998 ; GFX7-NEXT:    buffer_wbinvl1_vol
3999 ; GFX7-NEXT:    s_endpgm
4000 ;
4001 ; GFX8-LABEL: atomic_xchg_i64_addr64:
4002 ; GFX8:       ; %bb.0: ; %entry
4003 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4004 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4005 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4006 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
4007 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
4008 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4009 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
4010 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
4011 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4012 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4013 ; GFX8-NEXT:    flat_atomic_swap_x2 v[2:3], v[0:1]
4014 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4015 ; GFX8-NEXT:    buffer_wbinvl1_vol
4016 ; GFX8-NEXT:    s_endpgm
4017 ;
4018 ; GFX12-LABEL: atomic_xchg_i64_addr64:
4019 ; GFX12:       ; %bb.0: ; %entry
4020 ; GFX12-NEXT:    s_clause 0x1
4021 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4022 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4023 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4024 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4025 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4026 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4027 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4028 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4029 ; GFX12-NEXT:    flat_atomic_swap_b64 v[2:3], v[0:1] scope:SCOPE_DEV
4030 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
4031 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4032 ; GFX12-NEXT:    s_endpgm
4033 entry:
4034   %ptr = getelementptr i64, ptr %out, i64 %index
4035   %tmp0 = atomicrmw volatile xchg ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4036   ret void
4037 }
4038
4039 define amdgpu_kernel void @atomic_xchg_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
4040 ; GFX7-LABEL: atomic_xchg_i64_ret_addr64:
4041 ; GFX7:       ; %bb.0: ; %entry
4042 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4043 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4044 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4045 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4046 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4047 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
4048 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
4049 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4050 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4051 ; GFX7-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
4052 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4053 ; GFX7-NEXT:    buffer_wbinvl1_vol
4054 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4055 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4056 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4057 ; GFX7-NEXT:    s_endpgm
4058 ;
4059 ; GFX8-LABEL: atomic_xchg_i64_ret_addr64:
4060 ; GFX8:       ; %bb.0: ; %entry
4061 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4062 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4063 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
4064 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
4065 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4066 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
4067 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
4068 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4069 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4070 ; GFX8-NEXT:    flat_atomic_swap_x2 v[0:1], v[2:3], v[0:1] glc
4071 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4072 ; GFX8-NEXT:    buffer_wbinvl1_vol
4073 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4074 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4075 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4076 ; GFX8-NEXT:    s_endpgm
4077 ;
4078 ; GFX12-LABEL: atomic_xchg_i64_ret_addr64:
4079 ; GFX12:       ; %bb.0: ; %entry
4080 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4081 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4082 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
4083 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
4084 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
4085 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4086 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4087 ; GFX12-NEXT:    flat_atomic_swap_b64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4088 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4089 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4090 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4091 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4092 ; GFX12-NEXT:    s_endpgm
4093 entry:
4094   %ptr = getelementptr i64, ptr %out, i64 %index
4095   %tmp0 = atomicrmw volatile xchg ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4096   store i64 %tmp0, ptr %out2
4097   ret void
4098 }
4099
4100 define amdgpu_kernel void @atomic_xor_i64_offset(ptr %out, i64 %in) {
4101 ; GFX7-LABEL: atomic_xor_i64_offset:
4102 ; GFX7:       ; %bb.0: ; %entry
4103 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4104 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4105 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4106 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4107 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4108 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
4109 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
4110 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4111 ; GFX7-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4112 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4113 ; GFX7-NEXT:    buffer_wbinvl1_vol
4114 ; GFX7-NEXT:    s_endpgm
4115 ;
4116 ; GFX8-LABEL: atomic_xor_i64_offset:
4117 ; GFX8:       ; %bb.0: ; %entry
4118 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4119 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4120 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4121 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4122 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4123 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
4124 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
4125 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4126 ; GFX8-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4127 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4128 ; GFX8-NEXT:    buffer_wbinvl1_vol
4129 ; GFX8-NEXT:    s_endpgm
4130 ;
4131 ; GFX12-LABEL: atomic_xor_i64_offset:
4132 ; GFX12:       ; %bb.0: ; %entry
4133 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4134 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4135 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4136 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4137 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
4138 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
4139 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4140 ; GFX12-NEXT:    s_endpgm
4141 entry:
4142   %gep = getelementptr i64, ptr %out, i64 4
4143   %tmp0 = atomicrmw volatile xor ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4144   ret void
4145 }
4146
4147 define amdgpu_kernel void @atomic_xor_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
4148 ; GFX7-LABEL: atomic_xor_i64_ret_offset:
4149 ; GFX7:       ; %bb.0: ; %entry
4150 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
4151 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4152 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4153 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
4154 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4155 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4156 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4157 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
4158 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4159 ; GFX7-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4160 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4161 ; GFX7-NEXT:    buffer_wbinvl1_vol
4162 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4163 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4164 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4165 ; GFX7-NEXT:    s_endpgm
4166 ;
4167 ; GFX8-LABEL: atomic_xor_i64_ret_offset:
4168 ; GFX8:       ; %bb.0: ; %entry
4169 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4170 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4171 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4172 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
4173 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4174 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4175 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4176 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
4177 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4178 ; GFX8-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4179 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4180 ; GFX8-NEXT:    buffer_wbinvl1_vol
4181 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4182 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4183 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4184 ; GFX8-NEXT:    s_endpgm
4185 ;
4186 ; GFX12-LABEL: atomic_xor_i64_ret_offset:
4187 ; GFX12:       ; %bb.0: ; %entry
4188 ; GFX12-NEXT:    s_clause 0x1
4189 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4190 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4191 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4192 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4193 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
4194 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4195 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4196 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4197 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4198 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4199 ; GFX12-NEXT:    s_endpgm
4200 entry:
4201   %gep = getelementptr i64, ptr %out, i64 4
4202   %tmp0 = atomicrmw volatile xor ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4203   store i64 %tmp0, ptr %out2
4204   ret void
4205 }
4206
4207 define amdgpu_kernel void @atomic_xor_i64_addr64_offset(ptr %out, i64 %in, i64 %index) {
4208 ; GFX7-LABEL: atomic_xor_i64_addr64_offset:
4209 ; GFX7:       ; %bb.0: ; %entry
4210 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4211 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4212 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4213 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
4214 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
4215 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4216 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
4217 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
4218 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4219 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4220 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4221 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4222 ; GFX7-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4223 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4224 ; GFX7-NEXT:    buffer_wbinvl1_vol
4225 ; GFX7-NEXT:    s_endpgm
4226 ;
4227 ; GFX8-LABEL: atomic_xor_i64_addr64_offset:
4228 ; GFX8:       ; %bb.0: ; %entry
4229 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4230 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4231 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4232 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
4233 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
4234 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4235 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
4236 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
4237 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4238 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4239 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4240 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4241 ; GFX8-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4242 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4243 ; GFX8-NEXT:    buffer_wbinvl1_vol
4244 ; GFX8-NEXT:    s_endpgm
4245 ;
4246 ; GFX12-LABEL: atomic_xor_i64_addr64_offset:
4247 ; GFX12:       ; %bb.0: ; %entry
4248 ; GFX12-NEXT:    s_clause 0x1
4249 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4250 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4251 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4252 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4253 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4254 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4255 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4256 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4257 ; GFX12-NEXT:    flat_atomic_xor_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
4258 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
4259 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4260 ; GFX12-NEXT:    s_endpgm
4261 entry:
4262   %ptr = getelementptr i64, ptr %out, i64 %index
4263   %gep = getelementptr i64, ptr %ptr, i64 4
4264   %tmp0 = atomicrmw volatile xor ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4265   ret void
4266 }
4267
4268 define amdgpu_kernel void @atomic_xor_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
4269 ; GFX7-LABEL: atomic_xor_i64_ret_addr64_offset:
4270 ; GFX7:       ; %bb.0: ; %entry
4271 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4272 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4273 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4274 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4275 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4276 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
4277 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
4278 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4279 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4280 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4281 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4282 ; GFX7-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4283 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4284 ; GFX7-NEXT:    buffer_wbinvl1_vol
4285 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4286 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4287 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4288 ; GFX7-NEXT:    s_endpgm
4289 ;
4290 ; GFX8-LABEL: atomic_xor_i64_ret_addr64_offset:
4291 ; GFX8:       ; %bb.0: ; %entry
4292 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4293 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4294 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
4295 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
4296 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4297 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
4298 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
4299 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4300 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4301 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4302 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4303 ; GFX8-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4304 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4305 ; GFX8-NEXT:    buffer_wbinvl1_vol
4306 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4307 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4308 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4309 ; GFX8-NEXT:    s_endpgm
4310 ;
4311 ; GFX12-LABEL: atomic_xor_i64_ret_addr64_offset:
4312 ; GFX12:       ; %bb.0: ; %entry
4313 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4314 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4315 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
4316 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
4317 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
4318 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4319 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4320 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4321 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4322 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4323 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4324 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4325 ; GFX12-NEXT:    s_endpgm
4326 entry:
4327   %ptr = getelementptr i64, ptr %out, i64 %index
4328   %gep = getelementptr i64, ptr %ptr, i64 4
4329   %tmp0 = atomicrmw volatile xor ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4330   store i64 %tmp0, ptr %out2
4331   ret void
4332 }
4333
4334 define amdgpu_kernel void @atomic_xor_i64(ptr %out, i64 %in) {
4335 ; GFX7-LABEL: atomic_xor_i64:
4336 ; GFX7:       ; %bb.0: ; %entry
4337 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4338 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4339 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4340 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4341 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4342 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4343 ; GFX7-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3]
4344 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4345 ; GFX7-NEXT:    buffer_wbinvl1_vol
4346 ; GFX7-NEXT:    s_endpgm
4347 ;
4348 ; GFX8-LABEL: atomic_xor_i64:
4349 ; GFX8:       ; %bb.0: ; %entry
4350 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4351 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4352 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4353 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4354 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4355 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4356 ; GFX8-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3]
4357 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4358 ; GFX8-NEXT:    buffer_wbinvl1_vol
4359 ; GFX8-NEXT:    s_endpgm
4360 ;
4361 ; GFX12-LABEL: atomic_xor_i64:
4362 ; GFX12:       ; %bb.0: ; %entry
4363 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4364 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4365 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4366 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4367 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[2:3] scope:SCOPE_DEV
4368 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
4369 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4370 ; GFX12-NEXT:    s_endpgm
4371 entry:
4372   %tmp0 = atomicrmw volatile xor ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4373   ret void
4374 }
4375
4376 define amdgpu_kernel void @atomic_xor_i64_ret(ptr %out, ptr %out2, i64 %in) {
4377 ; GFX7-LABEL: atomic_xor_i64_ret:
4378 ; GFX7:       ; %bb.0: ; %entry
4379 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4380 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4381 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4382 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4383 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4384 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4385 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
4386 ; GFX7-NEXT:    flat_atomic_xor_x2 v[0:1], v[0:1], v[2:3] glc
4387 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4388 ; GFX7-NEXT:    buffer_wbinvl1_vol
4389 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4390 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4391 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4392 ; GFX7-NEXT:    s_endpgm
4393 ;
4394 ; GFX8-LABEL: atomic_xor_i64_ret:
4395 ; GFX8:       ; %bb.0: ; %entry
4396 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4397 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4398 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4399 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4400 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4401 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
4402 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
4403 ; GFX8-NEXT:    flat_atomic_xor_x2 v[0:1], v[0:1], v[2:3] glc
4404 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4405 ; GFX8-NEXT:    buffer_wbinvl1_vol
4406 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4407 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4408 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4409 ; GFX8-NEXT:    s_endpgm
4410 ;
4411 ; GFX12-LABEL: atomic_xor_i64_ret:
4412 ; GFX12:       ; %bb.0: ; %entry
4413 ; GFX12-NEXT:    s_clause 0x1
4414 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4415 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4416 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4417 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4418 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
4419 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4420 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4421 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4422 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4423 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4424 ; GFX12-NEXT:    s_endpgm
4425 entry:
4426   %tmp0 = atomicrmw volatile xor ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4427   store i64 %tmp0, ptr %out2
4428   ret void
4429 }
4430
4431 define amdgpu_kernel void @atomic_xor_i64_addr64(ptr %out, i64 %in, i64 %index) {
4432 ; GFX7-LABEL: atomic_xor_i64_addr64:
4433 ; GFX7:       ; %bb.0: ; %entry
4434 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4435 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4436 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4437 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
4438 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
4439 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4440 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
4441 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
4442 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4443 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4444 ; GFX7-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4445 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4446 ; GFX7-NEXT:    buffer_wbinvl1_vol
4447 ; GFX7-NEXT:    s_endpgm
4448 ;
4449 ; GFX8-LABEL: atomic_xor_i64_addr64:
4450 ; GFX8:       ; %bb.0: ; %entry
4451 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4452 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4453 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4454 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
4455 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
4456 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
4457 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
4458 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
4459 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4460 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4461 ; GFX8-NEXT:    flat_atomic_xor_x2 v[2:3], v[0:1]
4462 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4463 ; GFX8-NEXT:    buffer_wbinvl1_vol
4464 ; GFX8-NEXT:    s_endpgm
4465 ;
4466 ; GFX12-LABEL: atomic_xor_i64_addr64:
4467 ; GFX12:       ; %bb.0: ; %entry
4468 ; GFX12-NEXT:    s_clause 0x1
4469 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4470 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4471 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4472 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4473 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
4474 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4475 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4476 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4477 ; GFX12-NEXT:    flat_atomic_xor_b64 v[2:3], v[0:1] scope:SCOPE_DEV
4478 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
4479 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4480 ; GFX12-NEXT:    s_endpgm
4481 entry:
4482   %ptr = getelementptr i64, ptr %out, i64 %index
4483   %tmp0 = atomicrmw volatile xor ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4484   ret void
4485 }
4486
4487 define amdgpu_kernel void @atomic_xor_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
4488 ; GFX7-LABEL: atomic_xor_i64_ret_addr64:
4489 ; GFX7:       ; %bb.0: ; %entry
4490 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
4491 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4492 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
4493 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
4494 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4495 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
4496 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
4497 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4498 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4499 ; GFX7-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4500 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4501 ; GFX7-NEXT:    buffer_wbinvl1_vol
4502 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4503 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4504 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4505 ; GFX7-NEXT:    s_endpgm
4506 ;
4507 ; GFX8-LABEL: atomic_xor_i64_ret_addr64:
4508 ; GFX8:       ; %bb.0: ; %entry
4509 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
4510 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4511 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
4512 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
4513 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4514 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
4515 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
4516 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4517 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4518 ; GFX8-NEXT:    flat_atomic_xor_x2 v[0:1], v[2:3], v[0:1] glc
4519 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4520 ; GFX8-NEXT:    buffer_wbinvl1_vol
4521 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4522 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4523 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4524 ; GFX8-NEXT:    s_endpgm
4525 ;
4526 ; GFX12-LABEL: atomic_xor_i64_ret_addr64:
4527 ; GFX12:       ; %bb.0: ; %entry
4528 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
4529 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4530 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
4531 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
4532 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
4533 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4534 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
4535 ; GFX12-NEXT:    flat_atomic_xor_b64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
4536 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4537 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4538 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4539 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4540 ; GFX12-NEXT:    s_endpgm
4541 entry:
4542   %ptr = getelementptr i64, ptr %out, i64 %index
4543   %tmp0 = atomicrmw volatile xor ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
4544   store i64 %tmp0, ptr %out2
4545   ret void
4546 }
4547
4548 define amdgpu_kernel void @atomic_load_i64_offset(ptr %in, ptr %out) {
4549 ; GFX7-LABEL: atomic_load_i64_offset:
4550 ; GFX7:       ; %bb.0: ; %entry
4551 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4552 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4553 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4554 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4555 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4556 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4557 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4558 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4559 ; GFX7-NEXT:    buffer_wbinvl1_vol
4560 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4561 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4562 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4563 ; GFX7-NEXT:    s_endpgm
4564 ;
4565 ; GFX8-LABEL: atomic_load_i64_offset:
4566 ; GFX8:       ; %bb.0: ; %entry
4567 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4568 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4569 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4570 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4571 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4572 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4573 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4574 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4575 ; GFX8-NEXT:    buffer_wbinvl1_vol
4576 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4577 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4578 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4579 ; GFX8-NEXT:    s_endpgm
4580 ;
4581 ; GFX12-LABEL: atomic_load_i64_offset:
4582 ; GFX12:       ; %bb.0: ; %entry
4583 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4584 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4585 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4586 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4587 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] offset:32 scope:SCOPE_SYS
4588 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4589 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
4590 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4591 ; GFX12-NEXT:    s_endpgm
4592 entry:
4593   %gep = getelementptr i64, ptr %in, i64 4
4594   %val = load atomic i64, ptr %gep  seq_cst, align 8
4595   store i64 %val, ptr %out
4596   ret void
4597 }
4598
4599 define amdgpu_kernel void @atomic_load_i64(ptr %in, ptr %out) {
4600 ; GFX7-LABEL: atomic_load_i64:
4601 ; GFX7:       ; %bb.0: ; %entry
4602 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4603 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4604 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4605 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4606 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4607 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4608 ; GFX7-NEXT:    buffer_wbinvl1_vol
4609 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4610 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4611 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4612 ; GFX7-NEXT:    s_endpgm
4613 ;
4614 ; GFX8-LABEL: atomic_load_i64:
4615 ; GFX8:       ; %bb.0: ; %entry
4616 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4617 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4618 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4619 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4620 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4621 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4622 ; GFX8-NEXT:    buffer_wbinvl1_vol
4623 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4624 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4625 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4626 ; GFX8-NEXT:    s_endpgm
4627 ;
4628 ; GFX12-LABEL: atomic_load_i64:
4629 ; GFX12:       ; %bb.0: ; %entry
4630 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4631 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4632 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4633 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4634 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] scope:SCOPE_DEV
4635 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4636 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
4637 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4638 ; GFX12-NEXT:    s_endpgm
4639 entry:
4640   %val = load atomic i64, ptr %in syncscope("agent") seq_cst, align 8
4641   store i64 %val, ptr %out
4642   ret void
4643 }
4644
4645 define amdgpu_kernel void @atomic_load_i64_addr64_offset(ptr %in, ptr %out, i64 %index) {
4646 ; GFX7-LABEL: atomic_load_i64_addr64_offset:
4647 ; GFX7:       ; %bb.0: ; %entry
4648 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
4649 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4650 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4651 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4652 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
4653 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
4654 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4655 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4656 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4657 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4658 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4659 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4660 ; GFX7-NEXT:    buffer_wbinvl1_vol
4661 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4662 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4663 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4664 ; GFX7-NEXT:    s_endpgm
4665 ;
4666 ; GFX8-LABEL: atomic_load_i64_addr64_offset:
4667 ; GFX8:       ; %bb.0: ; %entry
4668 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4669 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4670 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4671 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4672 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
4673 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
4674 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4675 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4676 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4677 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4678 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4679 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4680 ; GFX8-NEXT:    buffer_wbinvl1_vol
4681 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4682 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4683 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4684 ; GFX8-NEXT:    s_endpgm
4685 ;
4686 ; GFX12-LABEL: atomic_load_i64_addr64_offset:
4687 ; GFX12:       ; %bb.0: ; %entry
4688 ; GFX12-NEXT:    s_clause 0x1
4689 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4690 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4691 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4692 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4693 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4694 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4695 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4696 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4697 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] offset:32 scope:SCOPE_SYS
4698 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4699 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
4700 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4701 ; GFX12-NEXT:    s_endpgm
4702 entry:
4703   %ptr = getelementptr i64, ptr %in, i64 %index
4704   %gep = getelementptr i64, ptr %ptr, i64 4
4705   %val = load atomic i64, ptr %gep seq_cst, align 8
4706   store i64 %val, ptr %out
4707   ret void
4708 }
4709
4710 define amdgpu_kernel void @atomic_load_i64_addr64(ptr %in, ptr %out, i64 %index) {
4711 ; GFX7-LABEL: atomic_load_i64_addr64:
4712 ; GFX7:       ; %bb.0: ; %entry
4713 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
4714 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4715 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4716 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4717 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
4718 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
4719 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4720 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4721 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4722 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4723 ; GFX7-NEXT:    buffer_wbinvl1_vol
4724 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4725 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4726 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4727 ; GFX7-NEXT:    s_endpgm
4728 ;
4729 ; GFX8-LABEL: atomic_load_i64_addr64:
4730 ; GFX8:       ; %bb.0: ; %entry
4731 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
4732 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4733 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4734 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4735 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
4736 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
4737 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4738 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4739 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
4740 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4741 ; GFX8-NEXT:    buffer_wbinvl1_vol
4742 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4743 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4744 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4745 ; GFX8-NEXT:    s_endpgm
4746 ;
4747 ; GFX12-LABEL: atomic_load_i64_addr64:
4748 ; GFX12:       ; %bb.0: ; %entry
4749 ; GFX12-NEXT:    s_clause 0x1
4750 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4751 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4752 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4753 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4754 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4755 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
4756 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4757 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4758 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] scope:SCOPE_SYS
4759 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
4760 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
4761 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
4762 ; GFX12-NEXT:    s_endpgm
4763 entry:
4764   %ptr = getelementptr i64, ptr %in, i64 %index
4765   %val = load atomic i64, ptr %ptr seq_cst, align 8
4766   store i64 %val, ptr %out
4767   ret void
4768 }
4769
4770 define amdgpu_kernel void @atomic_store_i64_offset(i64 %in, ptr %out) {
4771 ; GFX7-LABEL: atomic_store_i64_offset:
4772 ; GFX7:       ; %bb.0: ; %entry
4773 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4774 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4775 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4776 ; GFX7-NEXT:    s_add_u32 s0, s2, 32
4777 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4778 ; GFX7-NEXT:    s_addc_u32 s1, s3, 0
4779 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4780 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4781 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4782 ; GFX7-NEXT:    s_endpgm
4783 ;
4784 ; GFX8-LABEL: atomic_store_i64_offset:
4785 ; GFX8:       ; %bb.0: ; %entry
4786 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4787 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4788 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4789 ; GFX8-NEXT:    s_add_u32 s0, s2, 32
4790 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4791 ; GFX8-NEXT:    s_addc_u32 s1, s3, 0
4792 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4793 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4794 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4795 ; GFX8-NEXT:    s_endpgm
4796 ;
4797 ; GFX12-LABEL: atomic_store_i64_offset:
4798 ; GFX12:       ; %bb.0: ; %entry
4799 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4800 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4801 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4802 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4803 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
4804 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_SYS
4805 ; GFX12-NEXT:    s_endpgm
4806 entry:
4807   %gep = getelementptr i64, ptr %out, i64 4
4808   store atomic i64 %in, ptr %gep  seq_cst, align 8
4809   ret void
4810 }
4811
4812 define amdgpu_kernel void @atomic_store_i64(i64 %in, ptr %out) {
4813 ; GFX7-LABEL: atomic_store_i64:
4814 ; GFX7:       ; %bb.0: ; %entry
4815 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4816 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4817 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4818 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4819 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
4820 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
4821 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4822 ; GFX7-NEXT:    s_endpgm
4823 ;
4824 ; GFX8-LABEL: atomic_store_i64:
4825 ; GFX8:       ; %bb.0: ; %entry
4826 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4827 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4828 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4829 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4830 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
4831 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
4832 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4833 ; GFX8-NEXT:    s_endpgm
4834 ;
4835 ; GFX12-LABEL: atomic_store_i64:
4836 ; GFX12:       ; %bb.0: ; %entry
4837 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4838 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4839 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4840 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4841 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
4842 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] scope:SCOPE_SYS
4843 ; GFX12-NEXT:    s_endpgm
4844 entry:
4845   store atomic i64 %in, ptr %out seq_cst, align 8
4846   ret void
4847 }
4848
4849 define amdgpu_kernel void @atomic_store_i64_addr64_offset(i64 %in, ptr %out, i64 %index) {
4850 ; GFX7-LABEL: atomic_store_i64_addr64_offset:
4851 ; GFX7:       ; %bb.0: ; %entry
4852 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4853 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4854 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4855 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4856 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4857 ; GFX7-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
4858 ; GFX7-NEXT:    s_add_u32 s0, s2, s0
4859 ; GFX7-NEXT:    s_addc_u32 s1, s3, s1
4860 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4861 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4862 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4863 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4864 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4865 ; GFX7-NEXT:    s_endpgm
4866 ;
4867 ; GFX8-LABEL: atomic_store_i64_addr64_offset:
4868 ; GFX8:       ; %bb.0: ; %entry
4869 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4870 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4871 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4872 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4873 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4874 ; GFX8-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
4875 ; GFX8-NEXT:    s_add_u32 s0, s2, s0
4876 ; GFX8-NEXT:    s_addc_u32 s1, s3, s1
4877 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4878 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4879 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4880 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4881 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4882 ; GFX8-NEXT:    s_endpgm
4883 ;
4884 ; GFX12-LABEL: atomic_store_i64_addr64_offset:
4885 ; GFX12:       ; %bb.0: ; %entry
4886 ; GFX12-NEXT:    s_clause 0x1
4887 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4888 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4889 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4890 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4891 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4892 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[2:3], s[4:5]
4893 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4894 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4895 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
4896 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_SYS
4897 ; GFX12-NEXT:    s_endpgm
4898 entry:
4899   %ptr = getelementptr i64, ptr %out, i64 %index
4900   %gep = getelementptr i64, ptr %ptr, i64 4
4901   store atomic i64 %in, ptr %gep seq_cst, align 8
4902   ret void
4903 }
4904
4905 define amdgpu_kernel void @atomic_store_i64_addr64(i64 %in, ptr %out, i64 %index) {
4906 ; GFX7-LABEL: atomic_store_i64_addr64:
4907 ; GFX7:       ; %bb.0: ; %entry
4908 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4909 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4910 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4911 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
4912 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
4913 ; GFX7-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
4914 ; GFX7-NEXT:    s_add_u32 s0, s2, s0
4915 ; GFX7-NEXT:    s_addc_u32 s1, s3, s1
4916 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
4917 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
4918 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4919 ; GFX7-NEXT:    s_endpgm
4920 ;
4921 ; GFX8-LABEL: atomic_store_i64_addr64:
4922 ; GFX8:       ; %bb.0: ; %entry
4923 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4924 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4925 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4926 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
4927 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
4928 ; GFX8-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
4929 ; GFX8-NEXT:    s_add_u32 s0, s2, s0
4930 ; GFX8-NEXT:    s_addc_u32 s1, s3, s1
4931 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
4932 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
4933 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
4934 ; GFX8-NEXT:    s_endpgm
4935 ;
4936 ; GFX12-LABEL: atomic_store_i64_addr64:
4937 ; GFX12:       ; %bb.0: ; %entry
4938 ; GFX12-NEXT:    s_clause 0x1
4939 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
4940 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4941 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4942 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
4943 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
4944 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[2:3], s[4:5]
4945 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
4946 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
4947 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
4948 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] scope:SCOPE_SYS
4949 ; GFX12-NEXT:    s_endpgm
4950 entry:
4951   %ptr = getelementptr i64, ptr %out, i64 %index
4952   store atomic i64 %in, ptr %ptr seq_cst, align 8
4953   ret void
4954 }
4955
4956 define amdgpu_kernel void @atomic_cmpxchg_i64_offset(ptr %out, i64 %in, i64 %old) {
4957 ; GFX7-LABEL: atomic_cmpxchg_i64_offset:
4958 ; GFX7:       ; %bb.0: ; %entry
4959 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
4960 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
4961 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
4962 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
4963 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
4964 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
4965 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
4966 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
4967 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
4968 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
4969 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
4970 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
4971 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4972 ; GFX7-NEXT:    buffer_wbinvl1_vol
4973 ; GFX7-NEXT:    s_endpgm
4974 ;
4975 ; GFX8-LABEL: atomic_cmpxchg_i64_offset:
4976 ; GFX8:       ; %bb.0: ; %entry
4977 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
4978 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
4979 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
4980 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
4981 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
4982 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
4983 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
4984 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
4985 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
4986 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
4987 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
4988 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
4989 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
4990 ; GFX8-NEXT:    buffer_wbinvl1_vol
4991 ; GFX8-NEXT:    s_endpgm
4992 ;
4993 ; GFX12-LABEL: atomic_cmpxchg_i64_offset:
4994 ; GFX12:       ; %bb.0: ; %entry
4995 ; GFX12-NEXT:    s_clause 0x1
4996 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
4997 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
4998 ; GFX12-NEXT:    s_wait_kmcnt 0x0
4999 ; GFX12-NEXT:    v_dual_mov_b32 v4, s0 :: v_dual_mov_b32 v5, s1
5000 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5001 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
5002 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[4:5], v[0:3] offset:32 scope:SCOPE_DEV
5003 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5004 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5005 ; GFX12-NEXT:    s_endpgm
5006 entry:
5007   %gep = getelementptr i64, ptr %out, i64 4
5008   %val = cmpxchg volatile ptr %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5009   ret void
5010 }
5011
5012 define amdgpu_kernel void @atomic_cmpxchg_i64_soffset(ptr %out, i64 %in, i64 %old) {
5013 ; GFX7-LABEL: atomic_cmpxchg_i64_soffset:
5014 ; GFX7:       ; %bb.0: ; %entry
5015 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5016 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5017 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5018 ; GFX7-NEXT:    s_add_u32 s0, s0, 0x11940
5019 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5020 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5021 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
5022 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
5023 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
5024 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
5025 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5026 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5027 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5028 ; GFX7-NEXT:    buffer_wbinvl1_vol
5029 ; GFX7-NEXT:    s_endpgm
5030 ;
5031 ; GFX8-LABEL: atomic_cmpxchg_i64_soffset:
5032 ; GFX8:       ; %bb.0: ; %entry
5033 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5034 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5035 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5036 ; GFX8-NEXT:    s_add_u32 s0, s0, 0x11940
5037 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5038 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5039 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
5040 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
5041 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
5042 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
5043 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5044 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5045 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5046 ; GFX8-NEXT:    buffer_wbinvl1_vol
5047 ; GFX8-NEXT:    s_endpgm
5048 ;
5049 ; GFX12-LABEL: atomic_cmpxchg_i64_soffset:
5050 ; GFX12:       ; %bb.0: ; %entry
5051 ; GFX12-NEXT:    s_clause 0x1
5052 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5053 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5054 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5055 ; GFX12-NEXT:    v_dual_mov_b32 v4, s0 :: v_dual_mov_b32 v5, s1
5056 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5057 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
5058 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[4:5], v[0:3] offset:72000 scope:SCOPE_DEV
5059 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5060 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5061 ; GFX12-NEXT:    s_endpgm
5062 entry:
5063   %gep = getelementptr i64, ptr %out, i64 9000
5064   %val = cmpxchg volatile ptr %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5065   ret void
5066 }
5067
5068 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_offset(ptr %out, ptr %out2, i64 %in, i64 %old) {
5069 ; GFX7-LABEL: atomic_cmpxchg_i64_ret_offset:
5070 ; GFX7:       ; %bb.0: ; %entry
5071 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5072 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5073 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5074 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5075 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5076 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5077 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5078 ; GFX7-NEXT:    v_mov_b32_e32 v2, s6
5079 ; GFX7-NEXT:    v_mov_b32_e32 v3, s7
5080 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5081 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5082 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5083 ; GFX7-NEXT:    buffer_wbinvl1_vol
5084 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5085 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5086 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5087 ; GFX7-NEXT:    s_endpgm
5088 ;
5089 ; GFX8-LABEL: atomic_cmpxchg_i64_ret_offset:
5090 ; GFX8:       ; %bb.0: ; %entry
5091 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5092 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5093 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5094 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5095 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5096 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
5097 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
5098 ; GFX8-NEXT:    v_mov_b32_e32 v2, s6
5099 ; GFX8-NEXT:    v_mov_b32_e32 v3, s7
5100 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5101 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5102 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5103 ; GFX8-NEXT:    buffer_wbinvl1_vol
5104 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5105 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5106 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5107 ; GFX8-NEXT:    s_endpgm
5108 ;
5109 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_offset:
5110 ; GFX12:       ; %bb.0: ; %entry
5111 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5112 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5113 ; GFX12-NEXT:    v_dual_mov_b32 v4, s0 :: v_dual_mov_b32 v5, s1
5114 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
5115 ; GFX12-NEXT:    v_dual_mov_b32 v2, s6 :: v_dual_mov_b32 v3, s7
5116 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[0:1], v[4:5], v[0:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5117 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5118 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5119 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5120 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5121 ; GFX12-NEXT:    s_endpgm
5122 entry:
5123   %gep = getelementptr i64, ptr %out, i64 4
5124   %val = cmpxchg volatile ptr %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5125   %extract0 = extractvalue { i64, i1 } %val, 0
5126   store i64 %extract0, ptr %out2
5127   ret void
5128 }
5129
5130 define amdgpu_kernel void @atomic_cmpxchg_i64_addr64_offset(ptr %out, i64 %in, i64 %index, i64 %old) {
5131 ; GFX7-LABEL: atomic_cmpxchg_i64_addr64_offset:
5132 ; GFX7:       ; %bb.0: ; %entry
5133 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5134 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5135 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5136 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
5137 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
5138 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5139 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5140 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5141 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
5142 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
5143 ; GFX7-NEXT:    v_mov_b32_e32 v2, s6
5144 ; GFX7-NEXT:    v_mov_b32_e32 v3, s7
5145 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5146 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5147 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5148 ; GFX7-NEXT:    buffer_wbinvl1_vol
5149 ; GFX7-NEXT:    s_endpgm
5150 ;
5151 ; GFX8-LABEL: atomic_cmpxchg_i64_addr64_offset:
5152 ; GFX8:       ; %bb.0: ; %entry
5153 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5154 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5155 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5156 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
5157 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
5158 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5159 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5160 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5161 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
5162 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
5163 ; GFX8-NEXT:    v_mov_b32_e32 v2, s6
5164 ; GFX8-NEXT:    v_mov_b32_e32 v3, s7
5165 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5166 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5167 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5168 ; GFX8-NEXT:    buffer_wbinvl1_vol
5169 ; GFX8-NEXT:    s_endpgm
5170 ;
5171 ; GFX12-LABEL: atomic_cmpxchg_i64_addr64_offset:
5172 ; GFX12:       ; %bb.0: ; %entry
5173 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5174 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5175 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5176 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5177 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5178 ; GFX12-NEXT:    v_dual_mov_b32 v2, s6 :: v_dual_mov_b32 v3, s7
5179 ; GFX12-NEXT:    v_dual_mov_b32 v5, s1 :: v_dual_mov_b32 v4, s0
5180 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[4:5], v[0:3] offset:32 scope:SCOPE_DEV
5181 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5182 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5183 ; GFX12-NEXT:    s_endpgm
5184 entry:
5185   %ptr = getelementptr i64, ptr %out, i64 %index
5186   %gep = getelementptr i64, ptr %ptr, i64 4
5187   %val = cmpxchg volatile ptr %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5188   ret void
5189 }
5190
5191 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_addr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index, i64 %old) {
5192 ; GFX7-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
5193 ; GFX7:       ; %bb.0: ; %entry
5194 ; GFX7-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x9
5195 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x11
5196 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5197 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5198 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5199 ; GFX7-NEXT:    s_add_u32 s0, s8, s2
5200 ; GFX7-NEXT:    s_addc_u32 s3, s9, s3
5201 ; GFX7-NEXT:    s_add_u32 s2, s0, 32
5202 ; GFX7-NEXT:    s_addc_u32 s3, s3, 0
5203 ; GFX7-NEXT:    v_mov_b32_e32 v5, s3
5204 ; GFX7-NEXT:    v_mov_b32_e32 v0, s12
5205 ; GFX7-NEXT:    v_mov_b32_e32 v1, s13
5206 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5207 ; GFX7-NEXT:    v_mov_b32_e32 v4, s2
5208 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5209 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5210 ; GFX7-NEXT:    buffer_wbinvl1_vol
5211 ; GFX7-NEXT:    v_mov_b32_e32 v2, s10
5212 ; GFX7-NEXT:    v_mov_b32_e32 v3, s11
5213 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5214 ; GFX7-NEXT:    s_endpgm
5215 ;
5216 ; GFX8-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
5217 ; GFX8:       ; %bb.0: ; %entry
5218 ; GFX8-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5219 ; GFX8-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
5220 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5221 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5222 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5223 ; GFX8-NEXT:    s_add_u32 s0, s8, s2
5224 ; GFX8-NEXT:    s_addc_u32 s3, s9, s3
5225 ; GFX8-NEXT:    s_add_u32 s2, s0, 32
5226 ; GFX8-NEXT:    s_addc_u32 s3, s3, 0
5227 ; GFX8-NEXT:    v_mov_b32_e32 v5, s3
5228 ; GFX8-NEXT:    v_mov_b32_e32 v0, s12
5229 ; GFX8-NEXT:    v_mov_b32_e32 v1, s13
5230 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5231 ; GFX8-NEXT:    v_mov_b32_e32 v4, s2
5232 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5233 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5234 ; GFX8-NEXT:    buffer_wbinvl1_vol
5235 ; GFX8-NEXT:    v_mov_b32_e32 v2, s10
5236 ; GFX8-NEXT:    v_mov_b32_e32 v3, s11
5237 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5238 ; GFX8-NEXT:    s_endpgm
5239 ;
5240 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_addr64_offset:
5241 ; GFX12:       ; %bb.0: ; %entry
5242 ; GFX12-NEXT:    s_clause 0x1
5243 ; GFX12-NEXT:    s_load_b256 s[8:15], s[4:5], 0x24
5244 ; GFX12-NEXT:    s_load_b64 s[0:1], s[4:5], 0x44
5245 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5246 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5247 ; GFX12-NEXT:    v_dual_mov_b32 v0, s12 :: v_dual_mov_b32 v1, s13
5248 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[8:9], s[2:3]
5249 ; GFX12-NEXT:    v_dual_mov_b32 v2, s0 :: v_dual_mov_b32 v3, s1
5250 ; GFX12-NEXT:    v_dual_mov_b32 v5, s3 :: v_dual_mov_b32 v4, s2
5251 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[0:1], v[4:5], v[0:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5252 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5253 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5254 ; GFX12-NEXT:    v_dual_mov_b32 v2, s10 :: v_dual_mov_b32 v3, s11
5255 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5256 ; GFX12-NEXT:    s_endpgm
5257 entry:
5258   %ptr = getelementptr i64, ptr %out, i64 %index
5259   %gep = getelementptr i64, ptr %ptr, i64 4
5260   %val = cmpxchg volatile ptr %gep, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5261   %extract0 = extractvalue { i64, i1 } %val, 0
5262   store i64 %extract0, ptr %out2
5263   ret void
5264 }
5265
5266 define amdgpu_kernel void @atomic_cmpxchg_i64(ptr %out, i64 %in, i64 %old) {
5267 ; GFX7-LABEL: atomic_cmpxchg_i64:
5268 ; GFX7:       ; %bb.0: ; %entry
5269 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5270 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5271 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5272 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5273 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5274 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
5275 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
5276 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
5277 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
5278 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5279 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5280 ; GFX7-NEXT:    buffer_wbinvl1_vol
5281 ; GFX7-NEXT:    s_endpgm
5282 ;
5283 ; GFX8-LABEL: atomic_cmpxchg_i64:
5284 ; GFX8:       ; %bb.0: ; %entry
5285 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5286 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5287 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5288 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5289 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5290 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
5291 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
5292 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
5293 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
5294 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5295 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5296 ; GFX8-NEXT:    buffer_wbinvl1_vol
5297 ; GFX8-NEXT:    s_endpgm
5298 ;
5299 ; GFX12-LABEL: atomic_cmpxchg_i64:
5300 ; GFX12:       ; %bb.0: ; %entry
5301 ; GFX12-NEXT:    s_clause 0x1
5302 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5303 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5304 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5305 ; GFX12-NEXT:    v_dual_mov_b32 v4, s0 :: v_dual_mov_b32 v5, s1
5306 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5307 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
5308 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[4:5], v[0:3] scope:SCOPE_DEV
5309 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5310 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5311 ; GFX12-NEXT:    s_endpgm
5312 entry:
5313   %val = cmpxchg volatile ptr %out, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5314   ret void
5315 }
5316
5317 define amdgpu_kernel void @atomic_cmpxchg_i64_ret(ptr %out, ptr %out2, i64 %in, i64 %old) {
5318 ; GFX7-LABEL: atomic_cmpxchg_i64_ret:
5319 ; GFX7:       ; %bb.0: ; %entry
5320 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5321 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5322 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5323 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5324 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
5325 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
5326 ; GFX7-NEXT:    v_mov_b32_e32 v2, s6
5327 ; GFX7-NEXT:    v_mov_b32_e32 v3, s7
5328 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5329 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5330 ; GFX7-NEXT:    buffer_wbinvl1_vol
5331 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5332 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5333 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5334 ; GFX7-NEXT:    s_endpgm
5335 ;
5336 ; GFX8-LABEL: atomic_cmpxchg_i64_ret:
5337 ; GFX8:       ; %bb.0: ; %entry
5338 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5339 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5340 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5341 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5342 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
5343 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
5344 ; GFX8-NEXT:    v_mov_b32_e32 v2, s6
5345 ; GFX8-NEXT:    v_mov_b32_e32 v3, s7
5346 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5347 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5348 ; GFX8-NEXT:    buffer_wbinvl1_vol
5349 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5350 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5351 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5352 ; GFX8-NEXT:    s_endpgm
5353 ;
5354 ; GFX12-LABEL: atomic_cmpxchg_i64_ret:
5355 ; GFX12:       ; %bb.0: ; %entry
5356 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5357 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5358 ; GFX12-NEXT:    v_dual_mov_b32 v4, s0 :: v_dual_mov_b32 v5, s1
5359 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
5360 ; GFX12-NEXT:    v_dual_mov_b32 v2, s6 :: v_dual_mov_b32 v3, s7
5361 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[0:1], v[4:5], v[0:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5362 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5363 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5364 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5365 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5366 ; GFX12-NEXT:    s_endpgm
5367 entry:
5368   %val = cmpxchg volatile ptr %out, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5369   %extract0 = extractvalue { i64, i1 } %val, 0
5370   store i64 %extract0, ptr %out2
5371   ret void
5372 }
5373
5374 define amdgpu_kernel void @atomic_cmpxchg_i64_addr64(ptr %out, i64 %in, i64 %index, i64 %old) {
5375 ; GFX7-LABEL: atomic_cmpxchg_i64_addr64:
5376 ; GFX7:       ; %bb.0: ; %entry
5377 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
5378 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5379 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5380 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
5381 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
5382 ; GFX7-NEXT:    v_mov_b32_e32 v5, s1
5383 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
5384 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
5385 ; GFX7-NEXT:    v_mov_b32_e32 v2, s6
5386 ; GFX7-NEXT:    v_mov_b32_e32 v3, s7
5387 ; GFX7-NEXT:    v_mov_b32_e32 v4, s0
5388 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5389 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5390 ; GFX7-NEXT:    buffer_wbinvl1_vol
5391 ; GFX7-NEXT:    s_endpgm
5392 ;
5393 ; GFX8-LABEL: atomic_cmpxchg_i64_addr64:
5394 ; GFX8:       ; %bb.0: ; %entry
5395 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
5396 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5397 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5398 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
5399 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
5400 ; GFX8-NEXT:    v_mov_b32_e32 v5, s1
5401 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
5402 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
5403 ; GFX8-NEXT:    v_mov_b32_e32 v2, s6
5404 ; GFX8-NEXT:    v_mov_b32_e32 v3, s7
5405 ; GFX8-NEXT:    v_mov_b32_e32 v4, s0
5406 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[4:5], v[0:3]
5407 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5408 ; GFX8-NEXT:    buffer_wbinvl1_vol
5409 ; GFX8-NEXT:    s_endpgm
5410 ;
5411 ; GFX12-LABEL: atomic_cmpxchg_i64_addr64:
5412 ; GFX12:       ; %bb.0: ; %entry
5413 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
5414 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5415 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[4:5], 3
5416 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
5417 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5418 ; GFX12-NEXT:    v_dual_mov_b32 v2, s6 :: v_dual_mov_b32 v3, s7
5419 ; GFX12-NEXT:    v_dual_mov_b32 v5, s1 :: v_dual_mov_b32 v4, s0
5420 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[4:5], v[0:3] scope:SCOPE_DEV
5421 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5422 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5423 ; GFX12-NEXT:    s_endpgm
5424 entry:
5425   %ptr = getelementptr i64, ptr %out, i64 %index
5426   %val = cmpxchg volatile ptr %ptr, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5427   ret void
5428 }
5429
5430 define amdgpu_kernel void @atomic_cmpxchg_i64_ret_addr64(ptr %out, ptr %out2, i64 %in, i64 %index, i64 %old) {
5431 ; GFX7-LABEL: atomic_cmpxchg_i64_ret_addr64:
5432 ; GFX7:       ; %bb.0: ; %entry
5433 ; GFX7-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x9
5434 ; GFX7-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x11
5435 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5436 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5437 ; GFX7-NEXT:    s_add_u32 s2, s8, s2
5438 ; GFX7-NEXT:    s_addc_u32 s3, s9, s3
5439 ; GFX7-NEXT:    v_mov_b32_e32 v5, s3
5440 ; GFX7-NEXT:    v_mov_b32_e32 v0, s12
5441 ; GFX7-NEXT:    v_mov_b32_e32 v1, s13
5442 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5443 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5444 ; GFX7-NEXT:    v_mov_b32_e32 v4, s2
5445 ; GFX7-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5446 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5447 ; GFX7-NEXT:    buffer_wbinvl1_vol
5448 ; GFX7-NEXT:    v_mov_b32_e32 v2, s10
5449 ; GFX7-NEXT:    v_mov_b32_e32 v3, s11
5450 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5451 ; GFX7-NEXT:    s_endpgm
5452 ;
5453 ; GFX8-LABEL: atomic_cmpxchg_i64_ret_addr64:
5454 ; GFX8:       ; %bb.0: ; %entry
5455 ; GFX8-NEXT:    s_load_dwordx8 s[8:15], s[4:5], 0x24
5456 ; GFX8-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0x44
5457 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5458 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5459 ; GFX8-NEXT:    s_add_u32 s2, s8, s2
5460 ; GFX8-NEXT:    s_addc_u32 s3, s9, s3
5461 ; GFX8-NEXT:    v_mov_b32_e32 v5, s3
5462 ; GFX8-NEXT:    v_mov_b32_e32 v0, s12
5463 ; GFX8-NEXT:    v_mov_b32_e32 v1, s13
5464 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5465 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5466 ; GFX8-NEXT:    v_mov_b32_e32 v4, s2
5467 ; GFX8-NEXT:    flat_atomic_cmpswap_x2 v[0:1], v[4:5], v[0:3] glc
5468 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5469 ; GFX8-NEXT:    buffer_wbinvl1_vol
5470 ; GFX8-NEXT:    v_mov_b32_e32 v2, s10
5471 ; GFX8-NEXT:    v_mov_b32_e32 v3, s11
5472 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5473 ; GFX8-NEXT:    s_endpgm
5474 ;
5475 ; GFX12-LABEL: atomic_cmpxchg_i64_ret_addr64:
5476 ; GFX12:       ; %bb.0: ; %entry
5477 ; GFX12-NEXT:    s_clause 0x1
5478 ; GFX12-NEXT:    s_load_b256 s[8:15], s[4:5], 0x24
5479 ; GFX12-NEXT:    s_load_b64 s[0:1], s[4:5], 0x44
5480 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5481 ; GFX12-NEXT:    s_lshl_b64 s[2:3], s[14:15], 3
5482 ; GFX12-NEXT:    v_dual_mov_b32 v0, s12 :: v_dual_mov_b32 v1, s13
5483 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[8:9], s[2:3]
5484 ; GFX12-NEXT:    v_dual_mov_b32 v2, s0 :: v_dual_mov_b32 v3, s1
5485 ; GFX12-NEXT:    v_dual_mov_b32 v5, s3 :: v_dual_mov_b32 v4, s2
5486 ; GFX12-NEXT:    flat_atomic_cmpswap_b64 v[0:1], v[4:5], v[0:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
5487 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5488 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5489 ; GFX12-NEXT:    v_dual_mov_b32 v2, s10 :: v_dual_mov_b32 v3, s11
5490 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5491 ; GFX12-NEXT:    s_endpgm
5492 entry:
5493   %ptr = getelementptr i64, ptr %out, i64 %index
5494   %val = cmpxchg volatile ptr %ptr, i64 %old, i64 %in syncscope("agent") seq_cst seq_cst, !noalias.addrspace !0
5495   %extract0 = extractvalue { i64, i1 } %val, 0
5496   store i64 %extract0, ptr %out2
5497   ret void
5498 }
5499
5500 define amdgpu_kernel void @atomic_load_f64_offset(ptr %in, ptr %out) {
5501 ; GFX7-LABEL: atomic_load_f64_offset:
5502 ; GFX7:       ; %bb.0: ; %entry
5503 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5504 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5505 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5506 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5507 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5508 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5509 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5510 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5511 ; GFX7-NEXT:    buffer_wbinvl1_vol
5512 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5513 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5514 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5515 ; GFX7-NEXT:    s_endpgm
5516 ;
5517 ; GFX8-LABEL: atomic_load_f64_offset:
5518 ; GFX8:       ; %bb.0: ; %entry
5519 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5520 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5521 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5522 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5523 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5524 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5525 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5526 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5527 ; GFX8-NEXT:    buffer_wbinvl1_vol
5528 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5529 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5530 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5531 ; GFX8-NEXT:    s_endpgm
5532 ;
5533 ; GFX12-LABEL: atomic_load_f64_offset:
5534 ; GFX12:       ; %bb.0: ; %entry
5535 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5536 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5537 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5538 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5539 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] offset:32 scope:SCOPE_SYS
5540 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5541 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
5542 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5543 ; GFX12-NEXT:    s_endpgm
5544 entry:
5545   %gep = getelementptr double, ptr %in, i64 4
5546   %val = load atomic double, ptr %gep  seq_cst, align 8, !noalias.addrspace !0
5547   store double %val, ptr %out
5548   ret void
5549 }
5550
5551 define amdgpu_kernel void @atomic_load_f64(ptr %in, ptr %out) {
5552 ; GFX7-LABEL: atomic_load_f64:
5553 ; GFX7:       ; %bb.0: ; %entry
5554 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5555 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5556 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5557 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5558 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5559 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5560 ; GFX7-NEXT:    buffer_wbinvl1_vol
5561 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5562 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5563 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5564 ; GFX7-NEXT:    s_endpgm
5565 ;
5566 ; GFX8-LABEL: atomic_load_f64:
5567 ; GFX8:       ; %bb.0: ; %entry
5568 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5569 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5570 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5571 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5572 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5573 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5574 ; GFX8-NEXT:    buffer_wbinvl1_vol
5575 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5576 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5577 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5578 ; GFX8-NEXT:    s_endpgm
5579 ;
5580 ; GFX12-LABEL: atomic_load_f64:
5581 ; GFX12:       ; %bb.0: ; %entry
5582 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5583 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5584 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5585 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5586 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] scope:SCOPE_DEV
5587 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5588 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5589 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5590 ; GFX12-NEXT:    s_endpgm
5591 entry:
5592   %val = load atomic double, ptr %in syncscope("agent") seq_cst, align 8, !noalias.addrspace !0
5593   store double %val, ptr %out
5594   ret void
5595 }
5596
5597 define amdgpu_kernel void @atomic_load_f64_addr64_offset(ptr %in, ptr %out, i64 %index) {
5598 ; GFX7-LABEL: atomic_load_f64_addr64_offset:
5599 ; GFX7:       ; %bb.0: ; %entry
5600 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
5601 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5602 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5603 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5604 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
5605 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
5606 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5607 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5608 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5609 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5610 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5611 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5612 ; GFX7-NEXT:    buffer_wbinvl1_vol
5613 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5614 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5615 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5616 ; GFX7-NEXT:    s_endpgm
5617 ;
5618 ; GFX8-LABEL: atomic_load_f64_addr64_offset:
5619 ; GFX8:       ; %bb.0: ; %entry
5620 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5621 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5622 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5623 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5624 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
5625 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
5626 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5627 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5628 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5629 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5630 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5631 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5632 ; GFX8-NEXT:    buffer_wbinvl1_vol
5633 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5634 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5635 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5636 ; GFX8-NEXT:    s_endpgm
5637 ;
5638 ; GFX12-LABEL: atomic_load_f64_addr64_offset:
5639 ; GFX12:       ; %bb.0: ; %entry
5640 ; GFX12-NEXT:    s_clause 0x1
5641 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5642 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5643 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5644 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5645 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5646 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5647 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
5648 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5649 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] offset:32 scope:SCOPE_SYS
5650 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5651 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
5652 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5653 ; GFX12-NEXT:    s_endpgm
5654 entry:
5655   %ptr = getelementptr double, ptr %in, i64 %index
5656   %gep = getelementptr double, ptr %ptr, i64 4
5657   %val = load atomic double, ptr %gep seq_cst, align 8, !noalias.addrspace !0
5658   store double %val, ptr %out
5659   ret void
5660 }
5661
5662 define amdgpu_kernel void @atomic_load_f64_addr64(ptr %in, ptr %out, i64 %index) {
5663 ; GFX7-LABEL: atomic_load_f64_addr64:
5664 ; GFX7:       ; %bb.0: ; %entry
5665 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
5666 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5667 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5668 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5669 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
5670 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
5671 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5672 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5673 ; GFX7-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5674 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5675 ; GFX7-NEXT:    buffer_wbinvl1_vol
5676 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5677 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5678 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5679 ; GFX7-NEXT:    s_endpgm
5680 ;
5681 ; GFX8-LABEL: atomic_load_f64_addr64:
5682 ; GFX8:       ; %bb.0: ; %entry
5683 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5684 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5685 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5686 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5687 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
5688 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
5689 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5690 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5691 ; GFX8-NEXT:    flat_load_dwordx2 v[0:1], v[0:1] glc
5692 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5693 ; GFX8-NEXT:    buffer_wbinvl1_vol
5694 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5695 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5696 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5697 ; GFX8-NEXT:    s_endpgm
5698 ;
5699 ; GFX12-LABEL: atomic_load_f64_addr64:
5700 ; GFX12:       ; %bb.0: ; %entry
5701 ; GFX12-NEXT:    s_clause 0x1
5702 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5703 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5704 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5705 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5706 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5707 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
5708 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
5709 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5710 ; GFX12-NEXT:    flat_load_b64 v[0:1], v[0:1] scope:SCOPE_SYS
5711 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
5712 ; GFX12-NEXT:    global_inv scope:SCOPE_SYS
5713 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
5714 ; GFX12-NEXT:    s_endpgm
5715 entry:
5716   %ptr = getelementptr double, ptr %in, i64 %index
5717   %val = load atomic double, ptr %ptr seq_cst, align 8, !noalias.addrspace !0
5718   store double %val, ptr %out
5719   ret void
5720 }
5721
5722 define amdgpu_kernel void @atomic_store_f64_offset(double %in, ptr %out) {
5723 ; GFX7-LABEL: atomic_store_f64_offset:
5724 ; GFX7:       ; %bb.0: ; %entry
5725 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5726 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5727 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5728 ; GFX7-NEXT:    s_add_u32 s0, s2, 32
5729 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5730 ; GFX7-NEXT:    s_addc_u32 s1, s3, 0
5731 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5732 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5733 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5734 ; GFX7-NEXT:    s_endpgm
5735 ;
5736 ; GFX8-LABEL: atomic_store_f64_offset:
5737 ; GFX8:       ; %bb.0: ; %entry
5738 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5739 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5740 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5741 ; GFX8-NEXT:    s_add_u32 s0, s2, 32
5742 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5743 ; GFX8-NEXT:    s_addc_u32 s1, s3, 0
5744 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5745 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5746 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5747 ; GFX8-NEXT:    s_endpgm
5748 ;
5749 ; GFX12-LABEL: atomic_store_f64_offset:
5750 ; GFX12:       ; %bb.0: ; %entry
5751 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5752 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5753 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5754 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5755 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
5756 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_SYS
5757 ; GFX12-NEXT:    s_endpgm
5758 entry:
5759   %gep = getelementptr double, ptr %out, i64 4
5760   store atomic double %in, ptr %gep  seq_cst, align 8, !noalias.addrspace !0
5761   ret void
5762 }
5763
5764 define amdgpu_kernel void @atomic_store_f64(double %in, ptr %out) {
5765 ; GFX7-LABEL: atomic_store_f64:
5766 ; GFX7:       ; %bb.0: ; %entry
5767 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5768 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5769 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5770 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5771 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5772 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5773 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5774 ; GFX7-NEXT:    s_endpgm
5775 ;
5776 ; GFX8-LABEL: atomic_store_f64:
5777 ; GFX8:       ; %bb.0: ; %entry
5778 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5779 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5780 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5781 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5782 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5783 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5784 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5785 ; GFX8-NEXT:    s_endpgm
5786 ;
5787 ; GFX12-LABEL: atomic_store_f64:
5788 ; GFX12:       ; %bb.0: ; %entry
5789 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5790 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5791 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5792 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5793 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
5794 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] scope:SCOPE_SYS
5795 ; GFX12-NEXT:    s_endpgm
5796 entry:
5797   store atomic double %in, ptr %out seq_cst, align 8, !noalias.addrspace !0
5798   ret void
5799 }
5800
5801 define amdgpu_kernel void @atomic_store_f64_addr64_offset(double %in, ptr %out, i64 %index) {
5802 ; GFX7-LABEL: atomic_store_f64_addr64_offset:
5803 ; GFX7:       ; %bb.0: ; %entry
5804 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5805 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5806 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5807 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5808 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5809 ; GFX7-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
5810 ; GFX7-NEXT:    s_add_u32 s0, s2, s0
5811 ; GFX7-NEXT:    s_addc_u32 s1, s3, s1
5812 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5813 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5814 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5815 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5816 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5817 ; GFX7-NEXT:    s_endpgm
5818 ;
5819 ; GFX8-LABEL: atomic_store_f64_addr64_offset:
5820 ; GFX8:       ; %bb.0: ; %entry
5821 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5822 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5823 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5824 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5825 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5826 ; GFX8-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
5827 ; GFX8-NEXT:    s_add_u32 s0, s2, s0
5828 ; GFX8-NEXT:    s_addc_u32 s1, s3, s1
5829 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5830 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5831 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5832 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5833 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5834 ; GFX8-NEXT:    s_endpgm
5835 ;
5836 ; GFX12-LABEL: atomic_store_f64_addr64_offset:
5837 ; GFX12:       ; %bb.0: ; %entry
5838 ; GFX12-NEXT:    s_clause 0x1
5839 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5840 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5841 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5842 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5843 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5844 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[2:3], s[4:5]
5845 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
5846 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5847 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
5848 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] offset:32 scope:SCOPE_SYS
5849 ; GFX12-NEXT:    s_endpgm
5850 entry:
5851   %ptr = getelementptr double, ptr %out, i64 %index
5852   %gep = getelementptr double, ptr %ptr, i64 4
5853   store atomic double %in, ptr %gep seq_cst, align 8, !noalias.addrspace !0
5854   ret void
5855 }
5856
5857 define amdgpu_kernel void @atomic_store_f64_addr64(double %in, ptr %out, i64 %index) {
5858 ; GFX7-LABEL: atomic_store_f64_addr64:
5859 ; GFX7:       ; %bb.0: ; %entry
5860 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5861 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
5862 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5863 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
5864 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
5865 ; GFX7-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
5866 ; GFX7-NEXT:    s_add_u32 s0, s2, s0
5867 ; GFX7-NEXT:    s_addc_u32 s1, s3, s1
5868 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5869 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5870 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5871 ; GFX7-NEXT:    s_endpgm
5872 ;
5873 ; GFX8-LABEL: atomic_store_f64_addr64:
5874 ; GFX8:       ; %bb.0: ; %entry
5875 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5876 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
5877 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5878 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
5879 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
5880 ; GFX8-NEXT:    s_lshl_b64 s[0:1], s[4:5], 3
5881 ; GFX8-NEXT:    s_add_u32 s0, s2, s0
5882 ; GFX8-NEXT:    s_addc_u32 s1, s3, s1
5883 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5884 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5885 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5886 ; GFX8-NEXT:    s_endpgm
5887 ;
5888 ; GFX12-LABEL: atomic_store_f64_addr64:
5889 ; GFX12:       ; %bb.0: ; %entry
5890 ; GFX12-NEXT:    s_clause 0x1
5891 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
5892 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5893 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5894 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
5895 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5896 ; GFX12-NEXT:    s_add_nc_u64 s[2:3], s[2:3], s[4:5]
5897 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
5898 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5899 ; GFX12-NEXT:    global_wb scope:SCOPE_SYS
5900 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1] scope:SCOPE_SYS
5901 ; GFX12-NEXT:    s_endpgm
5902 entry:
5903   %ptr = getelementptr double, ptr %out, i64 %index
5904   store atomic double %in, ptr %ptr seq_cst, align 8, !noalias.addrspace !0
5905   ret void
5906 }
5907
5908 define amdgpu_kernel void @atomic_inc_i64_offset(ptr %out, i64 %in) {
5909 ; GFX7-LABEL: atomic_inc_i64_offset:
5910 ; GFX7:       ; %bb.0: ; %entry
5911 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5912 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5913 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5914 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5915 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5916 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
5917 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
5918 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5919 ; GFX7-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
5920 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5921 ; GFX7-NEXT:    buffer_wbinvl1_vol
5922 ; GFX7-NEXT:    s_endpgm
5923 ;
5924 ; GFX8-LABEL: atomic_inc_i64_offset:
5925 ; GFX8:       ; %bb.0: ; %entry
5926 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5927 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5928 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5929 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5930 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5931 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
5932 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
5933 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5934 ; GFX8-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
5935 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5936 ; GFX8-NEXT:    buffer_wbinvl1_vol
5937 ; GFX8-NEXT:    s_endpgm
5938 ;
5939 ; GFX12-LABEL: atomic_inc_i64_offset:
5940 ; GFX12:       ; %bb.0: ; %entry
5941 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5942 ; GFX12-NEXT:    s_wait_kmcnt 0x0
5943 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
5944 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
5945 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
5946 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
5947 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
5948 ; GFX12-NEXT:    s_endpgm
5949 entry:
5950   %gep = getelementptr i64, ptr %out, i64 4
5951   %tmp0 = atomicrmw volatile uinc_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
5952   ret void
5953 }
5954
5955 define amdgpu_kernel void @atomic_inc_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
5956 ; GFX7-LABEL: atomic_inc_i64_ret_offset:
5957 ; GFX7:       ; %bb.0: ; %entry
5958 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
5959 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
5960 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
5961 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
5962 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
5963 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
5964 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
5965 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
5966 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
5967 ; GFX7-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
5968 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5969 ; GFX7-NEXT:    buffer_wbinvl1_vol
5970 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
5971 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
5972 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5973 ; GFX7-NEXT:    s_endpgm
5974 ;
5975 ; GFX8-LABEL: atomic_inc_i64_ret_offset:
5976 ; GFX8:       ; %bb.0: ; %entry
5977 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
5978 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
5979 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
5980 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
5981 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
5982 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
5983 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
5984 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
5985 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
5986 ; GFX8-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
5987 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
5988 ; GFX8-NEXT:    buffer_wbinvl1_vol
5989 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
5990 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
5991 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
5992 ; GFX8-NEXT:    s_endpgm
5993 ;
5994 ; GFX12-LABEL: atomic_inc_i64_ret_offset:
5995 ; GFX12:       ; %bb.0: ; %entry
5996 ; GFX12-NEXT:    s_clause 0x1
5997 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
5998 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
5999 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6000 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6001 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
6002 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6003 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6004 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6005 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6006 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6007 ; GFX12-NEXT:    s_endpgm
6008 entry:
6009   %gep = getelementptr i64, ptr %out, i64 4
6010   %tmp0 = atomicrmw volatile uinc_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6011   store i64 %tmp0, ptr %out2
6012   ret void
6013 }
6014
6015 define amdgpu_kernel void @atomic_inc_i64_incr64_offset(ptr %out, i64 %in, i64 %index) {
6016 ; GFX7-LABEL: atomic_inc_i64_incr64_offset:
6017 ; GFX7:       ; %bb.0: ; %entry
6018 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6019 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6020 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6021 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6022 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6023 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6024 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
6025 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
6026 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6027 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6028 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6029 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6030 ; GFX7-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
6031 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6032 ; GFX7-NEXT:    buffer_wbinvl1_vol
6033 ; GFX7-NEXT:    s_endpgm
6034 ;
6035 ; GFX8-LABEL: atomic_inc_i64_incr64_offset:
6036 ; GFX8:       ; %bb.0: ; %entry
6037 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6038 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6039 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6040 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
6041 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
6042 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6043 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
6044 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
6045 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6046 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6047 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6048 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6049 ; GFX8-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
6050 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6051 ; GFX8-NEXT:    buffer_wbinvl1_vol
6052 ; GFX8-NEXT:    s_endpgm
6053 ;
6054 ; GFX12-LABEL: atomic_inc_i64_incr64_offset:
6055 ; GFX12:       ; %bb.0: ; %entry
6056 ; GFX12-NEXT:    s_clause 0x1
6057 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6058 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6059 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6060 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6061 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6062 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6063 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6064 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6065 ; GFX12-NEXT:    flat_atomic_inc_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
6066 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6067 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6068 ; GFX12-NEXT:    s_endpgm
6069 entry:
6070   %ptr = getelementptr i64, ptr %out, i64 %index
6071   %gep = getelementptr i64, ptr %ptr, i64 4
6072   %tmp0 = atomicrmw volatile uinc_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6073   ret void
6074 }
6075
6076 define amdgpu_kernel void @atomic_inc_i64_ret_incr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
6077 ; GFX7-LABEL: atomic_inc_i64_ret_incr64_offset:
6078 ; GFX7:       ; %bb.0: ; %entry
6079 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6080 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6081 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6082 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6083 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6084 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
6085 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
6086 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6087 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6088 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6089 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6090 ; GFX7-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
6091 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6092 ; GFX7-NEXT:    buffer_wbinvl1_vol
6093 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6094 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6095 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6096 ; GFX7-NEXT:    s_endpgm
6097 ;
6098 ; GFX8-LABEL: atomic_inc_i64_ret_incr64_offset:
6099 ; GFX8:       ; %bb.0: ; %entry
6100 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6101 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6102 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
6103 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
6104 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6105 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
6106 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
6107 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6108 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6109 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6110 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6111 ; GFX8-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
6112 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6113 ; GFX8-NEXT:    buffer_wbinvl1_vol
6114 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6115 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6116 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6117 ; GFX8-NEXT:    s_endpgm
6118 ;
6119 ; GFX12-LABEL: atomic_inc_i64_ret_incr64_offset:
6120 ; GFX12:       ; %bb.0: ; %entry
6121 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6122 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6123 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
6124 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
6125 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
6126 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6127 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6128 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6129 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6130 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6131 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6132 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6133 ; GFX12-NEXT:    s_endpgm
6134 entry:
6135   %ptr = getelementptr i64, ptr %out, i64 %index
6136   %gep = getelementptr i64, ptr %ptr, i64 4
6137   %tmp0 = atomicrmw volatile uinc_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6138   store i64 %tmp0, ptr %out2
6139   ret void
6140 }
6141
6142 define amdgpu_kernel void @atomic_inc_i64(ptr %out, i64 %in) {
6143 ; GFX7-LABEL: atomic_inc_i64:
6144 ; GFX7:       ; %bb.0: ; %entry
6145 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6146 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6147 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6148 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6149 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6150 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6151 ; GFX7-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3]
6152 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6153 ; GFX7-NEXT:    buffer_wbinvl1_vol
6154 ; GFX7-NEXT:    s_endpgm
6155 ;
6156 ; GFX8-LABEL: atomic_inc_i64:
6157 ; GFX8:       ; %bb.0: ; %entry
6158 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6159 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6160 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
6161 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
6162 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6163 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6164 ; GFX8-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3]
6165 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6166 ; GFX8-NEXT:    buffer_wbinvl1_vol
6167 ; GFX8-NEXT:    s_endpgm
6168 ;
6169 ; GFX12-LABEL: atomic_inc_i64:
6170 ; GFX12:       ; %bb.0: ; %entry
6171 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6172 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6173 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6174 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6175 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[2:3] scope:SCOPE_DEV
6176 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6177 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6178 ; GFX12-NEXT:    s_endpgm
6179 entry:
6180   %tmp0 = atomicrmw volatile uinc_wrap ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6181   ret void
6182 }
6183
6184 define amdgpu_kernel void @atomic_inc_i64_ret(ptr %out, ptr %out2, i64 %in) {
6185 ; GFX7-LABEL: atomic_inc_i64_ret:
6186 ; GFX7:       ; %bb.0: ; %entry
6187 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6188 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6189 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6190 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6191 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6192 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
6193 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
6194 ; GFX7-NEXT:    flat_atomic_inc_x2 v[0:1], v[0:1], v[2:3] glc
6195 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6196 ; GFX7-NEXT:    buffer_wbinvl1_vol
6197 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6198 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6199 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6200 ; GFX7-NEXT:    s_endpgm
6201 ;
6202 ; GFX8-LABEL: atomic_inc_i64_ret:
6203 ; GFX8:       ; %bb.0: ; %entry
6204 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6205 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6206 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6207 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
6208 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
6209 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
6210 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
6211 ; GFX8-NEXT:    flat_atomic_inc_x2 v[0:1], v[0:1], v[2:3] glc
6212 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6213 ; GFX8-NEXT:    buffer_wbinvl1_vol
6214 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6215 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6216 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6217 ; GFX8-NEXT:    s_endpgm
6218 ;
6219 ; GFX12-LABEL: atomic_inc_i64_ret:
6220 ; GFX12:       ; %bb.0: ; %entry
6221 ; GFX12-NEXT:    s_clause 0x1
6222 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6223 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
6224 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6225 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6226 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
6227 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6228 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6229 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6230 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6231 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6232 ; GFX12-NEXT:    s_endpgm
6233 entry:
6234   %tmp0 = atomicrmw volatile uinc_wrap ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6235   store i64 %tmp0, ptr %out2
6236   ret void
6237 }
6238
6239 define amdgpu_kernel void @atomic_inc_i64_incr64(ptr %out, i64 %in, i64 %index) {
6240 ; GFX7-LABEL: atomic_inc_i64_incr64:
6241 ; GFX7:       ; %bb.0: ; %entry
6242 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6243 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6244 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6245 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6246 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6247 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6248 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
6249 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
6250 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6251 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6252 ; GFX7-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
6253 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6254 ; GFX7-NEXT:    buffer_wbinvl1_vol
6255 ; GFX7-NEXT:    s_endpgm
6256 ;
6257 ; GFX8-LABEL: atomic_inc_i64_incr64:
6258 ; GFX8:       ; %bb.0: ; %entry
6259 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6260 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6261 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6262 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
6263 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
6264 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6265 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
6266 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
6267 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6268 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6269 ; GFX8-NEXT:    flat_atomic_inc_x2 v[2:3], v[0:1]
6270 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6271 ; GFX8-NEXT:    buffer_wbinvl1_vol
6272 ; GFX8-NEXT:    s_endpgm
6273 ;
6274 ; GFX12-LABEL: atomic_inc_i64_incr64:
6275 ; GFX12:       ; %bb.0: ; %entry
6276 ; GFX12-NEXT:    s_clause 0x1
6277 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6278 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6279 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6280 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6281 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6282 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6283 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6284 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6285 ; GFX12-NEXT:    flat_atomic_inc_u64 v[2:3], v[0:1] scope:SCOPE_DEV
6286 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6287 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6288 ; GFX12-NEXT:    s_endpgm
6289 entry:
6290   %ptr = getelementptr i64, ptr %out, i64 %index
6291   %tmp0 = atomicrmw volatile uinc_wrap ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6292   ret void
6293 }
6294
6295 define amdgpu_kernel void @atomic_inc_i64_ret_incr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
6296 ; GFX7-LABEL: atomic_inc_i64_ret_incr64:
6297 ; GFX7:       ; %bb.0: ; %entry
6298 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6299 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6300 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6301 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6302 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6303 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
6304 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
6305 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6306 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6307 ; GFX7-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
6308 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6309 ; GFX7-NEXT:    buffer_wbinvl1_vol
6310 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6311 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6312 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6313 ; GFX7-NEXT:    s_endpgm
6314 ;
6315 ; GFX8-LABEL: atomic_inc_i64_ret_incr64:
6316 ; GFX8:       ; %bb.0: ; %entry
6317 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6318 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6319 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
6320 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
6321 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6322 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
6323 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
6324 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6325 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6326 ; GFX8-NEXT:    flat_atomic_inc_x2 v[0:1], v[2:3], v[0:1] glc
6327 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6328 ; GFX8-NEXT:    buffer_wbinvl1_vol
6329 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6330 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6331 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6332 ; GFX8-NEXT:    s_endpgm
6333 ;
6334 ; GFX12-LABEL: atomic_inc_i64_ret_incr64:
6335 ; GFX12:       ; %bb.0: ; %entry
6336 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6337 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6338 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
6339 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
6340 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
6341 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6342 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6343 ; GFX12-NEXT:    flat_atomic_inc_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6344 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6345 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6346 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6347 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6348 ; GFX12-NEXT:    s_endpgm
6349 entry:
6350   %ptr = getelementptr i64, ptr %out, i64 %index
6351   %tmp0 = atomicrmw volatile uinc_wrap ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6352   store i64 %tmp0, ptr %out2
6353   ret void
6354 }
6355
6356 define amdgpu_kernel void @atomic_dec_i64_offset(ptr %out, i64 %in) {
6357 ; GFX7-LABEL: atomic_dec_i64_offset:
6358 ; GFX7:       ; %bb.0: ; %entry
6359 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6360 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6361 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6362 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6363 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6364 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6365 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6366 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6367 ; GFX7-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6368 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6369 ; GFX7-NEXT:    buffer_wbinvl1_vol
6370 ; GFX7-NEXT:    s_endpgm
6371 ;
6372 ; GFX8-LABEL: atomic_dec_i64_offset:
6373 ; GFX8:       ; %bb.0: ; %entry
6374 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6375 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6376 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6377 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6378 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6379 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
6380 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
6381 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6382 ; GFX8-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6383 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6384 ; GFX8-NEXT:    buffer_wbinvl1_vol
6385 ; GFX8-NEXT:    s_endpgm
6386 ;
6387 ; GFX12-LABEL: atomic_dec_i64_offset:
6388 ; GFX12:       ; %bb.0: ; %entry
6389 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6390 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6391 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6392 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6393 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[2:3] offset:32 scope:SCOPE_DEV
6394 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6395 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6396 ; GFX12-NEXT:    s_endpgm
6397 entry:
6398   %gep = getelementptr i64, ptr %out, i64 4
6399   %tmp0 = atomicrmw volatile udec_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6400   ret void
6401 }
6402
6403 define amdgpu_kernel void @atomic_dec_i64_ret_offset(ptr %out, ptr %out2, i64 %in) {
6404 ; GFX7-LABEL: atomic_dec_i64_ret_offset:
6405 ; GFX7:       ; %bb.0: ; %entry
6406 ; GFX7-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0xd
6407 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6408 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6409 ; GFX7-NEXT:    v_mov_b32_e32 v0, s6
6410 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6411 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6412 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6413 ; GFX7-NEXT:    v_mov_b32_e32 v1, s7
6414 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6415 ; GFX7-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6416 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6417 ; GFX7-NEXT:    buffer_wbinvl1_vol
6418 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6419 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6420 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6421 ; GFX7-NEXT:    s_endpgm
6422 ;
6423 ; GFX8-LABEL: atomic_dec_i64_ret_offset:
6424 ; GFX8:       ; %bb.0: ; %entry
6425 ; GFX8-NEXT:    s_load_dwordx2 s[6:7], s[4:5], 0x34
6426 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6427 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6428 ; GFX8-NEXT:    v_mov_b32_e32 v0, s6
6429 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6430 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6431 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6432 ; GFX8-NEXT:    v_mov_b32_e32 v1, s7
6433 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6434 ; GFX8-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6435 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6436 ; GFX8-NEXT:    buffer_wbinvl1_vol
6437 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6438 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6439 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6440 ; GFX8-NEXT:    s_endpgm
6441 ;
6442 ; GFX12-LABEL: atomic_dec_i64_ret_offset:
6443 ; GFX12:       ; %bb.0: ; %entry
6444 ; GFX12-NEXT:    s_clause 0x1
6445 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6446 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
6447 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6448 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6449 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
6450 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[0:1], v[2:3] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6451 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6452 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6453 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6454 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6455 ; GFX12-NEXT:    s_endpgm
6456 entry:
6457   %gep = getelementptr i64, ptr %out, i64 4
6458   %tmp0 = atomicrmw volatile udec_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6459   store i64 %tmp0, ptr %out2
6460   ret void
6461 }
6462
6463 define amdgpu_kernel void @atomic_dec_i64_decr64_offset(ptr %out, i64 %in, i64 %index) {
6464 ; GFX7-LABEL: atomic_dec_i64_decr64_offset:
6465 ; GFX7:       ; %bb.0: ; %entry
6466 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6467 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6468 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6469 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6470 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6471 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6472 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
6473 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
6474 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6475 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6476 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6477 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6478 ; GFX7-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6479 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6480 ; GFX7-NEXT:    buffer_wbinvl1_vol
6481 ; GFX7-NEXT:    s_endpgm
6482 ;
6483 ; GFX8-LABEL: atomic_dec_i64_decr64_offset:
6484 ; GFX8:       ; %bb.0: ; %entry
6485 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6486 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6487 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6488 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
6489 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
6490 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6491 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
6492 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
6493 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6494 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6495 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6496 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6497 ; GFX8-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6498 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6499 ; GFX8-NEXT:    buffer_wbinvl1_vol
6500 ; GFX8-NEXT:    s_endpgm
6501 ;
6502 ; GFX12-LABEL: atomic_dec_i64_decr64_offset:
6503 ; GFX12:       ; %bb.0: ; %entry
6504 ; GFX12-NEXT:    s_clause 0x1
6505 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6506 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6507 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6508 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6509 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6510 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6511 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6512 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6513 ; GFX12-NEXT:    flat_atomic_dec_u64 v[2:3], v[0:1] offset:32 scope:SCOPE_DEV
6514 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6515 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6516 ; GFX12-NEXT:    s_endpgm
6517 entry:
6518   %ptr = getelementptr i64, ptr %out, i64 %index
6519   %gep = getelementptr i64, ptr %ptr, i64 4
6520   %tmp0 = atomicrmw volatile udec_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6521   ret void
6522 }
6523
6524 define amdgpu_kernel void @atomic_dec_i64_ret_decr64_offset(ptr %out, ptr %out2, i64 %in, i64 %index) {
6525 ; GFX7-LABEL: atomic_dec_i64_ret_decr64_offset:
6526 ; GFX7:       ; %bb.0: ; %entry
6527 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6528 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6529 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6530 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6531 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6532 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
6533 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
6534 ; GFX7-NEXT:    s_add_u32 s0, s0, 32
6535 ; GFX7-NEXT:    s_addc_u32 s1, s1, 0
6536 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6537 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6538 ; GFX7-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6539 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6540 ; GFX7-NEXT:    buffer_wbinvl1_vol
6541 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6542 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6543 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6544 ; GFX7-NEXT:    s_endpgm
6545 ;
6546 ; GFX8-LABEL: atomic_dec_i64_ret_decr64_offset:
6547 ; GFX8:       ; %bb.0: ; %entry
6548 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6549 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6550 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
6551 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
6552 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6553 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
6554 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
6555 ; GFX8-NEXT:    s_add_u32 s0, s0, 32
6556 ; GFX8-NEXT:    s_addc_u32 s1, s1, 0
6557 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6558 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6559 ; GFX8-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6560 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6561 ; GFX8-NEXT:    buffer_wbinvl1_vol
6562 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6563 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6564 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6565 ; GFX8-NEXT:    s_endpgm
6566 ;
6567 ; GFX12-LABEL: atomic_dec_i64_ret_decr64_offset:
6568 ; GFX12:       ; %bb.0: ; %entry
6569 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6570 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6571 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
6572 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
6573 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
6574 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6575 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6576 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[2:3], v[0:1] offset:32 th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6577 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6578 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6579 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6580 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6581 ; GFX12-NEXT:    s_endpgm
6582 entry:
6583   %ptr = getelementptr i64, ptr %out, i64 %index
6584   %gep = getelementptr i64, ptr %ptr, i64 4
6585   %tmp0 = atomicrmw volatile udec_wrap ptr %gep, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6586   store i64 %tmp0, ptr %out2
6587   ret void
6588 }
6589
6590 define amdgpu_kernel void @atomic_dec_i64(ptr %out, i64 %in) {
6591 ; GFX7-LABEL: atomic_dec_i64:
6592 ; GFX7:       ; %bb.0: ; %entry
6593 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6594 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6595 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6596 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6597 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6598 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6599 ; GFX7-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3]
6600 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6601 ; GFX7-NEXT:    buffer_wbinvl1_vol
6602 ; GFX7-NEXT:    s_endpgm
6603 ;
6604 ; GFX8-LABEL: atomic_dec_i64:
6605 ; GFX8:       ; %bb.0: ; %entry
6606 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6607 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6608 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
6609 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
6610 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6611 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6612 ; GFX8-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3]
6613 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6614 ; GFX8-NEXT:    buffer_wbinvl1_vol
6615 ; GFX8-NEXT:    s_endpgm
6616 ;
6617 ; GFX12-LABEL: atomic_dec_i64:
6618 ; GFX12:       ; %bb.0: ; %entry
6619 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6620 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6621 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6622 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6623 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[2:3] scope:SCOPE_DEV
6624 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6625 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6626 ; GFX12-NEXT:    s_endpgm
6627 entry:
6628   %tmp0 = atomicrmw volatile udec_wrap ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6629   ret void
6630 }
6631
6632 define amdgpu_kernel void @atomic_dec_i64_ret(ptr %out, ptr %out2, i64 %in) {
6633 ; GFX7-LABEL: atomic_dec_i64_ret:
6634 ; GFX7:       ; %bb.0: ; %entry
6635 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6636 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6637 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6638 ; GFX7-NEXT:    v_mov_b32_e32 v0, s0
6639 ; GFX7-NEXT:    v_mov_b32_e32 v1, s1
6640 ; GFX7-NEXT:    v_mov_b32_e32 v2, s4
6641 ; GFX7-NEXT:    v_mov_b32_e32 v3, s5
6642 ; GFX7-NEXT:    flat_atomic_dec_x2 v[0:1], v[0:1], v[2:3] glc
6643 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6644 ; GFX7-NEXT:    buffer_wbinvl1_vol
6645 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6646 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6647 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6648 ; GFX7-NEXT:    s_endpgm
6649 ;
6650 ; GFX8-LABEL: atomic_dec_i64_ret:
6651 ; GFX8:       ; %bb.0: ; %entry
6652 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6653 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6654 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6655 ; GFX8-NEXT:    v_mov_b32_e32 v0, s0
6656 ; GFX8-NEXT:    v_mov_b32_e32 v1, s1
6657 ; GFX8-NEXT:    v_mov_b32_e32 v2, s4
6658 ; GFX8-NEXT:    v_mov_b32_e32 v3, s5
6659 ; GFX8-NEXT:    flat_atomic_dec_x2 v[0:1], v[0:1], v[2:3] glc
6660 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6661 ; GFX8-NEXT:    buffer_wbinvl1_vol
6662 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6663 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6664 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6665 ; GFX8-NEXT:    s_endpgm
6666 ;
6667 ; GFX12-LABEL: atomic_dec_i64_ret:
6668 ; GFX12:       ; %bb.0: ; %entry
6669 ; GFX12-NEXT:    s_clause 0x1
6670 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6671 ; GFX12-NEXT:    s_load_b64 s[4:5], s[4:5], 0x34
6672 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6673 ; GFX12-NEXT:    v_dual_mov_b32 v0, s0 :: v_dual_mov_b32 v1, s1
6674 ; GFX12-NEXT:    v_dual_mov_b32 v2, s4 :: v_dual_mov_b32 v3, s5
6675 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[0:1], v[2:3] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6676 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6677 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6678 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6679 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6680 ; GFX12-NEXT:    s_endpgm
6681 entry:
6682   %tmp0 = atomicrmw volatile udec_wrap ptr %out, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6683   store i64 %tmp0, ptr %out2
6684   ret void
6685 }
6686
6687 define amdgpu_kernel void @atomic_dec_i64_decr64(ptr %out, i64 %in, i64 %index) {
6688 ; GFX7-LABEL: atomic_dec_i64_decr64:
6689 ; GFX7:       ; %bb.0: ; %entry
6690 ; GFX7-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
6691 ; GFX7-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0xd
6692 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6693 ; GFX7-NEXT:    v_mov_b32_e32 v0, s2
6694 ; GFX7-NEXT:    v_mov_b32_e32 v1, s3
6695 ; GFX7-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6696 ; GFX7-NEXT:    s_add_u32 s0, s0, s2
6697 ; GFX7-NEXT:    s_addc_u32 s1, s1, s3
6698 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6699 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6700 ; GFX7-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6701 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6702 ; GFX7-NEXT:    buffer_wbinvl1_vol
6703 ; GFX7-NEXT:    s_endpgm
6704 ;
6705 ; GFX8-LABEL: atomic_dec_i64_decr64:
6706 ; GFX8:       ; %bb.0: ; %entry
6707 ; GFX8-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x24
6708 ; GFX8-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x34
6709 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6710 ; GFX8-NEXT:    v_mov_b32_e32 v0, s2
6711 ; GFX8-NEXT:    v_mov_b32_e32 v1, s3
6712 ; GFX8-NEXT:    s_lshl_b64 s[2:3], s[4:5], 3
6713 ; GFX8-NEXT:    s_add_u32 s0, s0, s2
6714 ; GFX8-NEXT:    s_addc_u32 s1, s1, s3
6715 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6716 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6717 ; GFX8-NEXT:    flat_atomic_dec_x2 v[2:3], v[0:1]
6718 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6719 ; GFX8-NEXT:    buffer_wbinvl1_vol
6720 ; GFX8-NEXT:    s_endpgm
6721 ;
6722 ; GFX12-LABEL: atomic_dec_i64_decr64:
6723 ; GFX12:       ; %bb.0: ; %entry
6724 ; GFX12-NEXT:    s_clause 0x1
6725 ; GFX12-NEXT:    s_load_b64 s[6:7], s[4:5], 0x34
6726 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
6727 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6728 ; GFX12-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6729 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
6730 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[4:5]
6731 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6732 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6733 ; GFX12-NEXT:    flat_atomic_dec_u64 v[2:3], v[0:1] scope:SCOPE_DEV
6734 ; GFX12-NEXT:    s_wait_storecnt_dscnt 0x0
6735 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6736 ; GFX12-NEXT:    s_endpgm
6737 entry:
6738   %ptr = getelementptr i64, ptr %out, i64 %index
6739   %tmp0 = atomicrmw volatile udec_wrap ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6740   ret void
6741 }
6742
6743 define amdgpu_kernel void @atomic_dec_i64_ret_decr64(ptr %out, ptr %out2, i64 %in, i64 %index) {
6744 ; GFX7-LABEL: atomic_dec_i64_ret_decr64:
6745 ; GFX7:       ; %bb.0: ; %entry
6746 ; GFX7-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x9
6747 ; GFX7-NEXT:    s_waitcnt lgkmcnt(0)
6748 ; GFX7-NEXT:    v_mov_b32_e32 v0, s4
6749 ; GFX7-NEXT:    v_mov_b32_e32 v1, s5
6750 ; GFX7-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6751 ; GFX7-NEXT:    s_add_u32 s0, s0, s4
6752 ; GFX7-NEXT:    s_addc_u32 s1, s1, s5
6753 ; GFX7-NEXT:    v_mov_b32_e32 v3, s1
6754 ; GFX7-NEXT:    v_mov_b32_e32 v2, s0
6755 ; GFX7-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6756 ; GFX7-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6757 ; GFX7-NEXT:    buffer_wbinvl1_vol
6758 ; GFX7-NEXT:    v_mov_b32_e32 v2, s2
6759 ; GFX7-NEXT:    v_mov_b32_e32 v3, s3
6760 ; GFX7-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6761 ; GFX7-NEXT:    s_endpgm
6762 ;
6763 ; GFX8-LABEL: atomic_dec_i64_ret_decr64:
6764 ; GFX8:       ; %bb.0: ; %entry
6765 ; GFX8-NEXT:    s_load_dwordx8 s[0:7], s[4:5], 0x24
6766 ; GFX8-NEXT:    s_waitcnt lgkmcnt(0)
6767 ; GFX8-NEXT:    v_mov_b32_e32 v0, s4
6768 ; GFX8-NEXT:    v_mov_b32_e32 v1, s5
6769 ; GFX8-NEXT:    s_lshl_b64 s[4:5], s[6:7], 3
6770 ; GFX8-NEXT:    s_add_u32 s0, s0, s4
6771 ; GFX8-NEXT:    s_addc_u32 s1, s1, s5
6772 ; GFX8-NEXT:    v_mov_b32_e32 v3, s1
6773 ; GFX8-NEXT:    v_mov_b32_e32 v2, s0
6774 ; GFX8-NEXT:    flat_atomic_dec_x2 v[0:1], v[2:3], v[0:1] glc
6775 ; GFX8-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
6776 ; GFX8-NEXT:    buffer_wbinvl1_vol
6777 ; GFX8-NEXT:    v_mov_b32_e32 v2, s2
6778 ; GFX8-NEXT:    v_mov_b32_e32 v3, s3
6779 ; GFX8-NEXT:    flat_store_dwordx2 v[2:3], v[0:1]
6780 ; GFX8-NEXT:    s_endpgm
6781 ;
6782 ; GFX12-LABEL: atomic_dec_i64_ret_decr64:
6783 ; GFX12:       ; %bb.0: ; %entry
6784 ; GFX12-NEXT:    s_load_b256 s[0:7], s[4:5], 0x24
6785 ; GFX12-NEXT:    s_wait_kmcnt 0x0
6786 ; GFX12-NEXT:    s_lshl_b64 s[6:7], s[6:7], 3
6787 ; GFX12-NEXT:    v_dual_mov_b32 v0, s4 :: v_dual_mov_b32 v1, s5
6788 ; GFX12-NEXT:    s_add_nc_u64 s[0:1], s[0:1], s[6:7]
6789 ; GFX12-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
6790 ; GFX12-NEXT:    v_dual_mov_b32 v3, s1 :: v_dual_mov_b32 v2, s0
6791 ; GFX12-NEXT:    flat_atomic_dec_u64 v[0:1], v[2:3], v[0:1] th:TH_ATOMIC_RETURN scope:SCOPE_DEV
6792 ; GFX12-NEXT:    s_wait_loadcnt_dscnt 0x0
6793 ; GFX12-NEXT:    global_inv scope:SCOPE_DEV
6794 ; GFX12-NEXT:    v_dual_mov_b32 v2, s2 :: v_dual_mov_b32 v3, s3
6795 ; GFX12-NEXT:    flat_store_b64 v[2:3], v[0:1]
6796 ; GFX12-NEXT:    s_endpgm
6797 entry:
6798   %ptr = getelementptr i64, ptr %out, i64 %index
6799   %tmp0 = atomicrmw volatile udec_wrap ptr %ptr, i64 %in syncscope("agent") seq_cst, !noalias.addrspace !0
6800   store i64 %tmp0, ptr %out2
6801   ret void
6802 }
6803
6804 !0 = !{i32 5, i32 6}