test/CodeGen/AMDGPU/llvm.amdgcn.buffer.store.ll

   1 ;RUN: llc < %s -march=amdgcn -mcpu=verde -verify-machineinstrs | FileCheck -check-prefix=VERDE %s
   2 ;RUN: llc < %s -march=amdgcn -mcpu=tonga -verify-machineinstrs | FileCheck %s
   3
   4 ;CHECK-LABEL: {{^}}buffer_store:
   5 ;CHECK-NOT: s_waitcnt
   6 ;CHECK: buffer_store_dwordx4 v[0:3], off, s[0:3], 0
   7 ;CHECK: buffer_store_dwordx4 v[4:7], off, s[0:3], 0 glc
   8 ;CHECK: buffer_store_dwordx4 v[8:11], off, s[0:3], 0 slc
   9 define amdgpu_ps void @buffer_store(<4 x i32> inreg, <4 x float>, <4 x float>, <4 x float>) {
  10 main_body:
  11   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 0, i32 0, i1 0, i1 0)
  12   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %2, <4 x i32> %0, i32 0, i32 0, i1 1, i1 0)
  13   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %3, <4 x i32> %0, i32 0, i32 0, i1 0, i1 1)
  14   ret void
  15 }
  16
  17 ;CHECK-LABEL: {{^}}buffer_store_immoffs:
  18 ;CHECK-NOT: s_waitcnt
  19 ;CHECK: buffer_store_dwordx4 v[0:3], off, s[0:3], 0 offset:42
  20 define amdgpu_ps void @buffer_store_immoffs(<4 x i32> inreg, <4 x float>) {
  21 main_body:
  22   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 0, i32 42, i1 0, i1 0)
  23   ret void
  24 }
  25
  26 ;CHECK-LABEL: {{^}}buffer_store_idx:
  27 ;CHECK-NOT: s_waitcnt
  28 ;CHECK: buffer_store_dwordx4 v[0:3], v4, s[0:3], 0 idxen
  29 define amdgpu_ps void @buffer_store_idx(<4 x i32> inreg, <4 x float>, i32) {
  30 main_body:
  31   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 %2, i32 0, i1 0, i1 0)
  32   ret void
  33 }
  34
  35 ;CHECK-LABEL: {{^}}buffer_store_ofs:
  36 ;CHECK-NOT: s_waitcnt
  37 ;CHECK: buffer_store_dwordx4 v[0:3], v4, s[0:3], 0 offen
  38 define amdgpu_ps void @buffer_store_ofs(<4 x i32> inreg, <4 x float>, i32) {
  39 main_body:
  40   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 0, i32 %2, i1 0, i1 0)
  41   ret void
  42 }
  43
  44 ;CHECK-LABEL: {{^}}buffer_store_both:
  45 ;CHECK-NOT: s_waitcnt
  46 ;CHECK: buffer_store_dwordx4 v[0:3], v[4:5], s[0:3], 0 idxen offen
  47 define amdgpu_ps void @buffer_store_both(<4 x i32> inreg, <4 x float>, i32, i32) {
  48 main_body:
  49   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 %2, i32 %3, i1 0, i1 0)
  50   ret void
  51 }
  52
  53 ;CHECK-LABEL: {{^}}buffer_store_both_reversed:
  54 ;CHECK: v_mov_b32_e32 v6, v4
  55 ;CHECK-NOT: s_waitcnt
  56 ;CHECK: buffer_store_dwordx4 v[0:3], v[5:6], s[0:3], 0 idxen offen
  57 define amdgpu_ps void @buffer_store_both_reversed(<4 x i32> inreg, <4 x float>, i32, i32) {
  58 main_body:
  59   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 %3, i32 %2, i1 0, i1 0)
  60   ret void
  61 }
  62
  63 ; Ideally, the register allocator would avoid the wait here
  64 ;
  65 ;CHECK-LABEL: {{^}}buffer_store_wait:
  66 ;CHECK-NOT: s_waitcnt
  67 ;CHECK: buffer_store_dwordx4 v[0:3], v4, s[0:3], 0 idxen
  68 ;VERDE: s_waitcnt expcnt(0)
  69 ;CHECK: buffer_load_dwordx4 v[0:3], v5, s[0:3], 0 idxen
  70 ;CHECK: s_waitcnt vmcnt(0)
  71 ;CHECK: buffer_store_dwordx4 v[0:3], v6, s[0:3], 0 idxen
  72 define amdgpu_ps void @buffer_store_wait(<4 x i32> inreg, <4 x float>, i32, i32, i32) {
  73 main_body:
  74   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %1, <4 x i32> %0, i32 %2, i32 0, i1 0, i1 0)
  75   %data = call <4 x float> @llvm.amdgcn.buffer.load.v4f32(<4 x i32> %0, i32 %3, i32 0, i1 0, i1 0)
  76   call void @llvm.amdgcn.buffer.store.v4f32(<4 x float> %data, <4 x i32> %0, i32 %4, i32 0, i1 0, i1 0)
  77   ret void
  78 }
  79
  80 ;CHECK-LABEL: {{^}}buffer_store_x1:
  81 ;CHECK-NOT: s_waitcnt
  82 ;CHECK: buffer_store_dword v0, v1, s[0:3], 0 idxen
  83 define amdgpu_ps void @buffer_store_x1(<4 x i32> inreg %rsrc, float %data, i32 %index) {
  84 main_body:
  85   call void @llvm.amdgcn.buffer.store.f32(float %data, <4 x i32> %rsrc, i32 %index, i32 0, i1 0, i1 0)
  86   ret void
  87 }
  88
  89 ;CHECK-LABEL: {{^}}buffer_store_x2:
  90 ;CHECK-NOT: s_waitcnt
  91 ;CHECK: buffer_store_dwordx2 v[0:1], v2, s[0:3], 0 idxen
  92 define amdgpu_ps void @buffer_store_x2(<4 x i32> inreg %rsrc, <2 x float> %data, i32 %index) #0 {
  93 main_body:
  94   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %data, <4 x i32> %rsrc, i32 %index, i32 0, i1 0, i1 0)
  95   ret void
  96 }
  97
  98 ;CHECK-LABEL: {{^}}buffer_store_x1_offen_merged:
  99 ;CHECK-NOT: s_waitcnt
 100 ;CHECK-DAG: buffer_store_dwordx4 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:4
 101 ;CHECK-DAG: buffer_store_dwordx2 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:28
 102 define amdgpu_ps void @buffer_store_x1_offen_merged(<4 x i32> inreg %rsrc, i32 %a, float %v1, float %v2, float %v3, float %v4, float %v5, float %v6) {
 103   %a1 = add i32 %a, 4
 104   %a2 = add i32 %a, 8
 105   %a3 = add i32 %a, 12
 106   %a4 = add i32 %a, 16
 107   %a5 = add i32 %a, 28
 108   %a6 = add i32 %a, 32
 109   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 110   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 111   call void @llvm.amdgcn.buffer.store.f32(float %v3, <4 x i32> %rsrc, i32 0, i32 %a3, i1 0, i1 0)
 112   call void @llvm.amdgcn.buffer.store.f32(float %v4, <4 x i32> %rsrc, i32 0, i32 %a4, i1 0, i1 0)
 113   call void @llvm.amdgcn.buffer.store.f32(float %v5, <4 x i32> %rsrc, i32 0, i32 %a5, i1 0, i1 0)
 114   call void @llvm.amdgcn.buffer.store.f32(float %v6, <4 x i32> %rsrc, i32 0, i32 %a6, i1 0, i1 0)
 115   ret void
 116 }
 117
 118 ;CHECK-LABEL: {{^}}buffer_store_x1_offen_merged_glc_slc:
 119 ;CHECK-NOT: s_waitcnt
 120 ;CHECK-DAG: buffer_store_dwordx2 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:4{{$}}
 121 ;CHECK-DAG: buffer_store_dwordx2 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:12 glc{{$}}
 122 ;CHECK-DAG: buffer_store_dwordx2 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:28 glc slc{{$}}
 123 define amdgpu_ps void @buffer_store_x1_offen_merged_glc_slc(<4 x i32> inreg %rsrc, i32 %a, float %v1, float %v2, float %v3, float %v4, float %v5, float %v6) {
 124   %a1 = add i32 %a, 4
 125   %a2 = add i32 %a, 8
 126   %a3 = add i32 %a, 12
 127   %a4 = add i32 %a, 16
 128   %a5 = add i32 %a, 28
 129   %a6 = add i32 %a, 32
 130   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 131   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 132   call void @llvm.amdgcn.buffer.store.f32(float %v3, <4 x i32> %rsrc, i32 0, i32 %a3, i1 1, i1 0)
 133   call void @llvm.amdgcn.buffer.store.f32(float %v4, <4 x i32> %rsrc, i32 0, i32 %a4, i1 1, i1 0)
 134   call void @llvm.amdgcn.buffer.store.f32(float %v5, <4 x i32> %rsrc, i32 0, i32 %a5, i1 1, i1 1)
 135   call void @llvm.amdgcn.buffer.store.f32(float %v6, <4 x i32> %rsrc, i32 0, i32 %a6, i1 1, i1 1)
 136   ret void
 137 }
 138
 139 ;CHECK-LABEL: {{^}}buffer_store_x2_offen_merged:
 140 ;CHECK-NOT: s_waitcnt
 141 ;CHECK: buffer_store_dwordx4 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:4
 142 define amdgpu_ps void @buffer_store_x2_offen_merged(<4 x i32> inreg %rsrc, i32 %a, <2 x float> %v1, <2 x float> %v2) {
 143   %a1 = add i32 %a, 4
 144   %a2 = add i32 %a, 12
 145   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 146   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 147   ret void
 148 }
 149
 150 ;CHECK-LABEL: {{^}}buffer_store_x3_offen_merged:
 151 ;CHECK-NOT: s_waitcnt
 152 ;CHECK: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:28
 153 define amdgpu_ps void @buffer_store_x3_offen_merged(<4 x i32> inreg %rsrc, i32 %a, float %v1, float %v2, float %v3) {
 154   %a1 = add i32 %a, 28
 155   %a2 = add i32 %a, 32
 156   %a3 = add i32 %a, 36
 157   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 158   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 159   call void @llvm.amdgcn.buffer.store.f32(float %v3, <4 x i32> %rsrc, i32 0, i32 %a3, i1 0, i1 0)
 160   ret void
 161 }
 162
 163 ;CHECK-LABEL: {{^}}buffer_store_x3_offen_merged2:
 164 ;CHECK-NOT: s_waitcnt
 165 ;CHECK: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:4
 166 define amdgpu_ps void @buffer_store_x3_offen_merged2(<4 x i32> inreg %rsrc, i32 %a, <2 x float> %v1, float %v2) {
 167   %a1 = add i32 %a, 4
 168   %a2 = add i32 %a, 12
 169   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 170   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 171   ret void
 172 }
 173
 174 ;CHECK-LABEL: {{^}}buffer_store_x3_offen_merged3:
 175 ;CHECK-NOT: s_waitcnt
 176 ;CHECK: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], v0, s[0:3], 0 offen offset:4
 177 define amdgpu_ps void @buffer_store_x3_offen_merged3(<4 x i32> inreg %rsrc, i32 %a, float %v1, <2 x float> %v2) {
 178   %a1 = add i32 %a, 4
 179   %a2 = add i32 %a, 8
 180   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 %a1, i1 0, i1 0)
 181   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v2, <4 x i32> %rsrc, i32 0, i32 %a2, i1 0, i1 0)
 182   ret void
 183 }
 184
 185 ;CHECK-LABEL: {{^}}buffer_store_x1_offset_merged:
 186 ;CHECK-NOT: s_waitcnt
 187 ;CHECK-DAG: buffer_store_dwordx4 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:4
 188 ;CHECK-DAG: buffer_store_dwordx2 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:28
 189 define amdgpu_ps void @buffer_store_x1_offset_merged(<4 x i32> inreg %rsrc, float %v1, float %v2, float %v3, float %v4, float %v5, float %v6) {
 190   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 4, i1 0, i1 0)
 191   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 8, i1 0, i1 0)
 192   call void @llvm.amdgcn.buffer.store.f32(float %v3, <4 x i32> %rsrc, i32 0, i32 12, i1 0, i1 0)
 193   call void @llvm.amdgcn.buffer.store.f32(float %v4, <4 x i32> %rsrc, i32 0, i32 16, i1 0, i1 0)
 194   call void @llvm.amdgcn.buffer.store.f32(float %v5, <4 x i32> %rsrc, i32 0, i32 28, i1 0, i1 0)
 195   call void @llvm.amdgcn.buffer.store.f32(float %v6, <4 x i32> %rsrc, i32 0, i32 32, i1 0, i1 0)
 196   ret void
 197 }
 198
 199 ;CHECK-LABEL: {{^}}buffer_store_x2_offset_merged:
 200 ;CHECK-NOT: s_waitcnt
 201 ;CHECK: buffer_store_dwordx4 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:4
 202 define amdgpu_ps void @buffer_store_x2_offset_merged(<4 x i32> inreg %rsrc, <2 x float> %v1, <2 x float> %v2) {
 203   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v1, <4 x i32> %rsrc, i32 0, i32 4, i1 0, i1 0)
 204   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v2, <4 x i32> %rsrc, i32 0, i32 12, i1 0, i1 0)
 205   ret void
 206 }
 207
 208 ;CHECK-LABEL: {{^}}buffer_store_x3_offset_merged:
 209 ;CHECK-NOT: s_waitcnt
 210 ;CHECK-DAG: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:4
 211 define amdgpu_ps void @buffer_store_x3_offset_merged(<4 x i32> inreg %rsrc, float %v1, float %v2, float %v3) {
 212   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 4, i1 0, i1 0)
 213   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 8, i1 0, i1 0)
 214   call void @llvm.amdgcn.buffer.store.f32(float %v3, <4 x i32> %rsrc, i32 0, i32 12, i1 0, i1 0)
 215   ret void
 216 }
 217
 218 ;CHECK-LABEL: {{^}}buffer_store_x3_offset_merged2:
 219 ;CHECK-NOT: s_waitcnt
 220 ;CHECK-DAG: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:4
 221 define amdgpu_ps void @buffer_store_x3_offset_merged2(<4 x i32> inreg %rsrc, float %v1, <2 x float> %v2) {
 222   call void @llvm.amdgcn.buffer.store.f32(float %v1, <4 x i32> %rsrc, i32 0, i32 4, i1 0, i1 0)
 223   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v2, <4 x i32> %rsrc, i32 0, i32 8, i1 0, i1 0)
 224   ret void
 225 }
 226
 227 ;CHECK-LABEL: {{^}}buffer_store_x3_offset_merged3:
 228 ;CHECK-NOT: s_waitcnt
 229 ;CHECK-DAG: buffer_store_dwordx3 v[{{[0-9]}}:{{[0-9]}}], off, s[0:3], 0 offset:8
 230 define amdgpu_ps void @buffer_store_x3_offset_merged3(<4 x i32> inreg %rsrc, <2 x float> %v1, float %v2) {
 231   call void @llvm.amdgcn.buffer.store.v2f32(<2 x float> %v1, <4 x i32> %rsrc, i32 0, i32 8, i1 0, i1 0)
 232   call void @llvm.amdgcn.buffer.store.f32(float %v2, <4 x i32> %rsrc, i32 0, i32 16, i1 0, i1 0)
 233   ret void
 234 }
 235
 236 ;CHECK-LABEL: {{^}}buffer_store_byte:
 237 ;CHECK-NOT: s_waitcnt
 238 ;CHECK-NEXT: %bb.
 239 ;CHECK: buffer_store_byte v{{[0-9]}}, off, s[0:3], 0 offset:8
 240 define amdgpu_ps void @buffer_store_byte(<4 x i32> inreg %rsrc, float %v1) {
 241 main_body:
 242   %v2 = fptoui float %v1 to i32
 243   %v3 = trunc i32 %v2 to i8
 244   call void @llvm.amdgcn.buffer.store.i8(i8 %v3, <4 x i32> %rsrc, i32 0, i32 8, i1 0, i1 0)
 245   ret void
 246 }
 247
 248 ;CHECK-LABEL: {{^}}buffer_store_short:
 249 ;CHECK-NOT: s_waitcnt
 250 ;CHECK-NEXT: %bb.
 251 ;CHECK: buffer_store_short v{{[0-9]}}, off, s[0:3], 0 offset:16
 252 define amdgpu_ps void @buffer_store_short(<4 x i32> inreg %rsrc, float %v1) {
 253 main_body:
 254   %v2 = fptoui float %v1 to i32
 255   %v3 = trunc i32 %v2 to i16
 256   call void @llvm.amdgcn.buffer.store.i16(i16 %v3, <4 x i32> %rsrc, i32 0, i32 16, i1 0, i1 0)
 257   ret void
 258 }
 259
 260 declare void @llvm.amdgcn.buffer.store.f32(float, <4 x i32>, i32, i32, i1, i1) #0
 261 declare void @llvm.amdgcn.buffer.store.v2f32(<2 x float>, <4 x i32>, i32, i32, i1, i1) #0
 262 declare void @llvm.amdgcn.buffer.store.v4f32(<4 x float>, <4 x i32>, i32, i32, i1, i1) #0
 263 declare void @llvm.amdgcn.buffer.store.i8(i8, <4 x i32>, i32, i32, i1, i1) #0
 264 declare void @llvm.amdgcn.buffer.store.i16(i16, <4 x i32>, i32, i32, i1, i1) #0
 265 declare <4 x float> @llvm.amdgcn.buffer.load.v4f32(<4 x i32>, i32, i32, i1, i1) #1
 266
 267 attributes #0 = { nounwind }
 268 attributes #1 = { nounwind readonly }