llvm/test/CodeGen/AMDGPU/llvm.amdgcn.ds.bpermute.fi.b32.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 5
   2 ; RUN: llc -global-isel=0 -mtriple=amdgcn -mcpu=gfx1200 -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX12,GFX12-SDAG %s
   3 ; RUN: llc -global-isel=1 -mtriple=amdgcn -mcpu=gfx1200 -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX12,GFX12-GISEL %s
   4
   5 declare i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32, i32) #0
   6
   7 define amdgpu_kernel void @ds_bpermute_fi_b32(ptr addrspace(1) %out, i32 %index, i32 %src) nounwind {
   8 ; GFX12-LABEL: ds_bpermute_fi_b32:
   9 ; GFX12:       ; %bb.0:
  10 ; GFX12-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  11 ; GFX12-NEXT:    s_wait_kmcnt 0x0
  12 ; GFX12-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
  13 ; GFX12-NEXT:    ds_bpermute_fi_b32 v0, v0, v1
  14 ; GFX12-NEXT:    v_mov_b32_e32 v1, 0
  15 ; GFX12-NEXT:    s_wait_dscnt 0x0
  16 ; GFX12-NEXT:    global_store_b32 v1, v0, s[0:1]
  17 ; GFX12-NEXT:    s_endpgm
  18   %bpermute = call i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32 %index, i32 %src) #0
  19   store i32 %bpermute, ptr addrspace(1) %out, align 4
  20   ret void
  21 }
  22
  23 define amdgpu_kernel void @ds_bpermute_fi_b32_imm_offset(ptr addrspace(1) %out, i32 %base_index, i32 %src) nounwind {
  24 ; GFX12-SDAG-LABEL: ds_bpermute_fi_b32_imm_offset:
  25 ; GFX12-SDAG:       ; %bb.0:
  26 ; GFX12-SDAG-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  27 ; GFX12-SDAG-NEXT:    s_wait_kmcnt 0x0
  28 ; GFX12-SDAG-NEXT:    v_dual_mov_b32 v0, s2 :: v_dual_mov_b32 v1, s3
  29 ; GFX12-SDAG-NEXT:    ds_bpermute_fi_b32 v0, v0, v1 offset:4
  30 ; GFX12-SDAG-NEXT:    v_mov_b32_e32 v1, 0
  31 ; GFX12-SDAG-NEXT:    s_wait_dscnt 0x0
  32 ; GFX12-SDAG-NEXT:    global_store_b32 v1, v0, s[0:1]
  33 ; GFX12-SDAG-NEXT:    s_endpgm
  34 ;
  35 ; GFX12-GISEL-LABEL: ds_bpermute_fi_b32_imm_offset:
  36 ; GFX12-GISEL:       ; %bb.0:
  37 ; GFX12-GISEL-NEXT:    s_load_b128 s[0:3], s[4:5], 0x24
  38 ; GFX12-GISEL-NEXT:    s_wait_kmcnt 0x0
  39 ; GFX12-GISEL-NEXT:    s_add_co_i32 s2, s2, 4
  40 ; GFX12-GISEL-NEXT:    s_delay_alu instid0(SALU_CYCLE_1)
  41 ; GFX12-GISEL-NEXT:    v_dual_mov_b32 v1, s3 :: v_dual_mov_b32 v0, s2
  42 ; GFX12-GISEL-NEXT:    ds_bpermute_fi_b32 v0, v0, v1
  43 ; GFX12-GISEL-NEXT:    v_mov_b32_e32 v1, 0
  44 ; GFX12-GISEL-NEXT:    s_wait_dscnt 0x0
  45 ; GFX12-GISEL-NEXT:    global_store_b32 v1, v0, s[0:1]
  46 ; GFX12-GISEL-NEXT:    s_endpgm
  47   %index = add i32 %base_index, 4
  48   %bpermute = call i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32 %index, i32 %src) #0
  49   store i32 %bpermute, ptr addrspace(1) %out, align 4
  50   ret void
  51 }
  52
  53 define amdgpu_kernel void @ds_bpermute_fi_b32_imm_index(ptr addrspace(1) %out, i32 %base_index, i32 %src) nounwind {
  54 ; GFX12-SDAG-LABEL: ds_bpermute_fi_b32_imm_index:
  55 ; GFX12-SDAG:       ; %bb.0:
  56 ; GFX12-SDAG-NEXT:    s_load_b32 s0, s[4:5], 0x30
  57 ; GFX12-SDAG-NEXT:    s_wait_kmcnt 0x0
  58 ; GFX12-SDAG-NEXT:    v_dual_mov_b32 v0, 0 :: v_dual_mov_b32 v1, s0
  59 ; GFX12-SDAG-NEXT:    s_load_b64 s[0:1], s[4:5], 0x24
  60 ; GFX12-SDAG-NEXT:    ds_bpermute_fi_b32 v1, v0, v1 offset:64
  61 ; GFX12-SDAG-NEXT:    s_wait_dscnt 0x0
  62 ; GFX12-SDAG-NEXT:    s_wait_kmcnt 0x0
  63 ; GFX12-SDAG-NEXT:    global_store_b32 v0, v1, s[0:1]
  64 ; GFX12-SDAG-NEXT:    s_endpgm
  65 ;
  66 ; GFX12-GISEL-LABEL: ds_bpermute_fi_b32_imm_index:
  67 ; GFX12-GISEL:       ; %bb.0:
  68 ; GFX12-GISEL-NEXT:    s_load_b32 s0, s[4:5], 0x30
  69 ; GFX12-GISEL-NEXT:    s_wait_kmcnt 0x0
  70 ; GFX12-GISEL-NEXT:    v_dual_mov_b32 v0, 64 :: v_dual_mov_b32 v1, s0
  71 ; GFX12-GISEL-NEXT:    s_load_b64 s[0:1], s[4:5], 0x24
  72 ; GFX12-GISEL-NEXT:    ds_bpermute_fi_b32 v0, v0, v1
  73 ; GFX12-GISEL-NEXT:    v_mov_b32_e32 v1, 0
  74 ; GFX12-GISEL-NEXT:    s_wait_dscnt 0x0
  75 ; GFX12-GISEL-NEXT:    s_wait_kmcnt 0x0
  76 ; GFX12-GISEL-NEXT:    global_store_b32 v1, v0, s[0:1]
  77 ; GFX12-GISEL-NEXT:    s_endpgm
  78   %bpermute = call i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32 64, i32 %src) #0
  79   store i32 %bpermute, ptr addrspace(1) %out, align 4
  80   ret void
  81 }
  82
  83 define void @ds_bpermute_fi_b32_add_shl(ptr addrspace(1) %out, i32 %base_index, i32 %src) nounwind {
  84 ; GFX12-SDAG-LABEL: ds_bpermute_fi_b32_add_shl:
  85 ; GFX12-SDAG:       ; %bb.0:
  86 ; GFX12-SDAG-NEXT:    s_wait_loadcnt_dscnt 0x0
  87 ; GFX12-SDAG-NEXT:    s_wait_expcnt 0x0
  88 ; GFX12-SDAG-NEXT:    s_wait_samplecnt 0x0
  89 ; GFX12-SDAG-NEXT:    s_wait_bvhcnt 0x0
  90 ; GFX12-SDAG-NEXT:    s_wait_kmcnt 0x0
  91 ; GFX12-SDAG-NEXT:    v_lshlrev_b32_e32 v2, 2, v2
  92 ; GFX12-SDAG-NEXT:    ds_bpermute_fi_b32 v2, v2, v3 offset:4
  93 ; GFX12-SDAG-NEXT:    s_wait_dscnt 0x0
  94 ; GFX12-SDAG-NEXT:    global_store_b32 v[0:1], v2, off
  95 ; GFX12-SDAG-NEXT:    s_setpc_b64 s[30:31]
  96 ;
  97 ; GFX12-GISEL-LABEL: ds_bpermute_fi_b32_add_shl:
  98 ; GFX12-GISEL:       ; %bb.0:
  99 ; GFX12-GISEL-NEXT:    s_wait_loadcnt_dscnt 0x0
 100 ; GFX12-GISEL-NEXT:    s_wait_expcnt 0x0
 101 ; GFX12-GISEL-NEXT:    s_wait_samplecnt 0x0
 102 ; GFX12-GISEL-NEXT:    s_wait_bvhcnt 0x0
 103 ; GFX12-GISEL-NEXT:    s_wait_kmcnt 0x0
 104 ; GFX12-GISEL-NEXT:    v_lshl_add_u32 v2, v2, 2, 4
 105 ; GFX12-GISEL-NEXT:    ds_bpermute_fi_b32 v2, v2, v3
 106 ; GFX12-GISEL-NEXT:    s_wait_dscnt 0x0
 107 ; GFX12-GISEL-NEXT:    global_store_b32 v[0:1], v2, off
 108 ; GFX12-GISEL-NEXT:    s_setpc_b64 s[30:31]
 109   %index = add i32 %base_index, 1
 110   %byte_index = shl i32 %index, 2
 111   %bpermute = call i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32 %byte_index, i32 %src) #0
 112   store i32 %bpermute, ptr addrspace(1) %out, align 4
 113   ret void
 114 }
 115
 116 define void @ds_bpermute_fi_b32_or_shl(ptr addrspace(1) %out, i32 %base_index, i32 %src) nounwind {
 117 ; GFX12-SDAG-LABEL: ds_bpermute_fi_b32_or_shl:
 118 ; GFX12-SDAG:       ; %bb.0:
 119 ; GFX12-SDAG-NEXT:    s_wait_loadcnt_dscnt 0x0
 120 ; GFX12-SDAG-NEXT:    s_wait_expcnt 0x0
 121 ; GFX12-SDAG-NEXT:    s_wait_samplecnt 0x0
 122 ; GFX12-SDAG-NEXT:    s_wait_bvhcnt 0x0
 123 ; GFX12-SDAG-NEXT:    s_wait_kmcnt 0x0
 124 ; GFX12-SDAG-NEXT:    v_and_b32_e32 v2, 62, v2
 125 ; GFX12-SDAG-NEXT:    s_delay_alu instid0(VALU_DEP_1)
 126 ; GFX12-SDAG-NEXT:    v_lshlrev_b32_e32 v2, 2, v2
 127 ; GFX12-SDAG-NEXT:    ds_bpermute_fi_b32 v2, v2, v3 offset:4
 128 ; GFX12-SDAG-NEXT:    s_wait_dscnt 0x0
 129 ; GFX12-SDAG-NEXT:    global_store_b32 v[0:1], v2, off
 130 ; GFX12-SDAG-NEXT:    s_setpc_b64 s[30:31]
 131 ;
 132 ; GFX12-GISEL-LABEL: ds_bpermute_fi_b32_or_shl:
 133 ; GFX12-GISEL:       ; %bb.0:
 134 ; GFX12-GISEL-NEXT:    s_wait_loadcnt_dscnt 0x0
 135 ; GFX12-GISEL-NEXT:    s_wait_expcnt 0x0
 136 ; GFX12-GISEL-NEXT:    s_wait_samplecnt 0x0
 137 ; GFX12-GISEL-NEXT:    s_wait_bvhcnt 0x0
 138 ; GFX12-GISEL-NEXT:    s_wait_kmcnt 0x0
 139 ; GFX12-GISEL-NEXT:    v_and_b32_e32 v2, 62, v2
 140 ; GFX12-GISEL-NEXT:    s_delay_alu instid0(VALU_DEP_1)
 141 ; GFX12-GISEL-NEXT:    v_lshl_or_b32 v2, v2, 2, 4
 142 ; GFX12-GISEL-NEXT:    ds_bpermute_fi_b32 v2, v2, v3
 143 ; GFX12-GISEL-NEXT:    s_wait_dscnt 0x0
 144 ; GFX12-GISEL-NEXT:    global_store_b32 v[0:1], v2, off
 145 ; GFX12-GISEL-NEXT:    s_setpc_b64 s[30:31]
 146   %masked = and i32 %base_index, 62
 147   %index = or i32 %masked, 1
 148   %byte_index = shl i32 %index, 2
 149   %bpermute = call i32 @llvm.amdgcn.ds.bpermute.fi.b32(i32 %byte_index, i32 %src) #0
 150   store i32 %bpermute, ptr addrspace(1) %out, align 4
 151   ret void
 152 }
 153
 154 attributes #0 = { nounwind readnone convergent }