llvm/test/CodeGen/AMDGPU/llvm.ceil.f16.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 2
   2 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=tahiti -verify-machineinstrs < %s | FileCheck -check-prefixes=SI %s
   3 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=fiji -mattr=-flat-for-global -verify-machineinstrs < %s | FileCheck -check-prefixes=VI %s
   4 ; RUN: llc -amdgpu-scalarize-global-loads=false -march=amdgcn -mcpu=gfx1100 -mattr=-flat-for-global -verify-machineinstrs < %s | FileCheck -check-prefixes=GFX11 %s
   5
   6 declare half @llvm.ceil.f16(half %a)
   7 declare <2 x half> @llvm.ceil.v2f16(<2 x half> %a)
   8
   9 define amdgpu_kernel void @ceil_f16(
  10 ; SI-LABEL: ceil_f16:
  11 ; SI:       ; %bb.0: ; %entry
  12 ; SI-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x9
  13 ; SI-NEXT:    s_mov_b32 s7, 0xf000
  14 ; SI-NEXT:    s_mov_b32 s6, -1
  15 ; SI-NEXT:    s_mov_b32 s10, s6
  16 ; SI-NEXT:    s_mov_b32 s11, s7
  17 ; SI-NEXT:    s_waitcnt lgkmcnt(0)
  18 ; SI-NEXT:    s_mov_b32 s8, s2
  19 ; SI-NEXT:    s_mov_b32 s9, s3
  20 ; SI-NEXT:    buffer_load_ushort v0, off, s[8:11], 0
  21 ; SI-NEXT:    s_mov_b32 s4, s0
  22 ; SI-NEXT:    s_mov_b32 s5, s1
  23 ; SI-NEXT:    s_waitcnt vmcnt(0)
  24 ; SI-NEXT:    v_cvt_f32_f16_e32 v0, v0
  25 ; SI-NEXT:    v_ceil_f32_e32 v0, v0
  26 ; SI-NEXT:    v_cvt_f16_f32_e32 v0, v0
  27 ; SI-NEXT:    buffer_store_short v0, off, s[4:7], 0
  28 ; SI-NEXT:    s_endpgm
  29 ;
  30 ; VI-LABEL: ceil_f16:
  31 ; VI:       ; %bb.0: ; %entry
  32 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x24
  33 ; VI-NEXT:    s_mov_b32 s7, 0xf000
  34 ; VI-NEXT:    s_mov_b32 s6, -1
  35 ; VI-NEXT:    s_mov_b32 s10, s6
  36 ; VI-NEXT:    s_mov_b32 s11, s7
  37 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
  38 ; VI-NEXT:    s_mov_b32 s8, s2
  39 ; VI-NEXT:    s_mov_b32 s9, s3
  40 ; VI-NEXT:    buffer_load_ushort v0, off, s[8:11], 0
  41 ; VI-NEXT:    s_mov_b32 s4, s0
  42 ; VI-NEXT:    s_mov_b32 s5, s1
  43 ; VI-NEXT:    s_waitcnt vmcnt(0)
  44 ; VI-NEXT:    v_ceil_f16_e32 v0, v0
  45 ; VI-NEXT:    buffer_store_short v0, off, s[4:7], 0
  46 ; VI-NEXT:    s_endpgm
  47 ;
  48 ; GFX11-LABEL: ceil_f16:
  49 ; GFX11:       ; %bb.0: ; %entry
  50 ; GFX11-NEXT:    s_load_b128 s[0:3], s[0:1], 0x24
  51 ; GFX11-NEXT:    s_mov_b32 s6, -1
  52 ; GFX11-NEXT:    s_mov_b32 s7, 0x31016000
  53 ; GFX11-NEXT:    s_mov_b32 s10, s6
  54 ; GFX11-NEXT:    s_mov_b32 s11, s7
  55 ; GFX11-NEXT:    s_waitcnt lgkmcnt(0)
  56 ; GFX11-NEXT:    s_mov_b32 s8, s2
  57 ; GFX11-NEXT:    s_mov_b32 s9, s3
  58 ; GFX11-NEXT:    s_mov_b32 s4, s0
  59 ; GFX11-NEXT:    buffer_load_u16 v0, off, s[8:11], 0
  60 ; GFX11-NEXT:    s_mov_b32 s5, s1
  61 ; GFX11-NEXT:    s_waitcnt vmcnt(0)
  62 ; GFX11-NEXT:    v_ceil_f16_e32 v0, v0
  63 ; GFX11-NEXT:    buffer_store_b16 v0, off, s[4:7], 0
  64 ; GFX11-NEXT:    s_nop 0
  65 ; GFX11-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
  66 ; GFX11-NEXT:    s_endpgm
  67     ptr addrspace(1) %r,
  68     ptr addrspace(1) %a) {
  69 entry:
  70   %a.val = load half, ptr addrspace(1) %a
  71   %r.val = call half @llvm.ceil.f16(half %a.val)
  72   store half %r.val, ptr addrspace(1) %r
  73   ret void
  74 }
  75
  76 ; The original test with manual checks also had these NOT directives:
  77 ; COM: SI: v_lshlrev_b32_e32 v[[R_F16_HI:[0-9]+]], 16, v[[R_F16_1]]
  78 ; COM: SI-NOT: and
  79 ; COM: SI: v_or_b32_e32 v[[R_V2_F16:[0-9]+]], v[[R_F16_0]], v[[R_F16_HI]]
  80 ; COM: VI-DAG: v_ceil_f16_sdwa v[[R_F16_1:[0-9]+]], v[[A_V2_F16]] dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1
  81 ; COM: VI-NOT: and
  82 ; COM: VI: v_or_b32_e32 v[[R_V2_F16:[0-9]+]], v[[R_F16_0]], v[[R_F16_1]]
  83 define amdgpu_kernel void @ceil_v2f16(
  84 ; SI-LABEL: ceil_v2f16:
  85 ; SI:       ; %bb.0: ; %entry
  86 ; SI-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x9
  87 ; SI-NEXT:    s_mov_b32 s7, 0xf000
  88 ; SI-NEXT:    s_mov_b32 s6, -1
  89 ; SI-NEXT:    s_mov_b32 s10, s6
  90 ; SI-NEXT:    s_mov_b32 s11, s7
  91 ; SI-NEXT:    s_waitcnt lgkmcnt(0)
  92 ; SI-NEXT:    s_mov_b32 s8, s2
  93 ; SI-NEXT:    s_mov_b32 s9, s3
  94 ; SI-NEXT:    buffer_load_dword v0, off, s[8:11], 0
  95 ; SI-NEXT:    s_mov_b32 s4, s0
  96 ; SI-NEXT:    s_mov_b32 s5, s1
  97 ; SI-NEXT:    s_waitcnt vmcnt(0)
  98 ; SI-NEXT:    v_lshrrev_b32_e32 v1, 16, v0
  99 ; SI-NEXT:    v_cvt_f32_f16_e32 v1, v1
 100 ; SI-NEXT:    v_cvt_f32_f16_e32 v0, v0
 101 ; SI-NEXT:    v_ceil_f32_e32 v1, v1
 102 ; SI-NEXT:    v_cvt_f16_f32_e32 v1, v1
 103 ; SI-NEXT:    v_ceil_f32_e32 v0, v0
 104 ; SI-NEXT:    v_cvt_f16_f32_e32 v0, v0
 105 ; SI-NEXT:    v_lshlrev_b32_e32 v1, 16, v1
 106 ; SI-NEXT:    v_or_b32_e32 v0, v0, v1
 107 ; SI-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 108 ; SI-NEXT:    s_endpgm
 109 ;
 110 ; VI-LABEL: ceil_v2f16:
 111 ; VI:       ; %bb.0: ; %entry
 112 ; VI-NEXT:    s_load_dwordx4 s[0:3], s[0:1], 0x24
 113 ; VI-NEXT:    s_mov_b32 s7, 0xf000
 114 ; VI-NEXT:    s_mov_b32 s6, -1
 115 ; VI-NEXT:    s_mov_b32 s10, s6
 116 ; VI-NEXT:    s_mov_b32 s11, s7
 117 ; VI-NEXT:    s_waitcnt lgkmcnt(0)
 118 ; VI-NEXT:    s_mov_b32 s8, s2
 119 ; VI-NEXT:    s_mov_b32 s9, s3
 120 ; VI-NEXT:    buffer_load_dword v0, off, s[8:11], 0
 121 ; VI-NEXT:    s_mov_b32 s4, s0
 122 ; VI-NEXT:    s_mov_b32 s5, s1
 123 ; VI-NEXT:    s_waitcnt vmcnt(0)
 124 ; VI-NEXT:    v_ceil_f16_sdwa v1, v0 dst_sel:WORD_1 dst_unused:UNUSED_PAD src0_sel:WORD_1
 125 ; VI-NEXT:    v_ceil_f16_e32 v0, v0
 126 ; VI-NEXT:    v_or_b32_e32 v0, v0, v1
 127 ; VI-NEXT:    buffer_store_dword v0, off, s[4:7], 0
 128 ; VI-NEXT:    s_endpgm
 129 ;
 130 ; GFX11-LABEL: ceil_v2f16:
 131 ; GFX11:       ; %bb.0: ; %entry
 132 ; GFX11-NEXT:    s_load_b128 s[0:3], s[0:1], 0x24
 133 ; GFX11-NEXT:    s_mov_b32 s6, -1
 134 ; GFX11-NEXT:    s_mov_b32 s7, 0x31016000
 135 ; GFX11-NEXT:    s_mov_b32 s10, s6
 136 ; GFX11-NEXT:    s_mov_b32 s11, s7
 137 ; GFX11-NEXT:    s_waitcnt lgkmcnt(0)
 138 ; GFX11-NEXT:    s_mov_b32 s8, s2
 139 ; GFX11-NEXT:    s_mov_b32 s9, s3
 140 ; GFX11-NEXT:    s_mov_b32 s4, s0
 141 ; GFX11-NEXT:    buffer_load_b32 v0, off, s[8:11], 0
 142 ; GFX11-NEXT:    s_mov_b32 s5, s1
 143 ; GFX11-NEXT:    s_waitcnt vmcnt(0)
 144 ; GFX11-NEXT:    v_lshrrev_b32_e32 v1, 16, v0
 145 ; GFX11-NEXT:    v_ceil_f16_e32 v0, v0
 146 ; GFX11-NEXT:    s_delay_alu instid0(VALU_DEP_2) | instskip(NEXT) | instid1(VALU_DEP_1)
 147 ; GFX11-NEXT:    v_ceil_f16_e32 v1, v1
 148 ; GFX11-NEXT:    v_pack_b32_f16 v0, v0, v1
 149 ; GFX11-NEXT:    buffer_store_b32 v0, off, s[4:7], 0
 150 ; GFX11-NEXT:    s_nop 0
 151 ; GFX11-NEXT:    s_sendmsg sendmsg(MSG_DEALLOC_VGPRS)
 152 ; GFX11-NEXT:    s_endpgm
 153     ptr addrspace(1) %r,
 154     ptr addrspace(1) %a) {
 155 entry:
 156   %a.val = load <2 x half>, ptr addrspace(1) %a
 157   %r.val = call <2 x half> @llvm.ceil.v2f16(<2 x half> %a.val)
 158   store <2 x half> %r.val, ptr addrspace(1) %r
 159   ret void
 160 }