llvm/test/CodeGen/AMDGPU/strict_fma.f16.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn-mesa-mesa3d -mcpu=gfx900 < %s | FileCheck -check-prefixes=GCN,GFX9 %s
   3 ; RUN: llc -mtriple=amdgcn-mesa-mesa3d -mcpu=fiji < %s | FileCheck -check-prefixes=GCN,GFX8 %s
   4 ; RUN: llc -mtriple=amdgcn-mesa-mesa3d -mcpu=gfx1010 < %s | FileCheck -check-prefixes=GFX10 %s
   5
   6 define half @v_constained_fma_f16_fpexcept_strict(half %x, half %y, half %z) #0 {
   7 ; GCN-LABEL: v_constained_fma_f16_fpexcept_strict:
   8 ; GCN:       ; %bb.0:
   9 ; GCN-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  10 ; GCN-NEXT:    v_fma_f16 v0, v0, v1, v2
  11 ; GCN-NEXT:    s_setpc_b64 s[30:31]
  12 ;
  13 ; GFX10-LABEL: v_constained_fma_f16_fpexcept_strict:
  14 ; GFX10:       ; %bb.0:
  15 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  16 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
  17 ; GFX10-NEXT:    v_fma_f16 v0, v0, v1, v2
  18 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
  19   %val = call half @llvm.experimental.constrained.fma.f16(half %x, half %y, half %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
  20   ret half %val
  21 }
  22
  23 define <2 x half> @v_constained_fma_v2f16_fpexcept_strict(<2 x half> %x, <2 x half> %y, <2 x half> %z) #0 {
  24 ; GFX9-LABEL: v_constained_fma_v2f16_fpexcept_strict:
  25 ; GFX9:       ; %bb.0:
  26 ; GFX9-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  27 ; GFX9-NEXT:    v_pk_fma_f16 v0, v0, v1, v2
  28 ; GFX9-NEXT:    s_setpc_b64 s[30:31]
  29 ;
  30 ; GFX8-LABEL: v_constained_fma_v2f16_fpexcept_strict:
  31 ; GFX8:       ; %bb.0:
  32 ; GFX8-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  33 ; GFX8-NEXT:    v_lshrrev_b32_e32 v3, 16, v2
  34 ; GFX8-NEXT:    v_lshrrev_b32_e32 v4, 16, v1
  35 ; GFX8-NEXT:    v_lshrrev_b32_e32 v5, 16, v0
  36 ; GFX8-NEXT:    v_fma_f16 v3, v5, v4, v3
  37 ; GFX8-NEXT:    v_lshlrev_b32_e32 v3, 16, v3
  38 ; GFX8-NEXT:    v_fma_f16 v0, v0, v1, v2
  39 ; GFX8-NEXT:    v_or_b32_e32 v0, v0, v3
  40 ; GFX8-NEXT:    s_setpc_b64 s[30:31]
  41 ;
  42 ; GFX10-LABEL: v_constained_fma_v2f16_fpexcept_strict:
  43 ; GFX10:       ; %bb.0:
  44 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  45 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
  46 ; GFX10-NEXT:    v_pk_fma_f16 v0, v0, v1, v2
  47 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
  48   %val = call <2 x half> @llvm.experimental.constrained.fma.v2f16(<2 x half> %x, <2 x half> %y, <2 x half> %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
  49   ret <2 x half> %val
  50 }
  51
  52 define <3 x half> @v_constained_fma_v3f16_fpexcept_strict(<3 x half> %x, <3 x half> %y, <3 x half> %z) #0 {
  53 ; GFX9-LABEL: v_constained_fma_v3f16_fpexcept_strict:
  54 ; GFX9:       ; %bb.0:
  55 ; GFX9-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  56 ; GFX9-NEXT:    v_pk_fma_f16 v0, v0, v2, v4
  57 ; GFX9-NEXT:    v_fma_f16 v1, v1, v3, v5
  58 ; GFX9-NEXT:    s_setpc_b64 s[30:31]
  59 ;
  60 ; GFX8-LABEL: v_constained_fma_v3f16_fpexcept_strict:
  61 ; GFX8:       ; %bb.0:
  62 ; GFX8-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  63 ; GFX8-NEXT:    v_lshrrev_b32_e32 v6, 16, v4
  64 ; GFX8-NEXT:    v_lshrrev_b32_e32 v7, 16, v2
  65 ; GFX8-NEXT:    v_lshrrev_b32_e32 v8, 16, v0
  66 ; GFX8-NEXT:    v_fma_f16 v6, v8, v7, v6
  67 ; GFX8-NEXT:    v_lshlrev_b32_e32 v6, 16, v6
  68 ; GFX8-NEXT:    v_fma_f16 v0, v0, v2, v4
  69 ; GFX8-NEXT:    v_or_b32_e32 v0, v0, v6
  70 ; GFX8-NEXT:    v_fma_f16 v1, v1, v3, v5
  71 ; GFX8-NEXT:    s_setpc_b64 s[30:31]
  72 ;
  73 ; GFX10-LABEL: v_constained_fma_v3f16_fpexcept_strict:
  74 ; GFX10:       ; %bb.0:
  75 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  76 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
  77 ; GFX10-NEXT:    v_pk_fma_f16 v0, v0, v2, v4
  78 ; GFX10-NEXT:    v_fma_f16 v1, v1, v3, v5
  79 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
  80   %val = call <3 x half> @llvm.experimental.constrained.fma.v3f16(<3 x half> %x, <3 x half> %y, <3 x half> %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
  81   ret <3 x half> %val
  82 }
  83
  84 define <4 x half> @v_constained_fma_v4f16_fpexcept_strict(<4 x half> %x, <4 x half> %y, <4 x half> %z) #0 {
  85 ; GFX9-LABEL: v_constained_fma_v4f16_fpexcept_strict:
  86 ; GFX9:       ; %bb.0:
  87 ; GFX9-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  88 ; GFX9-NEXT:    v_lshrrev_b32_e32 v6, 16, v5
  89 ; GFX9-NEXT:    v_lshrrev_b32_e32 v7, 16, v3
  90 ; GFX9-NEXT:    v_lshrrev_b32_e32 v8, 16, v1
  91 ; GFX9-NEXT:    v_fma_f16 v6, v8, v7, v6
  92 ; GFX9-NEXT:    v_lshrrev_b32_e32 v7, 16, v4
  93 ; GFX9-NEXT:    v_lshrrev_b32_e32 v8, 16, v2
  94 ; GFX9-NEXT:    v_lshrrev_b32_e32 v9, 16, v0
  95 ; GFX9-NEXT:    v_fma_f16 v1, v1, v3, v5
  96 ; GFX9-NEXT:    v_fma_f16 v0, v0, v2, v4
  97 ; GFX9-NEXT:    v_fma_f16 v7, v9, v8, v7
  98 ; GFX9-NEXT:    v_and_b32_e32 v0, 0xffff, v0
  99 ; GFX9-NEXT:    v_and_b32_e32 v1, 0xffff, v1
 100 ; GFX9-NEXT:    v_lshl_or_b32 v0, v7, 16, v0
 101 ; GFX9-NEXT:    v_lshl_or_b32 v1, v6, 16, v1
 102 ; GFX9-NEXT:    s_setpc_b64 s[30:31]
 103 ;
 104 ; GFX8-LABEL: v_constained_fma_v4f16_fpexcept_strict:
 105 ; GFX8:       ; %bb.0:
 106 ; GFX8-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 107 ; GFX8-NEXT:    v_lshrrev_b32_e32 v6, 16, v5
 108 ; GFX8-NEXT:    v_lshrrev_b32_e32 v7, 16, v3
 109 ; GFX8-NEXT:    v_lshrrev_b32_e32 v8, 16, v1
 110 ; GFX8-NEXT:    v_fma_f16 v6, v8, v7, v6
 111 ; GFX8-NEXT:    v_lshrrev_b32_e32 v7, 16, v4
 112 ; GFX8-NEXT:    v_lshrrev_b32_e32 v8, 16, v2
 113 ; GFX8-NEXT:    v_lshrrev_b32_e32 v9, 16, v0
 114 ; GFX8-NEXT:    v_fma_f16 v7, v9, v8, v7
 115 ; GFX8-NEXT:    v_fma_f16 v0, v0, v2, v4
 116 ; GFX8-NEXT:    v_lshlrev_b32_e32 v2, 16, v7
 117 ; GFX8-NEXT:    v_fma_f16 v1, v1, v3, v5
 118 ; GFX8-NEXT:    v_or_b32_e32 v0, v0, v2
 119 ; GFX8-NEXT:    v_lshlrev_b32_e32 v2, 16, v6
 120 ; GFX8-NEXT:    v_or_b32_e32 v1, v1, v2
 121 ; GFX8-NEXT:    s_setpc_b64 s[30:31]
 122 ;
 123 ; GFX10-LABEL: v_constained_fma_v4f16_fpexcept_strict:
 124 ; GFX10:       ; %bb.0:
 125 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 126 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
 127 ; GFX10-NEXT:    v_lshrrev_b32_e32 v6, 16, v5
 128 ; GFX10-NEXT:    v_lshrrev_b32_e32 v7, 16, v3
 129 ; GFX10-NEXT:    v_lshrrev_b32_e32 v8, 16, v1
 130 ; GFX10-NEXT:    v_lshrrev_b32_e32 v9, 16, v4
 131 ; GFX10-NEXT:    v_lshrrev_b32_e32 v10, 16, v2
 132 ; GFX10-NEXT:    v_lshrrev_b32_e32 v11, 16, v0
 133 ; GFX10-NEXT:    v_fmac_f16_e32 v4, v0, v2
 134 ; GFX10-NEXT:    v_fmac_f16_e32 v5, v1, v3
 135 ; GFX10-NEXT:    v_fmac_f16_e32 v6, v8, v7
 136 ; GFX10-NEXT:    v_fmac_f16_e32 v9, v11, v10
 137 ; GFX10-NEXT:    v_and_b32_e32 v0, 0xffff, v4
 138 ; GFX10-NEXT:    v_and_b32_e32 v1, 0xffff, v5
 139 ; GFX10-NEXT:    v_lshl_or_b32 v0, v9, 16, v0
 140 ; GFX10-NEXT:    v_lshl_or_b32 v1, v6, 16, v1
 141 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
 142   %val = call <4 x half> @llvm.experimental.constrained.fma.v4f16(<4 x half> %x, <4 x half> %y, <4 x half> %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
 143   ret <4 x half> %val
 144 }
 145
 146 define half @v_constained_fma_f16_fpexcept_strict_fneg(half %x, half %y, half %z) #0 {
 147 ; GCN-LABEL: v_constained_fma_f16_fpexcept_strict_fneg:
 148 ; GCN:       ; %bb.0:
 149 ; GCN-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 150 ; GCN-NEXT:    v_fma_f16 v0, v0, v1, -v2
 151 ; GCN-NEXT:    s_setpc_b64 s[30:31]
 152 ;
 153 ; GFX10-LABEL: v_constained_fma_f16_fpexcept_strict_fneg:
 154 ; GFX10:       ; %bb.0:
 155 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 156 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
 157 ; GFX10-NEXT:    v_fma_f16 v0, v0, v1, -v2
 158 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
 159   %neg.z = fneg half %z
 160   %val = call half @llvm.experimental.constrained.fma.f16(half %x, half %y, half %neg.z, metadata !"round.tonearest", metadata !"fpexcept.strict")
 161   ret half %val
 162 }
 163
 164 define half @v_constained_fma_f16_fpexcept_strict_fneg_fneg(half %x, half %y, half %z) #0 {
 165 ; GCN-LABEL: v_constained_fma_f16_fpexcept_strict_fneg_fneg:
 166 ; GCN:       ; %bb.0:
 167 ; GCN-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 168 ; GCN-NEXT:    v_fma_f16 v0, -v0, -v1, v2
 169 ; GCN-NEXT:    s_setpc_b64 s[30:31]
 170 ;
 171 ; GFX10-LABEL: v_constained_fma_f16_fpexcept_strict_fneg_fneg:
 172 ; GFX10:       ; %bb.0:
 173 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 174 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
 175 ; GFX10-NEXT:    v_fma_f16 v0, -v0, -v1, v2
 176 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
 177   %neg.x = fneg half %x
 178   %neg.y = fneg half %y
 179   %val = call half @llvm.experimental.constrained.fma.f16(half %neg.x, half %neg.y, half %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
 180   ret half %val
 181 }
 182
 183 define half @v_constained_fma_f16_fpexcept_strict_fabs_fabs(half %x, half %y, half %z) #0 {
 184 ; GCN-LABEL: v_constained_fma_f16_fpexcept_strict_fabs_fabs:
 185 ; GCN:       ; %bb.0:
 186 ; GCN-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 187 ; GCN-NEXT:    v_fma_f16 v0, |v0|, |v1|, v2
 188 ; GCN-NEXT:    s_setpc_b64 s[30:31]
 189 ;
 190 ; GFX10-LABEL: v_constained_fma_f16_fpexcept_strict_fabs_fabs:
 191 ; GFX10:       ; %bb.0:
 192 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 193 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
 194 ; GFX10-NEXT:    v_fma_f16 v0, |v0|, |v1|, v2
 195 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
 196   %neg.x = call half @llvm.fabs.f16(half %x)
 197   %neg.y = call half @llvm.fabs.f16(half %y)
 198   %val = call half @llvm.experimental.constrained.fma.f16(half %neg.x, half %neg.y, half %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
 199   ret half %val
 200 }
 201
 202 define <2 x half> @v_constained_fma_v2f16_fpexcept_strict_fneg_fneg(<2 x half> %x, <2 x half> %y, <2 x half> %z) #0 {
 203 ; GFX9-LABEL: v_constained_fma_v2f16_fpexcept_strict_fneg_fneg:
 204 ; GFX9:       ; %bb.0:
 205 ; GFX9-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 206 ; GFX9-NEXT:    v_pk_fma_f16 v0, v0, v1, v2 neg_lo:[1,1,0] neg_hi:[1,1,0]
 207 ; GFX9-NEXT:    s_setpc_b64 s[30:31]
 208 ;
 209 ; GFX8-LABEL: v_constained_fma_v2f16_fpexcept_strict_fneg_fneg:
 210 ; GFX8:       ; %bb.0:
 211 ; GFX8-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 212 ; GFX8-NEXT:    v_lshrrev_b32_e32 v3, 16, v2
 213 ; GFX8-NEXT:    v_lshrrev_b32_e32 v4, 16, v1
 214 ; GFX8-NEXT:    v_lshrrev_b32_e32 v5, 16, v0
 215 ; GFX8-NEXT:    v_fma_f16 v3, -v5, -v4, v3
 216 ; GFX8-NEXT:    v_lshlrev_b32_e32 v3, 16, v3
 217 ; GFX8-NEXT:    v_fma_f16 v0, -v0, -v1, v2
 218 ; GFX8-NEXT:    v_or_b32_e32 v0, v0, v3
 219 ; GFX8-NEXT:    s_setpc_b64 s[30:31]
 220 ;
 221 ; GFX10-LABEL: v_constained_fma_v2f16_fpexcept_strict_fneg_fneg:
 222 ; GFX10:       ; %bb.0:
 223 ; GFX10-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
 224 ; GFX10-NEXT:    s_waitcnt_vscnt null, 0x0
 225 ; GFX10-NEXT:    v_pk_fma_f16 v0, v0, v1, v2 neg_lo:[1,1,0] neg_hi:[1,1,0]
 226 ; GFX10-NEXT:    s_setpc_b64 s[30:31]
 227   %neg.x = fneg <2 x half> %x
 228   %neg.y = fneg <2 x half> %y
 229   %val = call <2 x half> @llvm.experimental.constrained.fma.v2f16(<2 x half> %neg.x, <2 x half> %neg.y, <2 x half> %z, metadata !"round.tonearest", metadata !"fpexcept.strict")
 230   ret <2 x half> %val
 231 }
 232
 233 declare half @llvm.fabs.f16(half) #1
 234 declare half @llvm.experimental.constrained.fma.f16(half, half, half, metadata, metadata) #1
 235 declare <2 x half> @llvm.experimental.constrained.fma.v2f16(<2 x half>, <2 x half>, <2 x half>, metadata, metadata) #1
 236 declare <3 x half> @llvm.experimental.constrained.fma.v3f16(<3 x half>, <3 x half>, <3 x half>, metadata, metadata) #1
 237 declare <4 x half> @llvm.experimental.constrained.fma.v4f16(<4 x half>, <4 x half>, <4 x half>, metadata, metadata) #1
 238
 239 attributes #0 = { strictfp }
 240 attributes #1 = { inaccessiblememonly nounwind willreturn }