llvm/test/CodeGen/NVPTX/math-intrins-sm80-ptx70.ll

   1 ; RUN: llc < %s -march=nvptx64 -mcpu=sm_80 -mattr=+ptx70 | FileCheck %s
   2 ; RUN: %if ptxas-11.0 %{ llc < %s -march=nvptx64 -mcpu=sm_80 -mattr=+ptx70 | %ptxas-verify -arch=sm_80 %}
   3
   4 declare bfloat @llvm.nvvm.abs.bf16(bfloat)
   5 declare <2 x bfloat> @llvm.nvvm.abs.bf16x2(<2 x bfloat>)
   6 declare bfloat @llvm.nvvm.neg.bf16(bfloat)
   7 declare <2 x bfloat> @llvm.nvvm.neg.bf16x2(<2 x bfloat>)
   8
   9 declare float @llvm.nvvm.fmin.nan.f(float, float)
  10 declare float @llvm.nvvm.fmin.ftz.nan.f(float, float)
  11 declare half @llvm.nvvm.fmin.f16(half, half)
  12 declare half @llvm.nvvm.fmin.ftz.f16(half, half)
  13 declare half @llvm.nvvm.fmin.nan.f16(half, half)
  14 declare half @llvm.nvvm.fmin.ftz.nan.f16(half, half)
  15 declare <2 x half> @llvm.nvvm.fmin.f16x2(<2 x half>, <2 x half>)
  16 declare <2 x half> @llvm.nvvm.fmin.ftz.f16x2(<2 x half>, <2 x half>)
  17 declare <2 x half> @llvm.nvvm.fmin.nan.f16x2(<2 x half>, <2 x half>)
  18 declare <2 x half> @llvm.nvvm.fmin.ftz.nan.f16x2(<2 x half>, <2 x half>)
  19 declare bfloat @llvm.nvvm.fmin.bf16(bfloat, bfloat)
  20 declare bfloat @llvm.nvvm.fmin.nan.bf16(bfloat, bfloat)
  21 declare <2 x bfloat> @llvm.nvvm.fmin.bf16x2(<2 x bfloat>, <2 x bfloat>)
  22 declare <2 x bfloat> @llvm.nvvm.fmin.nan.bf16x2(<2 x bfloat>, <2 x bfloat>)
  23
  24 declare float @llvm.nvvm.fmax.nan.f(float, float)
  25 declare float @llvm.nvvm.fmax.ftz.nan.f(float, float)
  26 declare half @llvm.nvvm.fmax.f16(half, half)
  27 declare half @llvm.nvvm.fmax.ftz.f16(half, half)
  28 declare half @llvm.nvvm.fmax.nan.f16(half, half)
  29 declare half @llvm.nvvm.fmax.ftz.nan.f16(half, half)
  30 declare <2 x half> @llvm.nvvm.fmax.f16x2(<2 x half>, <2 x half>)
  31 declare <2 x half> @llvm.nvvm.fmax.ftz.f16x2(<2 x half>, <2 x half>)
  32 declare <2 x half> @llvm.nvvm.fmax.nan.f16x2(<2 x half>, <2 x half>)
  33 declare <2 x half> @llvm.nvvm.fmax.ftz.nan.f16x2(<2 x half>, <2 x half>)
  34 declare bfloat @llvm.nvvm.fmax.bf16(bfloat, bfloat)
  35 declare bfloat @llvm.nvvm.fmax.nan.bf16(bfloat, bfloat)
  36 declare <2 x bfloat> @llvm.nvvm.fmax.bf16x2(<2 x bfloat>, <2 x bfloat>)
  37 declare <2 x bfloat> @llvm.nvvm.fmax.nan.bf16x2(<2 x bfloat>, <2 x bfloat>)
  38
  39 declare half @llvm.nvvm.fma.rn.relu.f16(half, half, half)
  40 declare half @llvm.nvvm.fma.rn.ftz.relu.f16(half, half, half)
  41 declare <2 x half> @llvm.nvvm.fma.rn.relu.f16x2(<2 x half>, <2 x half>, <2 x half>)
  42 declare <2 x half> @llvm.nvvm.fma.rn.ftz.relu.f16x2(<2 x half>, <2 x half>, <2 x half>)
  43 declare bfloat @llvm.nvvm.fma.rn.bf16(bfloat, bfloat, bfloat)
  44 declare bfloat @llvm.nvvm.fma.rn.relu.bf16(bfloat, bfloat, bfloat)
  45 declare <2 x bfloat> @llvm.nvvm.fma.rn.bf16x2(<2 x bfloat>, <2 x bfloat>, <2 x bfloat>)
  46 declare <2 x bfloat> @llvm.nvvm.fma.rn.relu.bf16x2(<2 x bfloat>, <2 x bfloat>, <2 x bfloat>)
  47
  48 ; CHECK-LABEL: abs_bf16
  49 define bfloat @abs_bf16(bfloat %0) {
  50   ; CHECK-NOT: call
  51   ; CHECK: abs.bf16
  52   %res = call bfloat @llvm.nvvm.abs.bf16(bfloat %0);
  53   ret bfloat %res
  54 }
  55
  56 ; CHECK-LABEL: abs_bf16x2
  57 define <2 x bfloat> @abs_bf16x2(<2 x bfloat> %0) {
  58   ; CHECK-NOT: call
  59   ; CHECK: abs.bf16x2
  60   %res = call <2 x bfloat> @llvm.nvvm.abs.bf16x2(<2 x bfloat> %0);
  61   ret <2 x bfloat> %res
  62 }
  63
  64 ; CHECK-LABEL: neg_bf16
  65 define bfloat @neg_bf16(bfloat %0) {
  66   ; CHECK-NOT: call
  67   ; CHECK: neg.bf16
  68   %res = call bfloat @llvm.nvvm.neg.bf16(bfloat %0);
  69   ret bfloat %res
  70 }
  71
  72 ; CHECK-LABEL: neg_bf16x2
  73 define <2 x bfloat> @neg_bf16x2(<2 x bfloat> %0) {
  74   ; CHECK-NOT: call
  75   ; CHECK: neg.bf16x2
  76   %res = call <2 x bfloat> @llvm.nvvm.neg.bf16x2(<2 x bfloat> %0);
  77   ret <2 x bfloat> %res
  78 }
  79
  80 ; CHECK-LABEL: fmin_nan_f
  81 define float @fmin_nan_f(float %0, float %1) {
  82   ; CHECK-NOT: call
  83   ; CHECK: min.NaN.f32
  84   %res = call float @llvm.nvvm.fmin.nan.f(float %0, float %1);
  85   ret float %res
  86 }
  87
  88 ; CHECK-LABEL: fmin_ftz_nan_f
  89 define float @fmin_ftz_nan_f(float %0, float %1) {
  90   ; CHECK-NOT: call
  91   ; CHECK: min.ftz.NaN.f32
  92   %res = call float @llvm.nvvm.fmin.ftz.nan.f(float %0, float %1);
  93   ret float %res
  94 }
  95
  96 ; CHECK-LABEL: fmin_f16
  97 define half @fmin_f16(half %0, half %1) {
  98   ; CHECK-NOT: call
  99   ; CHECK: min.f16
 100   %res = call half @llvm.nvvm.fmin.f16(half %0, half %1)
 101   ret half %res
 102 }
 103
 104 ; CHECK-LABEL: fmin_ftz_f16
 105 define half @fmin_ftz_f16(half %0, half %1) {
 106   ; CHECK-NOT: call
 107   ; CHECK: min.ftz.f16
 108   %res = call half @llvm.nvvm.fmin.ftz.f16(half %0, half %1)
 109   ret half %res
 110 }
 111
 112 ; CHECK-LABEL: fmin_nan_f16
 113 define half @fmin_nan_f16(half %0, half %1) {
 114   ; CHECK-NOT: call
 115   ; CHECK: min.NaN.f16
 116   %res = call half @llvm.nvvm.fmin.nan.f16(half %0, half %1)
 117   ret half %res
 118 }
 119
 120 ; CHECK-LABEL: fmin_ftz_nan_f16
 121 define half @fmin_ftz_nan_f16(half %0, half %1) {
 122   ; CHECK-NOT: call
 123   ; CHECK: min.ftz.NaN.f16
 124   %res = call half @llvm.nvvm.fmin.ftz.nan.f16(half %0, half %1)
 125   ret half %res
 126 }
 127
 128 ; CHECK-LABEL: fmin_f16x2
 129 define <2 x half> @fmin_f16x2(<2 x half> %0, <2 x half> %1) {
 130   ; CHECK-NOT: call
 131   ; CHECK: min.f16x2
 132   %res = call <2 x half> @llvm.nvvm.fmin.f16x2(<2 x half> %0, <2 x half> %1)
 133   ret <2 x half> %res
 134 }
 135
 136 ; CHECK-LABEL: fmin_ftz_f16x2
 137 define <2 x half> @fmin_ftz_f16x2(<2 x half> %0, <2 x half> %1) {
 138   ; CHECK-NOT: call
 139   ; CHECK: min.ftz.f16x2
 140   %res = call <2 x half> @llvm.nvvm.fmin.ftz.f16x2(<2 x half> %0, <2 x half> %1)
 141   ret <2 x half> %res
 142 }
 143
 144 ; CHECK-LABEL: fmin_nan_f16x2
 145 define <2 x half> @fmin_nan_f16x2(<2 x half> %0, <2 x half> %1) {
 146   ; CHECK-NOT: call
 147   ; CHECK: min.NaN.f16x2
 148   %res = call <2 x half> @llvm.nvvm.fmin.nan.f16x2(<2 x half> %0, <2 x half> %1)
 149   ret <2 x half> %res
 150 }
 151
 152 ; CHECK-LABEL: fmin_ftz_nan_f16x2
 153 define <2 x half> @fmin_ftz_nan_f16x2(<2 x half> %0, <2 x half> %1) {
 154   ; CHECK-NOT: call
 155   ; CHECK: min.ftz.NaN.f16x2
 156   %res = call <2 x half> @llvm.nvvm.fmin.ftz.nan.f16x2(<2 x half> %0, <2 x half> %1)
 157   ret <2 x half> %res
 158 }
 159
 160 ; CHECK-LABEL: fmin_bf16
 161 define bfloat @fmin_bf16(bfloat %0, bfloat %1) {
 162   ; CHECK-NOT: call
 163   ; CHECK: min.bf16
 164   %res = call bfloat @llvm.nvvm.fmin.bf16(bfloat %0, bfloat %1)
 165   ret bfloat %res
 166 }
 167
 168 ; CHECK-LABEL: fmin_nan_bf16
 169 define bfloat @fmin_nan_bf16(bfloat %0, bfloat %1) {
 170   ; CHECK-NOT: call
 171   ; CHECK: min.NaN.bf16
 172   %res = call bfloat @llvm.nvvm.fmin.nan.bf16(bfloat %0, bfloat %1)
 173   ret bfloat %res
 174 }
 175
 176 ; CHECK-LABEL: fmin_bf16x2
 177 define <2 x bfloat> @fmin_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1) {
 178   ; CHECK-NOT: call
 179   ; CHECK: min.bf16x2
 180   %res = call <2 x bfloat> @llvm.nvvm.fmin.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1)
 181   ret <2 x bfloat> %res
 182 }
 183
 184 ; CHECK-LABEL: fmin_nan_bf16x2
 185 define <2 x bfloat> @fmin_nan_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1) {
 186   ; CHECK-NOT: call
 187   ; CHECK: min.NaN.bf16x2
 188   %res = call <2 x bfloat> @llvm.nvvm.fmin.nan.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1)
 189   ret <2 x bfloat> %res
 190 }
 191
 192 ; CHECK-LABEL: fmax_nan_f
 193 define float @fmax_nan_f(float %0, float %1) {
 194   ; CHECK-NOT: call
 195   ; CHECK: max.NaN.f32
 196   %res = call float @llvm.nvvm.fmax.nan.f(float %0, float %1);
 197   ret float %res
 198 }
 199
 200 ; CHECK-LABEL: fmax_ftz_nan_f
 201 define float @fmax_ftz_nan_f(float %0, float %1) {
 202   ; CHECK-NOT: call
 203   ; CHECK: max.ftz.NaN.f32
 204   %res = call float @llvm.nvvm.fmax.ftz.nan.f(float %0, float %1);
 205   ret float %res
 206 }
 207
 208 ; CHECK-LABEL: fmax_f16
 209 define half @fmax_f16(half %0, half %1) {
 210   ; CHECK-NOT: call
 211   ; CHECK: max.f16
 212   %res = call half @llvm.nvvm.fmax.f16(half %0, half %1)
 213   ret half %res
 214 }
 215
 216 ; CHECK-LABEL: fmax_ftz_f16
 217 define half @fmax_ftz_f16(half %0, half %1) {
 218   ; CHECK-NOT: call
 219   ; CHECK: max.ftz.f16
 220   %res = call half @llvm.nvvm.fmax.ftz.f16(half %0, half %1)
 221   ret half %res
 222 }
 223
 224 ; CHECK-LABEL: fmax_nan_f16
 225 define half @fmax_nan_f16(half %0, half %1) {
 226   ; CHECK-NOT: call
 227   ; CHECK: max.NaN.f16
 228   %res = call half @llvm.nvvm.fmax.nan.f16(half %0, half %1)
 229   ret half %res
 230 }
 231
 232 ; CHECK-LABEL: fmax_ftz_nan_f16
 233 define half @fmax_ftz_nan_f16(half %0, half %1) {
 234   ; CHECK-NOT: call
 235   ; CHECK: max.ftz.NaN.f16
 236   %res = call half @llvm.nvvm.fmax.ftz.nan.f16(half %0, half %1)
 237   ret half %res
 238 }
 239
 240 ; CHECK-LABEL: fmax_f16x2
 241 define <2 x half> @fmax_f16x2(<2 x half> %0, <2 x half> %1) {
 242   ; CHECK-NOT: call
 243   ; CHECK: max.f16x2
 244   %res = call <2 x half> @llvm.nvvm.fmax.f16x2(<2 x half> %0, <2 x half> %1)
 245   ret <2 x half> %res
 246 }
 247
 248 ; CHECK-LABEL: fmax_ftz_f16x2
 249 define <2 x half> @fmax_ftz_f16x2(<2 x half> %0, <2 x half> %1) {
 250   ; CHECK-NOT: call
 251   ; CHECK: max.ftz.f16x2
 252   %res = call <2 x half> @llvm.nvvm.fmax.ftz.f16x2(<2 x half> %0, <2 x half> %1)
 253   ret <2 x half> %res
 254 }
 255
 256 ; CHECK-LABEL: fmax_nan_f16x2
 257 define <2 x half> @fmax_nan_f16x2(<2 x half> %0, <2 x half> %1) {
 258   ; CHECK-NOT: call
 259   ; CHECK: max.NaN.f16x2
 260   %res = call <2 x half> @llvm.nvvm.fmax.nan.f16x2(<2 x half> %0, <2 x half> %1)
 261   ret <2 x half> %res
 262 }
 263
 264 ; CHECK-LABEL: fmax_ftz_nan_f16x2
 265 define <2 x half> @fmax_ftz_nan_f16x2(<2 x half> %0, <2 x half> %1) {
 266   ; CHECK-NOT: call
 267   ; CHECK: max.ftz.NaN.f16x2
 268   %res = call <2 x half> @llvm.nvvm.fmax.ftz.nan.f16x2(<2 x half> %0, <2 x half> %1)
 269   ret <2 x half> %res
 270 }
 271
 272 ; CHECK-LABEL: fmax_bf16
 273 define bfloat @fmax_bf16(bfloat %0, bfloat %1) {
 274   ; CHECK-NOT: call
 275   ; CHECK: max.bf16
 276   %res = call bfloat @llvm.nvvm.fmax.bf16(bfloat %0, bfloat %1)
 277   ret bfloat %res
 278 }
 279
 280 ; CHECK-LABEL: fmax_nan_bf16
 281 define bfloat @fmax_nan_bf16(bfloat %0, bfloat %1) {
 282   ; CHECK-NOT: call
 283   ; CHECK: max.NaN.bf16
 284   %res = call bfloat @llvm.nvvm.fmax.nan.bf16(bfloat %0, bfloat %1)
 285   ret bfloat %res
 286 }
 287
 288 ; CHECK-LABEL: fmax_bf16x2
 289 define <2 x bfloat> @fmax_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1) {
 290   ; CHECK-NOT: call
 291   ; CHECK: max.bf16x2
 292   %res = call <2 x bfloat> @llvm.nvvm.fmax.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1)
 293   ret <2 x bfloat> %res
 294 }
 295
 296 ; CHECK-LABEL: fmax_nan_bf16x2
 297 define <2 x bfloat> @fmax_nan_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1) {
 298   ; CHECK-NOT: call
 299   ; CHECK: max.NaN.bf16x2
 300   %res = call <2 x bfloat> @llvm.nvvm.fmax.nan.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1)
 301   ret <2 x bfloat> %res
 302 }
 303
 304 ; CHECK-LABEL: fma_rn_relu_f16
 305 define half @fma_rn_relu_f16(half %0, half %1, half %2) {
 306   ; CHECK-NOT: call
 307   ; CHECK: fma.rn.relu.f16
 308   %res = call half @llvm.nvvm.fma.rn.relu.f16(half %0, half %1, half %2)
 309   ret half %res
 310 }
 311
 312 ; CHECK-LABEL: fma_rn_ftz_relu_f16
 313 define half @fma_rn_ftz_relu_f16(half %0, half %1, half %2) {
 314   ; CHECK-NOT: call
 315   ; CHECK: fma.rn.ftz.relu.f16
 316   %res = call half @llvm.nvvm.fma.rn.ftz.relu.f16(half %0, half %1, half %2)
 317   ret half %res
 318 }
 319
 320 ; CHECK-LABEL: fma_rn_relu_f16x2
 321 define <2 x half> @fma_rn_relu_f16x2(<2 x half> %0, <2 x half> %1, <2 x half> %2) {
 322   ; CHECK-NOT: call
 323   ; CHECK: fma.rn.relu.f16x2
 324   %res = call <2 x half> @llvm.nvvm.fma.rn.relu.f16x2(<2 x half> %0, <2 x half> %1, <2 x half> %2)
 325   ret <2 x half> %res
 326 }
 327
 328 ; CHECK-LABEL: fma_rn_ftz_relu_f16x2
 329 define <2 x half> @fma_rn_ftz_relu_f16x2(<2 x half> %0, <2 x half> %1, <2 x half> %2) {
 330   ; CHECK-NOT: call
 331   ; CHECK: fma.rn.ftz.relu.f16x2
 332   %res = call <2 x half> @llvm.nvvm.fma.rn.ftz.relu.f16x2(<2 x half> %0, <2 x half> %1, <2 x half> %2)
 333   ret <2 x half> %res
 334 }
 335
 336 ; CHECK-LABEL: fma_rn_bf16
 337 define bfloat @fma_rn_bf16(bfloat %0, bfloat %1, bfloat %2) {
 338   ; CHECK-NOT: call
 339   ; CHECK: fma.rn.bf16
 340   %res = call bfloat @llvm.nvvm.fma.rn.bf16(bfloat %0, bfloat %1, bfloat %2)
 341   ret bfloat %res
 342 }
 343
 344 ; CHECK-LABEL: fma_rn_relu_bf16
 345 define bfloat @fma_rn_relu_bf16(bfloat %0, bfloat %1, bfloat %2) {
 346   ; CHECK-NOT: call
 347   ; CHECK: fma.rn.relu.bf16
 348   %res = call bfloat @llvm.nvvm.fma.rn.relu.bf16(bfloat %0, bfloat %1, bfloat %2)
 349   ret bfloat %res
 350 }
 351
 352 ; CHECK-LABEL: fma_rn_bf16x2
 353 define <2 x bfloat> @fma_rn_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1, <2 x bfloat> %2) {
 354   ; CHECK-NOT: call
 355   ; CHECK: fma.rn.bf16x2
 356   %res = call <2 x bfloat> @llvm.nvvm.fma.rn.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1, <2 x bfloat> %2)
 357   ret <2 x bfloat> %res
 358 }
 359
 360 ; CHECK-LABEL: fma_rn_relu_bf16x2
 361 define <2 x bfloat> @fma_rn_relu_bf16x2(<2 x bfloat> %0, <2 x bfloat> %1, <2 x bfloat> %2) {
 362   ; CHECK-NOT: call
 363   ; CHECK: fma.rn.relu.bf16x2
 364   %res = call <2 x bfloat> @llvm.nvvm.fma.rn.relu.bf16x2(<2 x bfloat> %0, <2 x bfloat> %1, <2 x bfloat> %2)
 365   ret <2 x bfloat> %res
 366 }