llvm/test/CodeGen/RISCV/rvv/vfmadd-sdnode.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=riscv32 -mattr=+d,+zfh,+zvfh,+v -target-abi=ilp32d \
   3 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,ZVFH
   4 ; RUN: llc -mtriple=riscv64 -mattr=+d,+zfh,+zvfh,+v -target-abi=lp64d \
   5 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,ZVFH
   6 ; RUN: llc -mtriple=riscv32 -mattr=+m,+d,+zfhmin,+zvfhmin,+v -target-abi=ilp32d \
   7 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,ZVFHMIN
   8 ; RUN: llc -mtriple=riscv64 -mattr=+m,+d,+zfhmin,+zvfhmin,+v -target-abi=lp64d \
   9 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,ZVFHMIN
  10
  11 ; This tests a mix of vfmacc and vfmadd by using different operand orders to
  12 ; trigger commuting in TwoAddressInstructionPass.
  13
  14 declare <vscale x 1 x half> @llvm.fma.v1f16(<vscale x 1 x half>, <vscale x 1 x half>, <vscale x 1 x half>)
  15
  16 define <vscale x 1 x half> @vfmadd_vv_nxv1f16(<vscale x 1 x half> %va, <vscale x 1 x half> %vb, <vscale x 1 x half> %vc) {
  17 ; ZVFH-LABEL: vfmadd_vv_nxv1f16:
  18 ; ZVFH:       # %bb.0:
  19 ; ZVFH-NEXT:    vsetvli a0, zero, e16, mf4, ta, ma
  20 ; ZVFH-NEXT:    vfmadd.vv v8, v9, v10
  21 ; ZVFH-NEXT:    ret
  22 ;
  23 ; ZVFHMIN-LABEL: vfmadd_vv_nxv1f16:
  24 ; ZVFHMIN:       # %bb.0:
  25 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, mf4, ta, ma
  26 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v11, v10
  27 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v10, v8
  28 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v12, v9
  29 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, mf2, ta, ma
  30 ; ZVFHMIN-NEXT:    vfmadd.vv v12, v10, v11
  31 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf4, ta, ma
  32 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v12
  33 ; ZVFHMIN-NEXT:    ret
  34   %vd = call <vscale x 1 x half> @llvm.fma.v1f16(<vscale x 1 x half> %va, <vscale x 1 x half> %vb, <vscale x 1 x half> %vc)
  35   ret <vscale x 1 x half> %vd
  36 }
  37
  38 define <vscale x 1 x half> @vfmadd_vv_nxv1f16_commuted(<vscale x 1 x half> %va, <vscale x 1 x half> %vb, <vscale x 1 x half> %vc) {
  39 ; ZVFH-LABEL: vfmadd_vv_nxv1f16_commuted:
  40 ; ZVFH:       # %bb.0:
  41 ; ZVFH-NEXT:    vsetvli a0, zero, e16, mf4, ta, ma
  42 ; ZVFH-NEXT:    vfmacc.vv v8, v10, v9
  43 ; ZVFH-NEXT:    ret
  44 ;
  45 ; ZVFHMIN-LABEL: vfmadd_vv_nxv1f16_commuted:
  46 ; ZVFHMIN:       # %bb.0:
  47 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, mf4, ta, ma
  48 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v11, v8
  49 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v9
  50 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v9, v10
  51 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, mf2, ta, ma
  52 ; ZVFHMIN-NEXT:    vfmadd.vv v9, v8, v11
  53 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf4, ta, ma
  54 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v9
  55 ; ZVFHMIN-NEXT:    ret
  56   %vd = call <vscale x 1 x half> @llvm.fma.v1f16(<vscale x 1 x half> %vb, <vscale x 1 x half> %vc, <vscale x 1 x half> %va)
  57   ret <vscale x 1 x half> %vd
  58 }
  59
  60 define <vscale x 1 x half> @vfmadd_vf_nxv1f16(<vscale x 1 x half> %va, <vscale x 1 x half> %vb, half %c) {
  61 ; ZVFH-LABEL: vfmadd_vf_nxv1f16:
  62 ; ZVFH:       # %bb.0:
  63 ; ZVFH-NEXT:    vsetvli a0, zero, e16, mf4, ta, ma
  64 ; ZVFH-NEXT:    vfmadd.vf v8, fa0, v9
  65 ; ZVFH-NEXT:    ret
  66 ;
  67 ; ZVFHMIN-LABEL: vfmadd_vf_nxv1f16:
  68 ; ZVFHMIN:       # %bb.0:
  69 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
  70 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, mf2, ta, ma
  71 ; ZVFHMIN-NEXT:    vfmv.v.f v10, fa5
  72 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf4, ta, ma
  73 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v11, v10
  74 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v10, v9
  75 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v9, v8
  76 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v12, v11
  77 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, mf2, ta, ma
  78 ; ZVFHMIN-NEXT:    vfmadd.vv v12, v9, v10
  79 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf4, ta, ma
  80 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v12
  81 ; ZVFHMIN-NEXT:    ret
  82   %head = insertelement <vscale x 1 x half> poison, half %c, i32 0
  83   %splat = shufflevector <vscale x 1 x half> %head, <vscale x 1 x half> poison, <vscale x 1 x i32> zeroinitializer
  84   %vd = call <vscale x 1 x half> @llvm.fma.v1f16(<vscale x 1 x half> %va, <vscale x 1 x half> %splat, <vscale x 1 x half> %vb)
  85   ret <vscale x 1 x half> %vd
  86 }
  87
  88 declare <vscale x 2 x half> @llvm.fma.v2f16(<vscale x 2 x half>, <vscale x 2 x half>, <vscale x 2 x half>)
  89
  90 define <vscale x 2 x half> @vfmadd_vv_nxv2f16(<vscale x 2 x half> %va, <vscale x 2 x half> %vb, <vscale x 2 x half> %vc) {
  91 ; ZVFH-LABEL: vfmadd_vv_nxv2f16:
  92 ; ZVFH:       # %bb.0:
  93 ; ZVFH-NEXT:    vsetvli a0, zero, e16, mf2, ta, ma
  94 ; ZVFH-NEXT:    vfmadd.vv v8, v10, v9
  95 ; ZVFH-NEXT:    ret
  96 ;
  97 ; ZVFHMIN-LABEL: vfmadd_vv_nxv2f16:
  98 ; ZVFHMIN:       # %bb.0:
  99 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, mf2, ta, ma
 100 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v11, v9
 101 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v9, v8
 102 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v12, v10
 103 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m1, ta, ma
 104 ; ZVFHMIN-NEXT:    vfmadd.vv v12, v9, v11
 105 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf2, ta, ma
 106 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v12
 107 ; ZVFHMIN-NEXT:    ret
 108   %vd = call <vscale x 2 x half> @llvm.fma.v2f16(<vscale x 2 x half> %va, <vscale x 2 x half> %vc, <vscale x 2 x half> %vb)
 109   ret <vscale x 2 x half> %vd
 110 }
 111
 112 define <vscale x 2 x half> @vfmadd_vf_nxv2f16(<vscale x 2 x half> %va, <vscale x 2 x half> %vb, half %c) {
 113 ; ZVFH-LABEL: vfmadd_vf_nxv2f16:
 114 ; ZVFH:       # %bb.0:
 115 ; ZVFH-NEXT:    vsetvli a0, zero, e16, mf2, ta, ma
 116 ; ZVFH-NEXT:    vfmacc.vf v8, fa0, v9
 117 ; ZVFH-NEXT:    ret
 118 ;
 119 ; ZVFHMIN-LABEL: vfmadd_vf_nxv2f16:
 120 ; ZVFHMIN:       # %bb.0:
 121 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
 122 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, m1, ta, ma
 123 ; ZVFHMIN-NEXT:    vfmv.v.f v10, fa5
 124 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf2, ta, ma
 125 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v11, v10
 126 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v10, v8
 127 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v9
 128 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v9, v11
 129 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m1, ta, ma
 130 ; ZVFHMIN-NEXT:    vfmadd.vv v9, v8, v10
 131 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, mf2, ta, ma
 132 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v9
 133 ; ZVFHMIN-NEXT:    ret
 134   %head = insertelement <vscale x 2 x half> poison, half %c, i32 0
 135   %splat = shufflevector <vscale x 2 x half> %head, <vscale x 2 x half> poison, <vscale x 2 x i32> zeroinitializer
 136   %vd = call <vscale x 2 x half> @llvm.fma.v2f16(<vscale x 2 x half> %vb, <vscale x 2 x half> %splat, <vscale x 2 x half> %va)
 137   ret <vscale x 2 x half> %vd
 138 }
 139
 140 declare <vscale x 4 x half> @llvm.fma.v4f16(<vscale x 4 x half>, <vscale x 4 x half>, <vscale x 4 x half>)
 141
 142 define <vscale x 4 x half> @vfmadd_vv_nxv4f16(<vscale x 4 x half> %va, <vscale x 4 x half> %vb, <vscale x 4 x half> %vc) {
 143 ; ZVFH-LABEL: vfmadd_vv_nxv4f16:
 144 ; ZVFH:       # %bb.0:
 145 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m1, ta, ma
 146 ; ZVFH-NEXT:    vfmadd.vv v8, v9, v10
 147 ; ZVFH-NEXT:    ret
 148 ;
 149 ; ZVFHMIN-LABEL: vfmadd_vv_nxv4f16:
 150 ; ZVFHMIN:       # %bb.0:
 151 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, m1, ta, ma
 152 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v12, v10
 153 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v10, v9
 154 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v14, v8
 155 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m2, ta, ma
 156 ; ZVFHMIN-NEXT:    vfmadd.vv v14, v10, v12
 157 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m1, ta, ma
 158 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v14
 159 ; ZVFHMIN-NEXT:    ret
 160   %vd = call <vscale x 4 x half> @llvm.fma.v4f16(<vscale x 4 x half> %vb, <vscale x 4 x half> %va, <vscale x 4 x half> %vc)
 161   ret <vscale x 4 x half> %vd
 162 }
 163
 164 define <vscale x 4 x half> @vfmadd_vf_nxv4f16(<vscale x 4 x half> %va, <vscale x 4 x half> %vb, half %c) {
 165 ; ZVFH-LABEL: vfmadd_vf_nxv4f16:
 166 ; ZVFH:       # %bb.0:
 167 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m1, ta, ma
 168 ; ZVFH-NEXT:    vfmadd.vf v8, fa0, v9
 169 ; ZVFH-NEXT:    ret
 170 ;
 171 ; ZVFHMIN-LABEL: vfmadd_vf_nxv4f16:
 172 ; ZVFHMIN:       # %bb.0:
 173 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
 174 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, m2, ta, ma
 175 ; ZVFHMIN-NEXT:    vfmv.v.f v10, fa5
 176 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m1, ta, ma
 177 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v12, v10
 178 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v10, v9
 179 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v14, v8
 180 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v12
 181 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m2, ta, ma
 182 ; ZVFHMIN-NEXT:    vfmadd.vv v16, v14, v10
 183 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m1, ta, ma
 184 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v16
 185 ; ZVFHMIN-NEXT:    ret
 186   %head = insertelement <vscale x 4 x half> poison, half %c, i32 0
 187   %splat = shufflevector <vscale x 4 x half> %head, <vscale x 4 x half> poison, <vscale x 4 x i32> zeroinitializer
 188   %vd = call <vscale x 4 x half> @llvm.fma.v4f16(<vscale x 4 x half> %va, <vscale x 4 x half> %splat, <vscale x 4 x half> %vb)
 189   ret <vscale x 4 x half> %vd
 190 }
 191
 192 declare <vscale x 8 x half> @llvm.fma.v8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>)
 193
 194 define <vscale x 8 x half> @vfmadd_vv_nxv8f16(<vscale x 8 x half> %va, <vscale x 8 x half> %vb, <vscale x 8 x half> %vc) {
 195 ; ZVFH-LABEL: vfmadd_vv_nxv8f16:
 196 ; ZVFH:       # %bb.0:
 197 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m2, ta, ma
 198 ; ZVFH-NEXT:    vfmacc.vv v8, v12, v10
 199 ; ZVFH-NEXT:    ret
 200 ;
 201 ; ZVFHMIN-LABEL: vfmadd_vv_nxv8f16:
 202 ; ZVFHMIN:       # %bb.0:
 203 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, m2, ta, ma
 204 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v8
 205 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v20, v10
 206 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v12
 207 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m4, ta, ma
 208 ; ZVFHMIN-NEXT:    vfmadd.vv v24, v20, v16
 209 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m2, ta, ma
 210 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v24
 211 ; ZVFHMIN-NEXT:    ret
 212   %vd = call <vscale x 8 x half> @llvm.fma.v8f16(<vscale x 8 x half> %vb, <vscale x 8 x half> %vc, <vscale x 8 x half> %va)
 213   ret <vscale x 8 x half> %vd
 214 }
 215
 216 define <vscale x 8 x half> @vfmadd_vf_nxv8f16(<vscale x 8 x half> %va, <vscale x 8 x half> %vb, half %c) {
 217 ; ZVFH-LABEL: vfmadd_vf_nxv8f16:
 218 ; ZVFH:       # %bb.0:
 219 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m2, ta, ma
 220 ; ZVFH-NEXT:    vfmacc.vf v8, fa0, v10
 221 ; ZVFH-NEXT:    ret
 222 ;
 223 ; ZVFHMIN-LABEL: vfmadd_vf_nxv8f16:
 224 ; ZVFHMIN:       # %bb.0:
 225 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
 226 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, m4, ta, ma
 227 ; ZVFHMIN-NEXT:    vfmv.v.f v12, fa5
 228 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m2, ta, ma
 229 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v16, v12
 230 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v12, v8
 231 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v20, v10
 232 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v16
 233 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m4, ta, ma
 234 ; ZVFHMIN-NEXT:    vfmadd.vv v24, v20, v12
 235 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m2, ta, ma
 236 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v24
 237 ; ZVFHMIN-NEXT:    ret
 238   %head = insertelement <vscale x 8 x half> poison, half %c, i32 0
 239   %splat = shufflevector <vscale x 8 x half> %head, <vscale x 8 x half> poison, <vscale x 8 x i32> zeroinitializer
 240   %vd = call <vscale x 8 x half> @llvm.fma.v8f16(<vscale x 8 x half> %vb, <vscale x 8 x half> %splat, <vscale x 8 x half> %va)
 241   ret <vscale x 8 x half> %vd
 242 }
 243
 244 declare <vscale x 16 x half> @llvm.fma.v16f16(<vscale x 16 x half>, <vscale x 16 x half>, <vscale x 16 x half>)
 245
 246 define <vscale x 16 x half> @vfmadd_vv_nxv16f16(<vscale x 16 x half> %va, <vscale x 16 x half> %vb, <vscale x 16 x half> %vc) {
 247 ; ZVFH-LABEL: vfmadd_vv_nxv16f16:
 248 ; ZVFH:       # %bb.0:
 249 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m4, ta, ma
 250 ; ZVFH-NEXT:    vfmadd.vv v8, v16, v12
 251 ; ZVFH-NEXT:    ret
 252 ;
 253 ; ZVFHMIN-LABEL: vfmadd_vv_nxv16f16:
 254 ; ZVFHMIN:       # %bb.0:
 255 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, m4, ta, ma
 256 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v12
 257 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v0, v16
 258 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v8
 259 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 260 ; ZVFHMIN-NEXT:    vfmadd.vv v16, v0, v24
 261 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 262 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v16
 263 ; ZVFHMIN-NEXT:    ret
 264   %vd = call <vscale x 16 x half> @llvm.fma.v16f16(<vscale x 16 x half> %vc, <vscale x 16 x half> %va, <vscale x 16 x half> %vb)
 265   ret <vscale x 16 x half> %vd
 266 }
 267
 268 define <vscale x 16 x half> @vfmadd_vf_nxv16f16(<vscale x 16 x half> %va, <vscale x 16 x half> %vb, half %c) {
 269 ; ZVFH-LABEL: vfmadd_vf_nxv16f16:
 270 ; ZVFH:       # %bb.0:
 271 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m4, ta, ma
 272 ; ZVFH-NEXT:    vfmadd.vf v8, fa0, v12
 273 ; ZVFH-NEXT:    ret
 274 ;
 275 ; ZVFHMIN-LABEL: vfmadd_vf_nxv16f16:
 276 ; ZVFHMIN:       # %bb.0:
 277 ; ZVFHMIN-NEXT:    addi sp, sp, -16
 278 ; ZVFHMIN-NEXT:    .cfi_def_cfa_offset 16
 279 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 280 ; ZVFHMIN-NEXT:    slli a0, a0, 2
 281 ; ZVFHMIN-NEXT:    sub sp, sp, a0
 282 ; ZVFHMIN-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x04, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 4 * vlenb
 283 ; ZVFHMIN-NEXT:    vmv4r.v v28, v12
 284 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 285 ; ZVFHMIN-NEXT:    vs4r.v v8, (a0) # Unknown-size Folded Spill
 286 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
 287 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, m8, ta, ma
 288 ; ZVFHMIN-NEXT:    vfmv.v.f v16, fa5
 289 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 290 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v24, v16
 291 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v28
 292 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 293 ; ZVFHMIN-NEXT:    vl4r.v v16, (a0) # Unknown-size Folded Reload
 294 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v0, v16
 295 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v24
 296 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 297 ; ZVFHMIN-NEXT:    vfmadd.vv v16, v0, v8
 298 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 299 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v16
 300 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 301 ; ZVFHMIN-NEXT:    slli a0, a0, 2
 302 ; ZVFHMIN-NEXT:    add sp, sp, a0
 303 ; ZVFHMIN-NEXT:    addi sp, sp, 16
 304 ; ZVFHMIN-NEXT:    ret
 305   %head = insertelement <vscale x 16 x half> poison, half %c, i32 0
 306   %splat = shufflevector <vscale x 16 x half> %head, <vscale x 16 x half> poison, <vscale x 16 x i32> zeroinitializer
 307   %vd = call <vscale x 16 x half> @llvm.fma.v16f16(<vscale x 16 x half> %va, <vscale x 16 x half> %splat, <vscale x 16 x half> %vb)
 308   ret <vscale x 16 x half> %vd
 309 }
 310
 311 declare <vscale x 32 x half> @llvm.fma.v32f16(<vscale x 32 x half>, <vscale x 32 x half>, <vscale x 32 x half>)
 312
 313 define <vscale x 32 x half> @vfmadd_vv_nxv32f16(<vscale x 32 x half> %va, <vscale x 32 x half> %vb, <vscale x 32 x half> %vc) {
 314 ; ZVFH-LABEL: vfmadd_vv_nxv32f16:
 315 ; ZVFH:       # %bb.0:
 316 ; ZVFH-NEXT:    vl8re16.v v24, (a0)
 317 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m8, ta, ma
 318 ; ZVFH-NEXT:    vfmacc.vv v8, v16, v24
 319 ; ZVFH-NEXT:    ret
 320 ;
 321 ; ZVFHMIN-LABEL: vfmadd_vv_nxv32f16:
 322 ; ZVFHMIN:       # %bb.0:
 323 ; ZVFHMIN-NEXT:    addi sp, sp, -16
 324 ; ZVFHMIN-NEXT:    .cfi_def_cfa_offset 16
 325 ; ZVFHMIN-NEXT:    csrr a1, vlenb
 326 ; ZVFHMIN-NEXT:    slli a1, a1, 5
 327 ; ZVFHMIN-NEXT:    sub sp, sp, a1
 328 ; ZVFHMIN-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x20, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 32 * vlenb
 329 ; ZVFHMIN-NEXT:    vl8re16.v v0, (a0)
 330 ; ZVFHMIN-NEXT:    vmv8r.v v24, v16
 331 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 332 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 333 ; ZVFHMIN-NEXT:    add a0, sp, a0
 334 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 335 ; ZVFHMIN-NEXT:    vs8r.v v16, (a0) # Unknown-size Folded Spill
 336 ; ZVFHMIN-NEXT:    vmv8r.v v16, v8
 337 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 338 ; ZVFHMIN-NEXT:    vs8r.v v8, (a0) # Unknown-size Folded Spill
 339 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e16, m4, ta, ma
 340 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v16
 341 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 342 ; ZVFHMIN-NEXT:    li a1, 24
 343 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 344 ; ZVFHMIN-NEXT:    add a0, sp, a0
 345 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 346 ; ZVFHMIN-NEXT:    vs8r.v v8, (a0) # Unknown-size Folded Spill
 347 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v24
 348 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 349 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 350 ; ZVFHMIN-NEXT:    add a0, sp, a0
 351 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 352 ; ZVFHMIN-NEXT:    vs8r.v v8, (a0) # Unknown-size Folded Spill
 353 ; ZVFHMIN-NEXT:    vmv8r.v v8, v0
 354 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v0, v8
 355 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 356 ; ZVFHMIN-NEXT:    li a1, 24
 357 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 358 ; ZVFHMIN-NEXT:    add a0, sp, a0
 359 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 360 ; ZVFHMIN-NEXT:    vl8r.v v24, (a0) # Unknown-size Folded Reload
 361 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 362 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 363 ; ZVFHMIN-NEXT:    add a0, sp, a0
 364 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 365 ; ZVFHMIN-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
 366 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 367 ; ZVFHMIN-NEXT:    vfmadd.vv v0, v16, v24
 368 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 369 ; ZVFHMIN-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
 370 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 371 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v20
 372 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 373 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 374 ; ZVFHMIN-NEXT:    add a0, sp, a0
 375 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 376 ; ZVFHMIN-NEXT:    vs8r.v v24, (a0) # Unknown-size Folded Spill
 377 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 378 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 379 ; ZVFHMIN-NEXT:    add a0, sp, a0
 380 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 381 ; ZVFHMIN-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
 382 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v20
 383 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 384 ; ZVFHMIN-NEXT:    li a1, 24
 385 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 386 ; ZVFHMIN-NEXT:    add a0, sp, a0
 387 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 388 ; ZVFHMIN-NEXT:    vs8r.v v24, (a0) # Unknown-size Folded Spill
 389 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v12
 390 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 391 ; ZVFHMIN-NEXT:    li a1, 24
 392 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 393 ; ZVFHMIN-NEXT:    add a0, sp, a0
 394 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 395 ; ZVFHMIN-NEXT:    vl8r.v v8, (a0) # Unknown-size Folded Reload
 396 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 397 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 398 ; ZVFHMIN-NEXT:    add a0, sp, a0
 399 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 400 ; ZVFHMIN-NEXT:    vl8r.v v24, (a0) # Unknown-size Folded Reload
 401 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 402 ; ZVFHMIN-NEXT:    vfmadd.vv v16, v8, v24
 403 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 404 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v0
 405 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v12, v16
 406 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 407 ; ZVFHMIN-NEXT:    slli a0, a0, 5
 408 ; ZVFHMIN-NEXT:    add sp, sp, a0
 409 ; ZVFHMIN-NEXT:    addi sp, sp, 16
 410 ; ZVFHMIN-NEXT:    ret
 411   %vd = call <vscale x 32 x half> @llvm.fma.v32f16(<vscale x 32 x half> %vc, <vscale x 32 x half> %vb, <vscale x 32 x half> %va)
 412   ret <vscale x 32 x half> %vd
 413 }
 414
 415 define <vscale x 32 x half> @vfmadd_vf_nxv32f16(<vscale x 32 x half> %va, <vscale x 32 x half> %vb, half %c) {
 416 ; ZVFH-LABEL: vfmadd_vf_nxv32f16:
 417 ; ZVFH:       # %bb.0:
 418 ; ZVFH-NEXT:    vsetvli a0, zero, e16, m8, ta, ma
 419 ; ZVFH-NEXT:    vfmacc.vf v8, fa0, v16
 420 ; ZVFH-NEXT:    ret
 421 ;
 422 ; ZVFHMIN-LABEL: vfmadd_vf_nxv32f16:
 423 ; ZVFHMIN:       # %bb.0:
 424 ; ZVFHMIN-NEXT:    addi sp, sp, -16
 425 ; ZVFHMIN-NEXT:    .cfi_def_cfa_offset 16
 426 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 427 ; ZVFHMIN-NEXT:    li a1, 24
 428 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 429 ; ZVFHMIN-NEXT:    sub sp, sp, a0
 430 ; ZVFHMIN-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 24 * vlenb
 431 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 432 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 433 ; ZVFHMIN-NEXT:    add a0, sp, a0
 434 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 435 ; ZVFHMIN-NEXT:    vs8r.v v8, (a0) # Unknown-size Folded Spill
 436 ; ZVFHMIN-NEXT:    fcvt.s.h fa5, fa0
 437 ; ZVFHMIN-NEXT:    vsetvli a0, zero, e32, m8, ta, ma
 438 ; ZVFHMIN-NEXT:    vfmv.v.f v24, fa5
 439 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 440 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v4, v24
 441 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v8
 442 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 443 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 444 ; ZVFHMIN-NEXT:    add a0, sp, a0
 445 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 446 ; ZVFHMIN-NEXT:    vs8r.v v24, (a0) # Unknown-size Folded Spill
 447 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v8, v4
 448 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 449 ; ZVFHMIN-NEXT:    vs8r.v v8, (a0) # Unknown-size Folded Spill
 450 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v0, v16
 451 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 452 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 453 ; ZVFHMIN-NEXT:    add a0, sp, a0
 454 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 455 ; ZVFHMIN-NEXT:    vl8r.v v24, (a0) # Unknown-size Folded Reload
 456 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 457 ; ZVFHMIN-NEXT:    vfmadd.vv v0, v8, v24
 458 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 459 ; ZVFHMIN-NEXT:    slli a0, a0, 3
 460 ; ZVFHMIN-NEXT:    add a0, sp, a0
 461 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 462 ; ZVFHMIN-NEXT:    vl8r.v v8, (a0) # Unknown-size Folded Reload
 463 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 464 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v24, v12
 465 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 466 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 467 ; ZVFHMIN-NEXT:    add a0, sp, a0
 468 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 469 ; ZVFHMIN-NEXT:    vs8r.v v24, (a0) # Unknown-size Folded Spill
 470 ; ZVFHMIN-NEXT:    vmv4r.v v12, v20
 471 ; ZVFHMIN-NEXT:    vfwcvt.f.f.v v16, v12
 472 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 473 ; ZVFHMIN-NEXT:    slli a0, a0, 4
 474 ; ZVFHMIN-NEXT:    add a0, sp, a0
 475 ; ZVFHMIN-NEXT:    addi a0, a0, 16
 476 ; ZVFHMIN-NEXT:    vl8r.v v8, (a0) # Unknown-size Folded Reload
 477 ; ZVFHMIN-NEXT:    addi a0, sp, 16
 478 ; ZVFHMIN-NEXT:    vl8r.v v24, (a0) # Unknown-size Folded Reload
 479 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e32, m8, ta, ma
 480 ; ZVFHMIN-NEXT:    vfmadd.vv v16, v24, v8
 481 ; ZVFHMIN-NEXT:    vsetvli zero, zero, e16, m4, ta, ma
 482 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v8, v0
 483 ; ZVFHMIN-NEXT:    vfncvt.f.f.w v12, v16
 484 ; ZVFHMIN-NEXT:    csrr a0, vlenb
 485 ; ZVFHMIN-NEXT:    li a1, 24
 486 ; ZVFHMIN-NEXT:    mul a0, a0, a1
 487 ; ZVFHMIN-NEXT:    add sp, sp, a0
 488 ; ZVFHMIN-NEXT:    addi sp, sp, 16
 489 ; ZVFHMIN-NEXT:    ret
 490   %head = insertelement <vscale x 32 x half> poison, half %c, i32 0
 491   %splat = shufflevector <vscale x 32 x half> %head, <vscale x 32 x half> poison, <vscale x 32 x i32> zeroinitializer
 492   %vd = call <vscale x 32 x half> @llvm.fma.v32f16(<vscale x 32 x half> %vb, <vscale x 32 x half> %splat, <vscale x 32 x half> %va)
 493   ret <vscale x 32 x half> %vd
 494 }
 495
 496 declare <vscale x 1 x float> @llvm.fma.v1f32(<vscale x 1 x float>, <vscale x 1 x float>, <vscale x 1 x float>)
 497
 498 define <vscale x 1 x float> @vfmadd_vv_nxv1f32(<vscale x 1 x float> %va, <vscale x 1 x float> %vb, <vscale x 1 x float> %vc) {
 499 ; CHECK-LABEL: vfmadd_vv_nxv1f32:
 500 ; CHECK:       # %bb.0:
 501 ; CHECK-NEXT:    vsetvli a0, zero, e32, mf2, ta, ma
 502 ; CHECK-NEXT:    vfmadd.vv v8, v9, v10
 503 ; CHECK-NEXT:    ret
 504   %vd = call <vscale x 1 x float> @llvm.fma.v1f32(<vscale x 1 x float> %va, <vscale x 1 x float> %vb, <vscale x 1 x float> %vc)
 505   ret <vscale x 1 x float> %vd
 506 }
 507
 508 define <vscale x 1 x float> @vfmadd_vf_nxv1f32(<vscale x 1 x float> %va, <vscale x 1 x float> %vb, float %c) {
 509 ; CHECK-LABEL: vfmadd_vf_nxv1f32:
 510 ; CHECK:       # %bb.0:
 511 ; CHECK-NEXT:    vsetvli a0, zero, e32, mf2, ta, ma
 512 ; CHECK-NEXT:    vfmadd.vf v8, fa0, v9
 513 ; CHECK-NEXT:    ret
 514   %head = insertelement <vscale x 1 x float> poison, float %c, i32 0
 515   %splat = shufflevector <vscale x 1 x float> %head, <vscale x 1 x float> poison, <vscale x 1 x i32> zeroinitializer
 516   %vd = call <vscale x 1 x float> @llvm.fma.v1f32(<vscale x 1 x float> %va, <vscale x 1 x float> %splat, <vscale x 1 x float> %vb)
 517   ret <vscale x 1 x float> %vd
 518 }
 519
 520 declare <vscale x 2 x float> @llvm.fma.v2f32(<vscale x 2 x float>, <vscale x 2 x float>, <vscale x 2 x float>)
 521
 522 define <vscale x 2 x float> @vfmadd_vv_nxv2f32(<vscale x 2 x float> %va, <vscale x 2 x float> %vb, <vscale x 2 x float> %vc) {
 523 ; CHECK-LABEL: vfmadd_vv_nxv2f32:
 524 ; CHECK:       # %bb.0:
 525 ; CHECK-NEXT:    vsetvli a0, zero, e32, m1, ta, ma
 526 ; CHECK-NEXT:    vfmadd.vv v8, v10, v9
 527 ; CHECK-NEXT:    ret
 528   %vd = call <vscale x 2 x float> @llvm.fma.v2f32(<vscale x 2 x float> %va, <vscale x 2 x float> %vc, <vscale x 2 x float> %vb)
 529   ret <vscale x 2 x float> %vd
 530 }
 531
 532 define <vscale x 2 x float> @vfmadd_vf_nxv2f32(<vscale x 2 x float> %va, <vscale x 2 x float> %vb, float %c) {
 533 ; CHECK-LABEL: vfmadd_vf_nxv2f32:
 534 ; CHECK:       # %bb.0:
 535 ; CHECK-NEXT:    vsetvli a0, zero, e32, m1, ta, ma
 536 ; CHECK-NEXT:    vfmacc.vf v8, fa0, v9
 537 ; CHECK-NEXT:    ret
 538   %head = insertelement <vscale x 2 x float> poison, float %c, i32 0
 539   %splat = shufflevector <vscale x 2 x float> %head, <vscale x 2 x float> poison, <vscale x 2 x i32> zeroinitializer
 540   %vd = call <vscale x 2 x float> @llvm.fma.v2f32(<vscale x 2 x float> %vb, <vscale x 2 x float> %splat, <vscale x 2 x float> %va)
 541   ret <vscale x 2 x float> %vd
 542 }
 543
 544 declare <vscale x 4 x float> @llvm.fma.v4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>)
 545
 546 define <vscale x 4 x float> @vfmadd_vv_nxv4f32(<vscale x 4 x float> %va, <vscale x 4 x float> %vb, <vscale x 4 x float> %vc) {
 547 ; CHECK-LABEL: vfmadd_vv_nxv4f32:
 548 ; CHECK:       # %bb.0:
 549 ; CHECK-NEXT:    vsetvli a0, zero, e32, m2, ta, ma
 550 ; CHECK-NEXT:    vfmadd.vv v8, v10, v12
 551 ; CHECK-NEXT:    ret
 552   %vd = call <vscale x 4 x float> @llvm.fma.v4f32(<vscale x 4 x float> %vb, <vscale x 4 x float> %va, <vscale x 4 x float> %vc)
 553   ret <vscale x 4 x float> %vd
 554 }
 555
 556 define <vscale x 4 x float> @vfmadd_vf_nxv4f32(<vscale x 4 x float> %va, <vscale x 4 x float> %vb, float %c) {
 557 ; CHECK-LABEL: vfmadd_vf_nxv4f32:
 558 ; CHECK:       # %bb.0:
 559 ; CHECK-NEXT:    vsetvli a0, zero, e32, m2, ta, ma
 560 ; CHECK-NEXT:    vfmadd.vf v8, fa0, v10
 561 ; CHECK-NEXT:    ret
 562   %head = insertelement <vscale x 4 x float> poison, float %c, i32 0
 563   %splat = shufflevector <vscale x 4 x float> %head, <vscale x 4 x float> poison, <vscale x 4 x i32> zeroinitializer
 564   %vd = call <vscale x 4 x float> @llvm.fma.v4f32(<vscale x 4 x float> %va, <vscale x 4 x float> %splat, <vscale x 4 x float> %vb)
 565   ret <vscale x 4 x float> %vd
 566 }
 567
 568 declare <vscale x 8 x float> @llvm.fma.v8f32(<vscale x 8 x float>, <vscale x 8 x float>, <vscale x 8 x float>)
 569
 570 define <vscale x 8 x float> @vfmadd_vv_nxv8f32(<vscale x 8 x float> %va, <vscale x 8 x float> %vb, <vscale x 8 x float> %vc) {
 571 ; CHECK-LABEL: vfmadd_vv_nxv8f32:
 572 ; CHECK:       # %bb.0:
 573 ; CHECK-NEXT:    vsetvli a0, zero, e32, m4, ta, ma
 574 ; CHECK-NEXT:    vfmacc.vv v8, v16, v12
 575 ; CHECK-NEXT:    ret
 576   %vd = call <vscale x 8 x float> @llvm.fma.v8f32(<vscale x 8 x float> %vb, <vscale x 8 x float> %vc, <vscale x 8 x float> %va)
 577   ret <vscale x 8 x float> %vd
 578 }
 579
 580 define <vscale x 8 x float> @vfmadd_vf_nxv8f32(<vscale x 8 x float> %va, <vscale x 8 x float> %vb, float %c) {
 581 ; CHECK-LABEL: vfmadd_vf_nxv8f32:
 582 ; CHECK:       # %bb.0:
 583 ; CHECK-NEXT:    vsetvli a0, zero, e32, m4, ta, ma
 584 ; CHECK-NEXT:    vfmacc.vf v8, fa0, v12
 585 ; CHECK-NEXT:    ret
 586   %head = insertelement <vscale x 8 x float> poison, float %c, i32 0
 587   %splat = shufflevector <vscale x 8 x float> %head, <vscale x 8 x float> poison, <vscale x 8 x i32> zeroinitializer
 588   %vd = call <vscale x 8 x float> @llvm.fma.v8f32(<vscale x 8 x float> %vb, <vscale x 8 x float> %splat, <vscale x 8 x float> %va)
 589   ret <vscale x 8 x float> %vd
 590 }
 591
 592 declare <vscale x 16 x float> @llvm.fma.v16f32(<vscale x 16 x float>, <vscale x 16 x float>, <vscale x 16 x float>)
 593
 594 define <vscale x 16 x float> @vfmadd_vv_nxv16f32(<vscale x 16 x float> %va, <vscale x 16 x float> %vb, <vscale x 16 x float> %vc) {
 595 ; CHECK-LABEL: vfmadd_vv_nxv16f32:
 596 ; CHECK:       # %bb.0:
 597 ; CHECK-NEXT:    vl8re32.v v24, (a0)
 598 ; CHECK-NEXT:    vsetvli a0, zero, e32, m8, ta, ma
 599 ; CHECK-NEXT:    vfmadd.vv v8, v24, v16
 600 ; CHECK-NEXT:    ret
 601   %vd = call <vscale x 16 x float> @llvm.fma.v16f32(<vscale x 16 x float> %vc, <vscale x 16 x float> %va, <vscale x 16 x float> %vb)
 602   ret <vscale x 16 x float> %vd
 603 }
 604
 605 define <vscale x 16 x float> @vfmadd_vf_nxv16f32(<vscale x 16 x float> %va, <vscale x 16 x float> %vb, float %c) {
 606 ; CHECK-LABEL: vfmadd_vf_nxv16f32:
 607 ; CHECK:       # %bb.0:
 608 ; CHECK-NEXT:    vsetvli a0, zero, e32, m8, ta, ma
 609 ; CHECK-NEXT:    vfmadd.vf v8, fa0, v16
 610 ; CHECK-NEXT:    ret
 611   %head = insertelement <vscale x 16 x float> poison, float %c, i32 0
 612   %splat = shufflevector <vscale x 16 x float> %head, <vscale x 16 x float> poison, <vscale x 16 x i32> zeroinitializer
 613   %vd = call <vscale x 16 x float> @llvm.fma.v16f32(<vscale x 16 x float> %va, <vscale x 16 x float> %splat, <vscale x 16 x float> %vb)
 614   ret <vscale x 16 x float> %vd
 615 }
 616
 617 declare <vscale x 1 x double> @llvm.fma.v1f64(<vscale x 1 x double>, <vscale x 1 x double>, <vscale x 1 x double>)
 618
 619 define <vscale x 1 x double> @vfmadd_vv_nxv1f64(<vscale x 1 x double> %va, <vscale x 1 x double> %vb, <vscale x 1 x double> %vc) {
 620 ; CHECK-LABEL: vfmadd_vv_nxv1f64:
 621 ; CHECK:       # %bb.0:
 622 ; CHECK-NEXT:    vsetvli a0, zero, e64, m1, ta, ma
 623 ; CHECK-NEXT:    vfmadd.vv v8, v9, v10
 624 ; CHECK-NEXT:    ret
 625   %vd = call <vscale x 1 x double> @llvm.fma.v1f64(<vscale x 1 x double> %va, <vscale x 1 x double> %vb, <vscale x 1 x double> %vc)
 626   ret <vscale x 1 x double> %vd
 627 }
 628
 629 define <vscale x 1 x double> @vfmadd_vf_nxv1f64(<vscale x 1 x double> %va, <vscale x 1 x double> %vb, double %c) {
 630 ; CHECK-LABEL: vfmadd_vf_nxv1f64:
 631 ; CHECK:       # %bb.0:
 632 ; CHECK-NEXT:    vsetvli a0, zero, e64, m1, ta, ma
 633 ; CHECK-NEXT:    vfmadd.vf v8, fa0, v9
 634 ; CHECK-NEXT:    ret
 635   %head = insertelement <vscale x 1 x double> poison, double %c, i32 0
 636   %splat = shufflevector <vscale x 1 x double> %head, <vscale x 1 x double> poison, <vscale x 1 x i32> zeroinitializer
 637   %vd = call <vscale x 1 x double> @llvm.fma.v1f64(<vscale x 1 x double> %va, <vscale x 1 x double> %splat, <vscale x 1 x double> %vb)
 638   ret <vscale x 1 x double> %vd
 639 }
 640
 641 declare <vscale x 2 x double> @llvm.fma.v2f64(<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>)
 642
 643 define <vscale x 2 x double> @vfmadd_vv_nxv2f64(<vscale x 2 x double> %va, <vscale x 2 x double> %vb, <vscale x 2 x double> %vc) {
 644 ; CHECK-LABEL: vfmadd_vv_nxv2f64:
 645 ; CHECK:       # %bb.0:
 646 ; CHECK-NEXT:    vsetvli a0, zero, e64, m2, ta, ma
 647 ; CHECK-NEXT:    vfmadd.vv v8, v12, v10
 648 ; CHECK-NEXT:    ret
 649   %vd = call <vscale x 2 x double> @llvm.fma.v2f64(<vscale x 2 x double> %va, <vscale x 2 x double> %vc, <vscale x 2 x double> %vb)
 650   ret <vscale x 2 x double> %vd
 651 }
 652
 653 define <vscale x 2 x double> @vfmadd_vf_nxv2f64(<vscale x 2 x double> %va, <vscale x 2 x double> %vb, double %c) {
 654 ; CHECK-LABEL: vfmadd_vf_nxv2f64:
 655 ; CHECK:       # %bb.0:
 656 ; CHECK-NEXT:    vsetvli a0, zero, e64, m2, ta, ma
 657 ; CHECK-NEXT:    vfmacc.vf v8, fa0, v10
 658 ; CHECK-NEXT:    ret
 659   %head = insertelement <vscale x 2 x double> poison, double %c, i32 0
 660   %splat = shufflevector <vscale x 2 x double> %head, <vscale x 2 x double> poison, <vscale x 2 x i32> zeroinitializer
 661   %vd = call <vscale x 2 x double> @llvm.fma.v2f64(<vscale x 2 x double> %vb, <vscale x 2 x double> %splat, <vscale x 2 x double> %va)
 662   ret <vscale x 2 x double> %vd
 663 }
 664
 665 declare <vscale x 4 x double> @llvm.fma.v4f64(<vscale x 4 x double>, <vscale x 4 x double>, <vscale x 4 x double>)
 666
 667 define <vscale x 4 x double> @vfmadd_vv_nxv4f64(<vscale x 4 x double> %va, <vscale x 4 x double> %vb, <vscale x 4 x double> %vc) {
 668 ; CHECK-LABEL: vfmadd_vv_nxv4f64:
 669 ; CHECK:       # %bb.0:
 670 ; CHECK-NEXT:    vsetvli a0, zero, e64, m4, ta, ma
 671 ; CHECK-NEXT:    vfmadd.vv v8, v12, v16
 672 ; CHECK-NEXT:    ret
 673   %vd = call <vscale x 4 x double> @llvm.fma.v4f64(<vscale x 4 x double> %vb, <vscale x 4 x double> %va, <vscale x 4 x double> %vc)
 674   ret <vscale x 4 x double> %vd
 675 }
 676
 677 define <vscale x 4 x double> @vfmadd_vf_nxv4f64(<vscale x 4 x double> %va, <vscale x 4 x double> %vb, double %c) {
 678 ; CHECK-LABEL: vfmadd_vf_nxv4f64:
 679 ; CHECK:       # %bb.0:
 680 ; CHECK-NEXT:    vsetvli a0, zero, e64, m4, ta, ma
 681 ; CHECK-NEXT:    vfmadd.vf v8, fa0, v12
 682 ; CHECK-NEXT:    ret
 683   %head = insertelement <vscale x 4 x double> poison, double %c, i32 0
 684   %splat = shufflevector <vscale x 4 x double> %head, <vscale x 4 x double> poison, <vscale x 4 x i32> zeroinitializer
 685   %vd = call <vscale x 4 x double> @llvm.fma.v4f64(<vscale x 4 x double> %va, <vscale x 4 x double> %splat, <vscale x 4 x double> %vb)
 686   ret <vscale x 4 x double> %vd
 687 }
 688
 689 declare <vscale x 8 x double> @llvm.fma.v8f64(<vscale x 8 x double>, <vscale x 8 x double>, <vscale x 8 x double>)
 690
 691 define <vscale x 8 x double> @vfmadd_vv_nxv8f64(<vscale x 8 x double> %va, <vscale x 8 x double> %vb, <vscale x 8 x double> %vc) {
 692 ; CHECK-LABEL: vfmadd_vv_nxv8f64:
 693 ; CHECK:       # %bb.0:
 694 ; CHECK-NEXT:    vl8re64.v v24, (a0)
 695 ; CHECK-NEXT:    vsetvli a0, zero, e64, m8, ta, ma
 696 ; CHECK-NEXT:    vfmacc.vv v8, v16, v24
 697 ; CHECK-NEXT:    ret
 698   %vd = call <vscale x 8 x double> @llvm.fma.v8f64(<vscale x 8 x double> %vb, <vscale x 8 x double> %vc, <vscale x 8 x double> %va)
 699   ret <vscale x 8 x double> %vd
 700 }
 701
 702 define <vscale x 8 x double> @vfmadd_vf_nxv8f64(<vscale x 8 x double> %va, <vscale x 8 x double> %vb, double %c) {
 703 ; CHECK-LABEL: vfmadd_vf_nxv8f64:
 704 ; CHECK:       # %bb.0:
 705 ; CHECK-NEXT:    vsetvli a0, zero, e64, m8, ta, ma
 706 ; CHECK-NEXT:    vfmacc.vf v8, fa0, v16
 707 ; CHECK-NEXT:    ret
 708   %head = insertelement <vscale x 8 x double> poison, double %c, i32 0
 709   %splat = shufflevector <vscale x 8 x double> %head, <vscale x 8 x double> poison, <vscale x 8 x i32> zeroinitializer
 710   %vd = call <vscale x 8 x double> @llvm.fma.v8f64(<vscale x 8 x double> %vb, <vscale x 8 x double> %splat, <vscale x 8 x double> %va)
 711   ret <vscale x 8 x double> %vd
 712 }