llvm/test/CodeGen/RISCV/rvv/vpstore.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=riscv32 -mattr=+d,+zfh,+zvfh,+v \
   3 ; RUN:     -verify-machineinstrs < %s | FileCheck %s
   4 ; RUN: llc -mtriple=riscv64 -mattr=+d,+zfh,+zvfh,+v \
   5 ; RUN:     -verify-machineinstrs < %s | FileCheck %s
   6
   7 declare void @llvm.vp.store.nxv1i8.p0(<vscale x 1 x i8>, ptr, <vscale x 1 x i1>, i32)
   8
   9 define void @vpstore_nxv1i8(<vscale x 1 x i8> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  10 ; CHECK-LABEL: vpstore_nxv1i8:
  11 ; CHECK:       # %bb.0:
  12 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  13 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
  14 ; CHECK-NEXT:    ret
  15   call void @llvm.vp.store.nxv1i8.p0(<vscale x 1 x i8> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
  16   ret void
  17 }
  18
  19 declare void @llvm.vp.store.nxv2i8.p0(<vscale x 2 x i8>, ptr, <vscale x 2 x i1>, i32)
  20
  21 define void @vpstore_nxv2i8(<vscale x 2 x i8> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
  22 ; CHECK-LABEL: vpstore_nxv2i8:
  23 ; CHECK:       # %bb.0:
  24 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
  25 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
  26 ; CHECK-NEXT:    ret
  27   call void @llvm.vp.store.nxv2i8.p0(<vscale x 2 x i8> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
  28   ret void
  29 }
  30
  31 declare void @llvm.vp.store.nxv3i8.p0(<vscale x 3 x i8>, ptr, <vscale x 3 x i1>, i32)
  32
  33 define void @vpstore_nxv3i8(<vscale x 3 x i8> %val, ptr %ptr, <vscale x 3 x i1> %m, i32 zeroext %evl) {
  34 ; CHECK-LABEL: vpstore_nxv3i8:
  35 ; CHECK:       # %bb.0:
  36 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
  37 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
  38 ; CHECK-NEXT:    ret
  39   call void @llvm.vp.store.nxv3i8.p0(<vscale x 3 x i8> %val, ptr %ptr, <vscale x 3 x i1> %m, i32 %evl)
  40   ret void
  41 }
  42
  43 declare void @llvm.vp.store.nxv4i8.p0(<vscale x 4 x i8>, ptr, <vscale x 4 x i1>, i32)
  44
  45 define void @vpstore_nxv4i8(<vscale x 4 x i8> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
  46 ; CHECK-LABEL: vpstore_nxv4i8:
  47 ; CHECK:       # %bb.0:
  48 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
  49 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
  50 ; CHECK-NEXT:    ret
  51   call void @llvm.vp.store.nxv4i8.p0(<vscale x 4 x i8> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
  52   ret void
  53 }
  54
  55 declare void @llvm.vp.store.nxv8i8.p0(<vscale x 8 x i8>, ptr, <vscale x 8 x i1>, i32)
  56
  57 define void @vpstore_nxv8i8(<vscale x 8 x i8> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
  58 ; CHECK-LABEL: vpstore_nxv8i8:
  59 ; CHECK:       # %bb.0:
  60 ; CHECK-NEXT:    vsetvli zero, a1, e8, m1, ta, ma
  61 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
  62 ; CHECK-NEXT:    ret
  63   call void @llvm.vp.store.nxv8i8.p0(<vscale x 8 x i8> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
  64   ret void
  65 }
  66
  67 declare void @llvm.vp.store.nxv1i16.p0(<vscale x 1 x i16>, ptr, <vscale x 1 x i1>, i32)
  68
  69 define void @vpstore_nxv1i16(<vscale x 1 x i16> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  70 ; CHECK-LABEL: vpstore_nxv1i16:
  71 ; CHECK:       # %bb.0:
  72 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
  73 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
  74 ; CHECK-NEXT:    ret
  75   call void @llvm.vp.store.nxv1i16.p0(<vscale x 1 x i16> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
  76   ret void
  77 }
  78
  79 declare void @llvm.vp.store.nxv2i16.p0(<vscale x 2 x i16>, ptr, <vscale x 2 x i1>, i32)
  80
  81 define void @vpstore_nxv2i16(<vscale x 2 x i16> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
  82 ; CHECK-LABEL: vpstore_nxv2i16:
  83 ; CHECK:       # %bb.0:
  84 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
  85 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
  86 ; CHECK-NEXT:    ret
  87   call void @llvm.vp.store.nxv2i16.p0(<vscale x 2 x i16> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
  88   ret void
  89 }
  90
  91 declare void @llvm.vp.store.nxv4i16.p0(<vscale x 4 x i16>, ptr, <vscale x 4 x i1>, i32)
  92
  93 define void @vpstore_nxv4i16(<vscale x 4 x i16> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
  94 ; CHECK-LABEL: vpstore_nxv4i16:
  95 ; CHECK:       # %bb.0:
  96 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
  97 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
  98 ; CHECK-NEXT:    ret
  99   call void @llvm.vp.store.nxv4i16.p0(<vscale x 4 x i16> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 100   ret void
 101 }
 102
 103 declare void @llvm.vp.store.nxv8i16.p0(<vscale x 8 x i16>, ptr, <vscale x 8 x i1>, i32)
 104
 105 define void @vpstore_nxv8i16(<vscale x 8 x i16> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 106 ; CHECK-LABEL: vpstore_nxv8i16:
 107 ; CHECK:       # %bb.0:
 108 ; CHECK-NEXT:    vsetvli zero, a1, e16, m2, ta, ma
 109 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 110 ; CHECK-NEXT:    ret
 111   call void @llvm.vp.store.nxv8i16.p0(<vscale x 8 x i16> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 112   ret void
 113 }
 114
 115 declare void @llvm.vp.store.nxv1i32.p0(<vscale x 1 x i32>, ptr, <vscale x 1 x i1>, i32)
 116
 117 define void @vpstore_nxv1i32(<vscale x 1 x i32> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 118 ; CHECK-LABEL: vpstore_nxv1i32:
 119 ; CHECK:       # %bb.0:
 120 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 121 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 122 ; CHECK-NEXT:    ret
 123   call void @llvm.vp.store.nxv1i32.p0(<vscale x 1 x i32> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
 124   ret void
 125 }
 126
 127 declare void @llvm.vp.store.nxv2i32.p0(<vscale x 2 x i32>, ptr, <vscale x 2 x i1>, i32)
 128
 129 define void @vpstore_nxv2i32(<vscale x 2 x i32> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 130 ; CHECK-LABEL: vpstore_nxv2i32:
 131 ; CHECK:       # %bb.0:
 132 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
 133 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 134 ; CHECK-NEXT:    ret
 135   call void @llvm.vp.store.nxv2i32.p0(<vscale x 2 x i32> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
 136   ret void
 137 }
 138
 139 declare void @llvm.vp.store.nxv4i32.p0(<vscale x 4 x i32>, ptr, <vscale x 4 x i1>, i32)
 140
 141 define void @vpstore_nxv4i32(<vscale x 4 x i32> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 142 ; CHECK-LABEL: vpstore_nxv4i32:
 143 ; CHECK:       # %bb.0:
 144 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
 145 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 146 ; CHECK-NEXT:    ret
 147   call void @llvm.vp.store.nxv4i32.p0(<vscale x 4 x i32> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 148   ret void
 149 }
 150
 151 declare void @llvm.vp.store.nxv8i32.p0(<vscale x 8 x i32>, ptr, <vscale x 8 x i1>, i32)
 152
 153 define void @vpstore_nxv8i32(<vscale x 8 x i32> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 154 ; CHECK-LABEL: vpstore_nxv8i32:
 155 ; CHECK:       # %bb.0:
 156 ; CHECK-NEXT:    vsetvli zero, a1, e32, m4, ta, ma
 157 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 158 ; CHECK-NEXT:    ret
 159   call void @llvm.vp.store.nxv8i32.p0(<vscale x 8 x i32> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 160   ret void
 161 }
 162
 163 declare void @llvm.vp.store.nxv1i64.p0(<vscale x 1 x i64>, ptr, <vscale x 1 x i1>, i32)
 164
 165 define void @vpstore_nxv1i64(<vscale x 1 x i64> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 166 ; CHECK-LABEL: vpstore_nxv1i64:
 167 ; CHECK:       # %bb.0:
 168 ; CHECK-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
 169 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 170 ; CHECK-NEXT:    ret
 171   call void @llvm.vp.store.nxv1i64.p0(<vscale x 1 x i64> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
 172   ret void
 173 }
 174
 175 declare void @llvm.vp.store.nxv2i64.p0(<vscale x 2 x i64>, ptr, <vscale x 2 x i1>, i32)
 176
 177 define void @vpstore_nxv2i64(<vscale x 2 x i64> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 178 ; CHECK-LABEL: vpstore_nxv2i64:
 179 ; CHECK:       # %bb.0:
 180 ; CHECK-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
 181 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 182 ; CHECK-NEXT:    ret
 183   call void @llvm.vp.store.nxv2i64.p0(<vscale x 2 x i64> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
 184   ret void
 185 }
 186
 187 declare void @llvm.vp.store.nxv4i64.p0(<vscale x 4 x i64>, ptr, <vscale x 4 x i1>, i32)
 188
 189 define void @vpstore_nxv4i64(<vscale x 4 x i64> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 190 ; CHECK-LABEL: vpstore_nxv4i64:
 191 ; CHECK:       # %bb.0:
 192 ; CHECK-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
 193 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 194 ; CHECK-NEXT:    ret
 195   call void @llvm.vp.store.nxv4i64.p0(<vscale x 4 x i64> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 196   ret void
 197 }
 198
 199 declare void @llvm.vp.store.nxv8i64.p0(<vscale x 8 x i64>, ptr, <vscale x 8 x i1>, i32)
 200
 201 define void @vpstore_nxv8i64(<vscale x 8 x i64> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 202 ; CHECK-LABEL: vpstore_nxv8i64:
 203 ; CHECK:       # %bb.0:
 204 ; CHECK-NEXT:    vsetvli zero, a1, e64, m8, ta, ma
 205 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 206 ; CHECK-NEXT:    ret
 207   call void @llvm.vp.store.nxv8i64.p0(<vscale x 8 x i64> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 208   ret void
 209 }
 210
 211 declare void @llvm.vp.store.nxv1f16.p0(<vscale x 1 x half>, ptr, <vscale x 1 x i1>, i32)
 212
 213 define void @vpstore_nxv1f16(<vscale x 1 x half> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 214 ; CHECK-LABEL: vpstore_nxv1f16:
 215 ; CHECK:       # %bb.0:
 216 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 217 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 218 ; CHECK-NEXT:    ret
 219   call void @llvm.vp.store.nxv1f16.p0(<vscale x 1 x half> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
 220   ret void
 221 }
 222
 223 declare void @llvm.vp.store.nxv2f16.p0(<vscale x 2 x half>, ptr, <vscale x 2 x i1>, i32)
 224
 225 define void @vpstore_nxv2f16(<vscale x 2 x half> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 226 ; CHECK-LABEL: vpstore_nxv2f16:
 227 ; CHECK:       # %bb.0:
 228 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 229 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 230 ; CHECK-NEXT:    ret
 231   call void @llvm.vp.store.nxv2f16.p0(<vscale x 2 x half> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
 232   ret void
 233 }
 234
 235 declare void @llvm.vp.store.nxv4f16.p0(<vscale x 4 x half>, ptr, <vscale x 4 x i1>, i32)
 236
 237 define void @vpstore_nxv4f16(<vscale x 4 x half> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 238 ; CHECK-LABEL: vpstore_nxv4f16:
 239 ; CHECK:       # %bb.0:
 240 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 241 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 242 ; CHECK-NEXT:    ret
 243   call void @llvm.vp.store.nxv4f16.p0(<vscale x 4 x half> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 244   ret void
 245 }
 246
 247 declare void @llvm.vp.store.nxv8f16.p0(<vscale x 8 x half>, ptr, <vscale x 8 x i1>, i32)
 248
 249 define void @vpstore_nxv8f16(<vscale x 8 x half> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 250 ; CHECK-LABEL: vpstore_nxv8f16:
 251 ; CHECK:       # %bb.0:
 252 ; CHECK-NEXT:    vsetvli zero, a1, e16, m2, ta, ma
 253 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 254 ; CHECK-NEXT:    ret
 255   call void @llvm.vp.store.nxv8f16.p0(<vscale x 8 x half> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 256   ret void
 257 }
 258
 259 declare void @llvm.vp.store.nxv1f32.p0(<vscale x 1 x float>, ptr, <vscale x 1 x i1>, i32)
 260
 261 define void @vpstore_nxv1f32(<vscale x 1 x float> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 262 ; CHECK-LABEL: vpstore_nxv1f32:
 263 ; CHECK:       # %bb.0:
 264 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 265 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 266 ; CHECK-NEXT:    ret
 267   call void @llvm.vp.store.nxv1f32.p0(<vscale x 1 x float> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
 268   ret void
 269 }
 270
 271 declare void @llvm.vp.store.nxv2f32.p0(<vscale x 2 x float>, ptr, <vscale x 2 x i1>, i32)
 272
 273 define void @vpstore_nxv2f32(<vscale x 2 x float> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 274 ; CHECK-LABEL: vpstore_nxv2f32:
 275 ; CHECK:       # %bb.0:
 276 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
 277 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 278 ; CHECK-NEXT:    ret
 279   call void @llvm.vp.store.nxv2f32.p0(<vscale x 2 x float> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
 280   ret void
 281 }
 282
 283 declare void @llvm.vp.store.nxv4f32.p0(<vscale x 4 x float>, ptr, <vscale x 4 x i1>, i32)
 284
 285 define void @vpstore_nxv4f32(<vscale x 4 x float> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 286 ; CHECK-LABEL: vpstore_nxv4f32:
 287 ; CHECK:       # %bb.0:
 288 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
 289 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 290 ; CHECK-NEXT:    ret
 291   call void @llvm.vp.store.nxv4f32.p0(<vscale x 4 x float> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 292   ret void
 293 }
 294
 295 declare void @llvm.vp.store.nxv8f32.p0(<vscale x 8 x float>, ptr, <vscale x 8 x i1>, i32)
 296
 297 define void @vpstore_nxv8f32(<vscale x 8 x float> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 298 ; CHECK-LABEL: vpstore_nxv8f32:
 299 ; CHECK:       # %bb.0:
 300 ; CHECK-NEXT:    vsetvli zero, a1, e32, m4, ta, ma
 301 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 302 ; CHECK-NEXT:    ret
 303   call void @llvm.vp.store.nxv8f32.p0(<vscale x 8 x float> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 304   ret void
 305 }
 306
 307 declare void @llvm.vp.store.nxv1f64.p0(<vscale x 1 x double>, ptr, <vscale x 1 x i1>, i32)
 308
 309 define void @vpstore_nxv1f64(<vscale x 1 x double> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 310 ; CHECK-LABEL: vpstore_nxv1f64:
 311 ; CHECK:       # %bb.0:
 312 ; CHECK-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
 313 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 314 ; CHECK-NEXT:    ret
 315   call void @llvm.vp.store.nxv1f64.p0(<vscale x 1 x double> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 %evl)
 316   ret void
 317 }
 318
 319 declare void @llvm.vp.store.nxv2f64.p0(<vscale x 2 x double>, ptr, <vscale x 2 x i1>, i32)
 320
 321 define void @vpstore_nxv2f64(<vscale x 2 x double> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 322 ; CHECK-LABEL: vpstore_nxv2f64:
 323 ; CHECK:       # %bb.0:
 324 ; CHECK-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
 325 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 326 ; CHECK-NEXT:    ret
 327   call void @llvm.vp.store.nxv2f64.p0(<vscale x 2 x double> %val, ptr %ptr, <vscale x 2 x i1> %m, i32 %evl)
 328   ret void
 329 }
 330
 331 declare void @llvm.vp.store.nxv4f64.p0(<vscale x 4 x double>, ptr, <vscale x 4 x i1>, i32)
 332
 333 define void @vpstore_nxv4f64(<vscale x 4 x double> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 334 ; CHECK-LABEL: vpstore_nxv4f64:
 335 ; CHECK:       # %bb.0:
 336 ; CHECK-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
 337 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 338 ; CHECK-NEXT:    ret
 339   call void @llvm.vp.store.nxv4f64.p0(<vscale x 4 x double> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 %evl)
 340   ret void
 341 }
 342
 343 declare void @llvm.vp.store.nxv8f64.p0(<vscale x 8 x double>, ptr, <vscale x 8 x i1>, i32)
 344
 345 define void @vpstore_nxv8f64(<vscale x 8 x double> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 346 ; CHECK-LABEL: vpstore_nxv8f64:
 347 ; CHECK:       # %bb.0:
 348 ; CHECK-NEXT:    vsetvli zero, a1, e64, m8, ta, ma
 349 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 350 ; CHECK-NEXT:    ret
 351   call void @llvm.vp.store.nxv8f64.p0(<vscale x 8 x double> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 %evl)
 352   ret void
 353 }
 354
 355 define void @vpstore_nxv1i8_allones_mask(<vscale x 1 x i8> %val, ptr %ptr, i32 zeroext %evl) {
 356 ; CHECK-LABEL: vpstore_nxv1i8_allones_mask:
 357 ; CHECK:       # %bb.0:
 358 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
 359 ; CHECK-NEXT:    vse8.v v8, (a0)
 360 ; CHECK-NEXT:    ret
 361   call void @llvm.vp.store.nxv1i8.p0(<vscale x 1 x i8> %val, ptr %ptr, <vscale x 1 x i1> splat (i1 true), i32 %evl)
 362   ret void
 363 }
 364
 365 declare void @llvm.vp.store.nxv16f64.p0(<vscale x 16 x double>, ptr, <vscale x 16 x i1>, i32)
 366
 367 define void @vpstore_nxv16f64(<vscale x 16 x double> %val, ptr %ptr, <vscale x 16 x i1> %m, i32 zeroext %evl) {
 368 ; CHECK-LABEL: vpstore_nxv16f64:
 369 ; CHECK:       # %bb.0:
 370 ; CHECK-NEXT:    csrr a2, vlenb
 371 ; CHECK-NEXT:    mv a3, a1
 372 ; CHECK-NEXT:    bltu a1, a2, .LBB30_2
 373 ; CHECK-NEXT:  # %bb.1:
 374 ; CHECK-NEXT:    mv a3, a2
 375 ; CHECK-NEXT:  .LBB30_2:
 376 ; CHECK-NEXT:    vsetvli zero, a3, e64, m8, ta, ma
 377 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 378 ; CHECK-NEXT:    sub a3, a1, a2
 379 ; CHECK-NEXT:    sltu a1, a1, a3
 380 ; CHECK-NEXT:    addi a1, a1, -1
 381 ; CHECK-NEXT:    and a1, a1, a3
 382 ; CHECK-NEXT:    slli a3, a2, 3
 383 ; CHECK-NEXT:    srli a2, a2, 3
 384 ; CHECK-NEXT:    vsetvli a4, zero, e8, mf4, ta, ma
 385 ; CHECK-NEXT:    vslidedown.vx v0, v0, a2
 386 ; CHECK-NEXT:    add a0, a0, a3
 387 ; CHECK-NEXT:    vsetvli zero, a1, e64, m8, ta, ma
 388 ; CHECK-NEXT:    vse64.v v16, (a0), v0.t
 389 ; CHECK-NEXT:    ret
 390   call void @llvm.vp.store.nxv16f64.p0(<vscale x 16 x double> %val, ptr %ptr, <vscale x 16 x i1> %m, i32 %evl)
 391   ret void
 392 }
 393
 394 declare void @llvm.vp.store.nxv17f64.p0(<vscale x 17 x double>, ptr, <vscale x 17 x i1>, i32)
 395
 396 ; Widen to nxv32f64 then split into 4 x nxv8f64, of which 1 is empty.
 397
 398 define void @vpstore_nxv17f64(<vscale x 17 x double> %val, ptr %ptr, <vscale x 17 x i1> %m, i32 zeroext %evl) {
 399 ; CHECK-LABEL: vpstore_nxv17f64:
 400 ; CHECK:       # %bb.0:
 401 ; CHECK-NEXT:    csrr a3, vlenb
 402 ; CHECK-NEXT:    slli a4, a3, 1
 403 ; CHECK-NEXT:    vmv1r.v v24, v0
 404 ; CHECK-NEXT:    mv a5, a2
 405 ; CHECK-NEXT:    bltu a2, a4, .LBB31_2
 406 ; CHECK-NEXT:  # %bb.1:
 407 ; CHECK-NEXT:    mv a5, a4
 408 ; CHECK-NEXT:  .LBB31_2:
 409 ; CHECK-NEXT:    mv a6, a5
 410 ; CHECK-NEXT:    bltu a5, a3, .LBB31_4
 411 ; CHECK-NEXT:  # %bb.3:
 412 ; CHECK-NEXT:    mv a6, a3
 413 ; CHECK-NEXT:  .LBB31_4:
 414 ; CHECK-NEXT:    addi sp, sp, -16
 415 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 416 ; CHECK-NEXT:    csrr a7, vlenb
 417 ; CHECK-NEXT:    slli a7, a7, 3
 418 ; CHECK-NEXT:    sub sp, sp, a7
 419 ; CHECK-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
 420 ; CHECK-NEXT:    vl8re64.v v0, (a0)
 421 ; CHECK-NEXT:    addi a0, sp, 16
 422 ; CHECK-NEXT:    vs8r.v v0, (a0) # Unknown-size Folded Spill
 423 ; CHECK-NEXT:    vmv1r.v v0, v24
 424 ; CHECK-NEXT:    vsetvli zero, a6, e64, m8, ta, ma
 425 ; CHECK-NEXT:    vse64.v v8, (a1), v0.t
 426 ; CHECK-NEXT:    sub a0, a5, a3
 427 ; CHECK-NEXT:    sltu a5, a5, a0
 428 ; CHECK-NEXT:    addi a5, a5, -1
 429 ; CHECK-NEXT:    and a5, a5, a0
 430 ; CHECK-NEXT:    slli a0, a3, 3
 431 ; CHECK-NEXT:    add a6, a1, a0
 432 ; CHECK-NEXT:    srli a0, a3, 3
 433 ; CHECK-NEXT:    vsetvli a7, zero, e8, mf4, ta, ma
 434 ; CHECK-NEXT:    vslidedown.vx v0, v24, a0
 435 ; CHECK-NEXT:    sub a0, a2, a4
 436 ; CHECK-NEXT:    sltu a2, a2, a0
 437 ; CHECK-NEXT:    addi a2, a2, -1
 438 ; CHECK-NEXT:    and a0, a2, a0
 439 ; CHECK-NEXT:    vsetvli zero, a5, e64, m8, ta, ma
 440 ; CHECK-NEXT:    vse64.v v16, (a6), v0.t
 441 ; CHECK-NEXT:    bltu a0, a3, .LBB31_6
 442 ; CHECK-NEXT:  # %bb.5:
 443 ; CHECK-NEXT:    mv a0, a3
 444 ; CHECK-NEXT:  .LBB31_6:
 445 ; CHECK-NEXT:    slli a2, a3, 4
 446 ; CHECK-NEXT:    srli a3, a3, 2
 447 ; CHECK-NEXT:    vsetvli a4, zero, e8, mf2, ta, ma
 448 ; CHECK-NEXT:    vslidedown.vx v0, v24, a3
 449 ; CHECK-NEXT:    add a1, a1, a2
 450 ; CHECK-NEXT:    addi a2, sp, 16
 451 ; CHECK-NEXT:    vl8r.v v8, (a2) # Unknown-size Folded Reload
 452 ; CHECK-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
 453 ; CHECK-NEXT:    vse64.v v8, (a1), v0.t
 454 ; CHECK-NEXT:    csrr a0, vlenb
 455 ; CHECK-NEXT:    slli a0, a0, 3
 456 ; CHECK-NEXT:    add sp, sp, a0
 457 ; CHECK-NEXT:    addi sp, sp, 16
 458 ; CHECK-NEXT:    ret
 459   call void @llvm.vp.store.nxv17f64.p0(<vscale x 17 x double> %val, ptr %ptr, <vscale x 17 x i1> %m, i32 %evl)
 460   ret void
 461 }