llvm/test/CodeGen/RISCV/rvv/strided-vpstore.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=riscv32 -mattr=+m,+d,+zfh,+v,+zvfh \
   3 ; RUN:     -verify-machineinstrs < %s | FileCheck %s \
   4 ; RUN:     -check-prefixes=CHECK,CHECK-RV32
   5 ; RUN: llc -mtriple=riscv64 -mattr=+m,+d,+zfh,+v,+zvfh \
   6 ; RUN:     -verify-machineinstrs < %s | FileCheck %s \
   7 ; RUN:     -check-prefixes=CHECK,CHECK-RV64
   8
   9 declare void @llvm.experimental.vp.strided.store.nxv1i8.p0.i8(<vscale x 1 x i8>, ptr, i8, <vscale x 1 x i1>, i32)
  10
  11 define void @strided_vpstore_nxv1i8_i8(<vscale x 1 x i8> %val, ptr %ptr, i8 signext %stride, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  12 ; CHECK-LABEL: strided_vpstore_nxv1i8_i8:
  13 ; CHECK:       # %bb.0:
  14 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf8, ta, ma
  15 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  16 ; CHECK-NEXT:    ret
  17   call void @llvm.experimental.vp.strided.store.nxv1i8.p0.i8(<vscale x 1 x i8> %val, ptr %ptr, i8 %stride, <vscale x 1 x i1> %m, i32 %evl)
  18   ret void
  19 }
  20
  21 declare void @llvm.experimental.vp.strided.store.nxv1i8.p0.i16(<vscale x 1 x i8>, ptr, i16, <vscale x 1 x i1>, i32)
  22
  23 define void @strided_vpstore_nxv1i8_i16(<vscale x 1 x i8> %val, ptr %ptr, i16 signext %stride, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  24 ; CHECK-LABEL: strided_vpstore_nxv1i8_i16:
  25 ; CHECK:       # %bb.0:
  26 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf8, ta, ma
  27 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  28 ; CHECK-NEXT:    ret
  29   call void @llvm.experimental.vp.strided.store.nxv1i8.p0.i16(<vscale x 1 x i8> %val, ptr %ptr, i16 %stride, <vscale x 1 x i1> %m, i32 %evl)
  30   ret void
  31 }
  32
  33 declare void @llvm.experimental.vp.strided.store.nxv1i8.p0.i64(<vscale x 1 x i8>, ptr, i64, <vscale x 1 x i1>, i32)
  34
  35 define void @strided_vpstore_nxv1i8_i64(<vscale x 1 x i8> %val, ptr %ptr, i64 signext %stride, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  36 ; CHECK-RV32-LABEL: strided_vpstore_nxv1i8_i64:
  37 ; CHECK-RV32:       # %bb.0:
  38 ; CHECK-RV32-NEXT:    vsetvli zero, a3, e8, mf8, ta, ma
  39 ; CHECK-RV32-NEXT:    vsse8.v v8, (a0), a1, v0.t
  40 ; CHECK-RV32-NEXT:    ret
  41 ;
  42 ; CHECK-RV64-LABEL: strided_vpstore_nxv1i8_i64:
  43 ; CHECK-RV64:       # %bb.0:
  44 ; CHECK-RV64-NEXT:    vsetvli zero, a2, e8, mf8, ta, ma
  45 ; CHECK-RV64-NEXT:    vsse8.v v8, (a0), a1, v0.t
  46 ; CHECK-RV64-NEXT:    ret
  47   call void @llvm.experimental.vp.strided.store.nxv1i8.p0.i64(<vscale x 1 x i8> %val, ptr %ptr, i64 %stride, <vscale x 1 x i1> %m, i32 %evl)
  48   ret void
  49 }
  50
  51 declare void @llvm.experimental.vp.strided.store.nxv1i8.p0.i32(<vscale x 1 x i8>, ptr, i32, <vscale x 1 x i1>, i32)
  52
  53 define void @strided_vpstore_nxv1i8(<vscale x 1 x i8> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  54 ; CHECK-LABEL: strided_vpstore_nxv1i8:
  55 ; CHECK:       # %bb.0:
  56 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf8, ta, ma
  57 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  58 ; CHECK-NEXT:    ret
  59   call void @llvm.experimental.vp.strided.store.nxv1i8.p0.i32(<vscale x 1 x i8> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
  60   ret void
  61 }
  62
  63 declare void @llvm.experimental.vp.strided.store.nxv2i8.p0.i32(<vscale x 2 x i8>, ptr, i32, <vscale x 2 x i1>, i32)
  64
  65 define void @strided_vpstore_nxv2i8(<vscale x 2 x i8> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
  66 ; CHECK-LABEL: strided_vpstore_nxv2i8:
  67 ; CHECK:       # %bb.0:
  68 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf4, ta, ma
  69 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  70 ; CHECK-NEXT:    ret
  71   call void @llvm.experimental.vp.strided.store.nxv2i8.p0.i32(<vscale x 2 x i8> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
  72   ret void
  73 }
  74
  75 declare void @llvm.experimental.vp.strided.store.nxv4i8.p0.i32(<vscale x 4 x i8>, ptr, i32, <vscale x 4 x i1>, i32)
  76
  77 define void @strided_vpstore_nxv4i8(<vscale x 4 x i8> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
  78 ; CHECK-LABEL: strided_vpstore_nxv4i8:
  79 ; CHECK:       # %bb.0:
  80 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf2, ta, ma
  81 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  82 ; CHECK-NEXT:    ret
  83   call void @llvm.experimental.vp.strided.store.nxv4i8.p0.i32(<vscale x 4 x i8> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
  84   ret void
  85 }
  86
  87 declare void @llvm.experimental.vp.strided.store.nxv8i8.p0.i32(<vscale x 8 x i8>, ptr, i32, <vscale x 8 x i1>, i32)
  88
  89 define void @strided_vpstore_nxv8i8(<vscale x 8 x i8> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
  90 ; CHECK-LABEL: strided_vpstore_nxv8i8:
  91 ; CHECK:       # %bb.0:
  92 ; CHECK-NEXT:    vsetvli zero, a2, e8, m1, ta, ma
  93 ; CHECK-NEXT:    vsse8.v v8, (a0), a1, v0.t
  94 ; CHECK-NEXT:    ret
  95   call void @llvm.experimental.vp.strided.store.nxv8i8.p0.i32(<vscale x 8 x i8> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
  96   ret void
  97 }
  98
  99 define void @strided_vpstore_nxv8i8_unit_stride(<vscale x 8 x i8> %val, ptr %ptr, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 100 ; CHECK-LABEL: strided_vpstore_nxv8i8_unit_stride:
 101 ; CHECK:       # %bb.0:
 102 ; CHECK-NEXT:    vsetvli zero, a1, e8, m1, ta, ma
 103 ; CHECK-NEXT:    vse8.v v8, (a0), v0.t
 104 ; CHECK-NEXT:    ret
 105   call void @llvm.experimental.vp.strided.store.nxv8i8.p0.i32(<vscale x 8 x i8> %val, ptr %ptr, i32 1, <vscale x 8 x i1> %m, i32 %evl)
 106   ret void
 107 }
 108
 109 declare void @llvm.experimental.vp.strided.store.nxv1i16.p0.i32(<vscale x 1 x i16>, ptr, i32, <vscale x 1 x i1>, i32)
 110
 111 define void @strided_vpstore_nxv1i16(<vscale x 1 x i16> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 112 ; CHECK-LABEL: strided_vpstore_nxv1i16:
 113 ; CHECK:       # %bb.0:
 114 ; CHECK-NEXT:    vsetvli zero, a2, e16, mf4, ta, ma
 115 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 116 ; CHECK-NEXT:    ret
 117   call void @llvm.experimental.vp.strided.store.nxv1i16.p0.i32(<vscale x 1 x i16> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 118   ret void
 119 }
 120
 121 declare void @llvm.experimental.vp.strided.store.nxv2i16.p0.i32(<vscale x 2 x i16>, ptr, i32, <vscale x 2 x i1>, i32)
 122
 123 define void @strided_vpstore_nxv2i16(<vscale x 2 x i16> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 124 ; CHECK-LABEL: strided_vpstore_nxv2i16:
 125 ; CHECK:       # %bb.0:
 126 ; CHECK-NEXT:    vsetvli zero, a2, e16, mf2, ta, ma
 127 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 128 ; CHECK-NEXT:    ret
 129   call void @llvm.experimental.vp.strided.store.nxv2i16.p0.i32(<vscale x 2 x i16> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 130   ret void
 131 }
 132
 133 declare void @llvm.experimental.vp.strided.store.nxv4i16.p0.i32(<vscale x 4 x i16>, ptr, i32, <vscale x 4 x i1>, i32)
 134
 135 define void @strided_vpstore_nxv4i16(<vscale x 4 x i16> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 136 ; CHECK-LABEL: strided_vpstore_nxv4i16:
 137 ; CHECK:       # %bb.0:
 138 ; CHECK-NEXT:    vsetvli zero, a2, e16, m1, ta, ma
 139 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 140 ; CHECK-NEXT:    ret
 141   call void @llvm.experimental.vp.strided.store.nxv4i16.p0.i32(<vscale x 4 x i16> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 142   ret void
 143 }
 144
 145 define void @strided_vpstore_nxv4i16_unit_stride(<vscale x 4 x i16> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 146 ; CHECK-LABEL: strided_vpstore_nxv4i16_unit_stride:
 147 ; CHECK:       # %bb.0:
 148 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 149 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 150 ; CHECK-NEXT:    ret
 151   call void @llvm.experimental.vp.strided.store.nxv4i16.p0.i32(<vscale x 4 x i16> %val, ptr %ptr, i32 2, <vscale x 4 x i1> %m, i32 %evl)
 152   ret void
 153 }
 154
 155 declare void @llvm.experimental.vp.strided.store.nxv8i16.p0.i32(<vscale x 8 x i16>, ptr, i32, <vscale x 8 x i1>, i32)
 156
 157 define void @strided_vpstore_nxv8i16(<vscale x 8 x i16> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 158 ; CHECK-LABEL: strided_vpstore_nxv8i16:
 159 ; CHECK:       # %bb.0:
 160 ; CHECK-NEXT:    vsetvli zero, a2, e16, m2, ta, ma
 161 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 162 ; CHECK-NEXT:    ret
 163   call void @llvm.experimental.vp.strided.store.nxv8i16.p0.i32(<vscale x 8 x i16> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 164   ret void
 165 }
 166
 167 declare void @llvm.experimental.vp.strided.store.nxv1i32.p0.i32(<vscale x 1 x i32>, ptr, i32, <vscale x 1 x i1>, i32)
 168
 169 define void @strided_vpstore_nxv1i32(<vscale x 1 x i32> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 170 ; CHECK-LABEL: strided_vpstore_nxv1i32:
 171 ; CHECK:       # %bb.0:
 172 ; CHECK-NEXT:    vsetvli zero, a2, e32, mf2, ta, ma
 173 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 174 ; CHECK-NEXT:    ret
 175   call void @llvm.experimental.vp.strided.store.nxv1i32.p0.i32(<vscale x 1 x i32> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 176   ret void
 177 }
 178
 179 declare void @llvm.experimental.vp.strided.store.nxv2i32.p0.i32(<vscale x 2 x i32>, ptr, i32, <vscale x 2 x i1>, i32)
 180
 181 define void @strided_vpstore_nxv2i32(<vscale x 2 x i32> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 182 ; CHECK-LABEL: strided_vpstore_nxv2i32:
 183 ; CHECK:       # %bb.0:
 184 ; CHECK-NEXT:    vsetvli zero, a2, e32, m1, ta, ma
 185 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 186 ; CHECK-NEXT:    ret
 187   call void @llvm.experimental.vp.strided.store.nxv2i32.p0.i32(<vscale x 2 x i32> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 188   ret void
 189 }
 190
 191 declare void @llvm.experimental.vp.strided.store.nxv4i32.p0.i32(<vscale x 4 x i32>, ptr, i32, <vscale x 4 x i1>, i32)
 192
 193 define void @strided_vpstore_nxv4i32(<vscale x 4 x i32> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 194 ; CHECK-LABEL: strided_vpstore_nxv4i32:
 195 ; CHECK:       # %bb.0:
 196 ; CHECK-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
 197 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 198 ; CHECK-NEXT:    ret
 199   call void @llvm.experimental.vp.strided.store.nxv4i32.p0.i32(<vscale x 4 x i32> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 200   ret void
 201 }
 202
 203 define void @strided_vpstore_nxv4i32_unit_stride(<vscale x 4 x i32> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 204 ; CHECK-LABEL: strided_vpstore_nxv4i32_unit_stride:
 205 ; CHECK:       # %bb.0:
 206 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
 207 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 208 ; CHECK-NEXT:    ret
 209   call void @llvm.experimental.vp.strided.store.nxv4i32.p0.i32(<vscale x 4 x i32> %val, ptr %ptr, i32 4, <vscale x 4 x i1> %m, i32 %evl)
 210   ret void
 211 }
 212
 213 declare void @llvm.experimental.vp.strided.store.nxv8i32.p0.i32(<vscale x 8 x i32>, ptr, i32, <vscale x 8 x i1>, i32)
 214
 215 define void @strided_vpstore_nxv8i32(<vscale x 8 x i32> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 216 ; CHECK-LABEL: strided_vpstore_nxv8i32:
 217 ; CHECK:       # %bb.0:
 218 ; CHECK-NEXT:    vsetvli zero, a2, e32, m4, ta, ma
 219 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 220 ; CHECK-NEXT:    ret
 221   call void @llvm.experimental.vp.strided.store.nxv8i32.p0.i32(<vscale x 8 x i32> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 222   ret void
 223 }
 224
 225 declare void @llvm.experimental.vp.strided.store.nxv1i64.p0.i32(<vscale x 1 x i64>, ptr, i32, <vscale x 1 x i1>, i32)
 226
 227 define void @strided_vpstore_nxv1i64(<vscale x 1 x i64> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 228 ; CHECK-LABEL: strided_vpstore_nxv1i64:
 229 ; CHECK:       # %bb.0:
 230 ; CHECK-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
 231 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 232 ; CHECK-NEXT:    ret
 233   call void @llvm.experimental.vp.strided.store.nxv1i64.p0.i32(<vscale x 1 x i64> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 234   ret void
 235 }
 236
 237 define void @strided_vpstore_nxv1i64_unit_stride(<vscale x 1 x i64> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 238 ; CHECK-LABEL: strided_vpstore_nxv1i64_unit_stride:
 239 ; CHECK:       # %bb.0:
 240 ; CHECK-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
 241 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 242 ; CHECK-NEXT:    ret
 243   call void @llvm.experimental.vp.strided.store.nxv1i64.p0.i32(<vscale x 1 x i64> %val, ptr %ptr, i32 8, <vscale x 1 x i1> %m, i32 %evl)
 244   ret void
 245 }
 246
 247 declare void @llvm.experimental.vp.strided.store.nxv2i64.p0.i32(<vscale x 2 x i64>, ptr, i32, <vscale x 2 x i1>, i32)
 248
 249 define void @strided_vpstore_nxv2i64(<vscale x 2 x i64> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 250 ; CHECK-LABEL: strided_vpstore_nxv2i64:
 251 ; CHECK:       # %bb.0:
 252 ; CHECK-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
 253 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 254 ; CHECK-NEXT:    ret
 255   call void @llvm.experimental.vp.strided.store.nxv2i64.p0.i32(<vscale x 2 x i64> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 256   ret void
 257 }
 258
 259 declare void @llvm.experimental.vp.strided.store.nxv4i64.p0.i32(<vscale x 4 x i64>, ptr, i32, <vscale x 4 x i1>, i32)
 260
 261 define void @strided_vpstore_nxv4i64(<vscale x 4 x i64> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 262 ; CHECK-LABEL: strided_vpstore_nxv4i64:
 263 ; CHECK:       # %bb.0:
 264 ; CHECK-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
 265 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 266 ; CHECK-NEXT:    ret
 267   call void @llvm.experimental.vp.strided.store.nxv4i64.p0.i32(<vscale x 4 x i64> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 268   ret void
 269 }
 270
 271 declare void @llvm.experimental.vp.strided.store.nxv8i64.p0.i32(<vscale x 8 x i64>, ptr, i32, <vscale x 8 x i1>, i32)
 272
 273 define void @strided_vpstore_nxv8i64(<vscale x 8 x i64> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 274 ; CHECK-LABEL: strided_vpstore_nxv8i64:
 275 ; CHECK:       # %bb.0:
 276 ; CHECK-NEXT:    vsetvli zero, a2, e64, m8, ta, ma
 277 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 278 ; CHECK-NEXT:    ret
 279   call void @llvm.experimental.vp.strided.store.nxv8i64.p0.i32(<vscale x 8 x i64> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 280   ret void
 281 }
 282
 283 declare void @llvm.experimental.vp.strided.store.nxv1f16.p0.i32(<vscale x 1 x half>, ptr, i32, <vscale x 1 x i1>, i32)
 284
 285 define void @strided_vpstore_nxv1f16(<vscale x 1 x half> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 286 ; CHECK-LABEL: strided_vpstore_nxv1f16:
 287 ; CHECK:       # %bb.0:
 288 ; CHECK-NEXT:    vsetvli zero, a2, e16, mf4, ta, ma
 289 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 290 ; CHECK-NEXT:    ret
 291   call void @llvm.experimental.vp.strided.store.nxv1f16.p0.i32(<vscale x 1 x half> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 292   ret void
 293 }
 294
 295 declare void @llvm.experimental.vp.strided.store.nxv2f16.p0.i32(<vscale x 2 x half>, ptr, i32, <vscale x 2 x i1>, i32)
 296
 297 define void @strided_vpstore_nxv2f16(<vscale x 2 x half> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 298 ; CHECK-LABEL: strided_vpstore_nxv2f16:
 299 ; CHECK:       # %bb.0:
 300 ; CHECK-NEXT:    vsetvli zero, a2, e16, mf2, ta, ma
 301 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 302 ; CHECK-NEXT:    ret
 303   call void @llvm.experimental.vp.strided.store.nxv2f16.p0.i32(<vscale x 2 x half> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 304   ret void
 305 }
 306
 307 declare void @llvm.experimental.vp.strided.store.nxv4f16.p0.i32(<vscale x 4 x half>, ptr, i32, <vscale x 4 x i1>, i32)
 308
 309 define void @strided_vpstore_nxv4f16(<vscale x 4 x half> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 310 ; CHECK-LABEL: strided_vpstore_nxv4f16:
 311 ; CHECK:       # %bb.0:
 312 ; CHECK-NEXT:    vsetvli zero, a2, e16, m1, ta, ma
 313 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 314 ; CHECK-NEXT:    ret
 315   call void @llvm.experimental.vp.strided.store.nxv4f16.p0.i32(<vscale x 4 x half> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 316   ret void
 317 }
 318
 319 define void @strided_vpstore_nxv4f16_unit_stride(<vscale x 4 x half> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 320 ; CHECK-LABEL: strided_vpstore_nxv4f16_unit_stride:
 321 ; CHECK:       # %bb.0:
 322 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 323 ; CHECK-NEXT:    vse16.v v8, (a0), v0.t
 324 ; CHECK-NEXT:    ret
 325   call void @llvm.experimental.vp.strided.store.nxv4f16.p0.i32(<vscale x 4 x half> %val, ptr %ptr, i32 2, <vscale x 4 x i1> %m, i32 %evl)
 326   ret void
 327 }
 328
 329 declare void @llvm.experimental.vp.strided.store.nxv8f16.p0.i32(<vscale x 8 x half>, ptr, i32, <vscale x 8 x i1>, i32)
 330
 331 define void @strided_vpstore_nxv8f16(<vscale x 8 x half> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 332 ; CHECK-LABEL: strided_vpstore_nxv8f16:
 333 ; CHECK:       # %bb.0:
 334 ; CHECK-NEXT:    vsetvli zero, a2, e16, m2, ta, ma
 335 ; CHECK-NEXT:    vsse16.v v8, (a0), a1, v0.t
 336 ; CHECK-NEXT:    ret
 337   call void @llvm.experimental.vp.strided.store.nxv8f16.p0.i32(<vscale x 8 x half> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 338   ret void
 339 }
 340
 341 declare void @llvm.experimental.vp.strided.store.nxv1f32.p0.i32(<vscale x 1 x float>, ptr, i32, <vscale x 1 x i1>, i32)
 342
 343 define void @strided_vpstore_nxv1f32(<vscale x 1 x float> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 344 ; CHECK-LABEL: strided_vpstore_nxv1f32:
 345 ; CHECK:       # %bb.0:
 346 ; CHECK-NEXT:    vsetvli zero, a2, e32, mf2, ta, ma
 347 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 348 ; CHECK-NEXT:    ret
 349   call void @llvm.experimental.vp.strided.store.nxv1f32.p0.i32(<vscale x 1 x float> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 350   ret void
 351 }
 352
 353 declare void @llvm.experimental.vp.strided.store.nxv2f32.p0.i32(<vscale x 2 x float>, ptr, i32, <vscale x 2 x i1>, i32)
 354
 355 define void @strided_vpstore_nxv2f32(<vscale x 2 x float> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 356 ; CHECK-LABEL: strided_vpstore_nxv2f32:
 357 ; CHECK:       # %bb.0:
 358 ; CHECK-NEXT:    vsetvli zero, a2, e32, m1, ta, ma
 359 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 360 ; CHECK-NEXT:    ret
 361   call void @llvm.experimental.vp.strided.store.nxv2f32.p0.i32(<vscale x 2 x float> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 362   ret void
 363 }
 364
 365 declare void @llvm.experimental.vp.strided.store.nxv4f32.p0.i32(<vscale x 4 x float>, ptr, i32, <vscale x 4 x i1>, i32)
 366
 367 define void @strided_vpstore_nxv4f32(<vscale x 4 x float> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 368 ; CHECK-LABEL: strided_vpstore_nxv4f32:
 369 ; CHECK:       # %bb.0:
 370 ; CHECK-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
 371 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 372 ; CHECK-NEXT:    ret
 373   call void @llvm.experimental.vp.strided.store.nxv4f32.p0.i32(<vscale x 4 x float> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 374   ret void
 375 }
 376
 377 define void @strided_vpstore_nxv4f32_unit_stride(<vscale x 4 x float> %val, ptr %ptr, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 378 ; CHECK-LABEL: strided_vpstore_nxv4f32_unit_stride:
 379 ; CHECK:       # %bb.0:
 380 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
 381 ; CHECK-NEXT:    vse32.v v8, (a0), v0.t
 382 ; CHECK-NEXT:    ret
 383   call void @llvm.experimental.vp.strided.store.nxv4f32.p0.i32(<vscale x 4 x float> %val, ptr %ptr, i32 4, <vscale x 4 x i1> %m, i32 %evl)
 384   ret void
 385 }
 386
 387 declare void @llvm.experimental.vp.strided.store.nxv8f32.p0.i32(<vscale x 8 x float>, ptr, i32, <vscale x 8 x i1>, i32)
 388
 389 define void @strided_vpstore_nxv8f32(<vscale x 8 x float> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 390 ; CHECK-LABEL: strided_vpstore_nxv8f32:
 391 ; CHECK:       # %bb.0:
 392 ; CHECK-NEXT:    vsetvli zero, a2, e32, m4, ta, ma
 393 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 394 ; CHECK-NEXT:    ret
 395   call void @llvm.experimental.vp.strided.store.nxv8f32.p0.i32(<vscale x 8 x float> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 396   ret void
 397 }
 398
 399 declare void @llvm.experimental.vp.strided.store.nxv1f64.p0.i32(<vscale x 1 x double>, ptr, i32, <vscale x 1 x i1>, i32)
 400
 401 define void @strided_vpstore_nxv1f64(<vscale x 1 x double> %val, ptr %ptr, i32 signext %strided, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 402 ; CHECK-LABEL: strided_vpstore_nxv1f64:
 403 ; CHECK:       # %bb.0:
 404 ; CHECK-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
 405 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 406 ; CHECK-NEXT:    ret
 407   call void @llvm.experimental.vp.strided.store.nxv1f64.p0.i32(<vscale x 1 x double> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %m, i32 %evl)
 408   ret void
 409 }
 410
 411 define void @strided_vpstore_nxv1f64_unit_stride(<vscale x 1 x double> %val, ptr %ptr, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 412 ; CHECK-LABEL: strided_vpstore_nxv1f64_unit_stride:
 413 ; CHECK:       # %bb.0:
 414 ; CHECK-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
 415 ; CHECK-NEXT:    vse64.v v8, (a0), v0.t
 416 ; CHECK-NEXT:    ret
 417   call void @llvm.experimental.vp.strided.store.nxv1f64.p0.i32(<vscale x 1 x double> %val, ptr %ptr, i32 8, <vscale x 1 x i1> %m, i32 %evl)
 418   ret void
 419 }
 420
 421 declare void @llvm.experimental.vp.strided.store.nxv2f64.p0.i32(<vscale x 2 x double>, ptr, i32, <vscale x 2 x i1>, i32)
 422
 423 define void @strided_vpstore_nxv2f64(<vscale x 2 x double> %val, ptr %ptr, i32 signext %strided, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 424 ; CHECK-LABEL: strided_vpstore_nxv2f64:
 425 ; CHECK:       # %bb.0:
 426 ; CHECK-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
 427 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 428 ; CHECK-NEXT:    ret
 429   call void @llvm.experimental.vp.strided.store.nxv2f64.p0.i32(<vscale x 2 x double> %val, ptr %ptr, i32 %strided, <vscale x 2 x i1> %m, i32 %evl)
 430   ret void
 431 }
 432
 433 declare void @llvm.experimental.vp.strided.store.nxv4f64.p0.i32(<vscale x 4 x double>, ptr, i32, <vscale x 4 x i1>, i32)
 434
 435 define void @strided_vpstore_nxv4f64(<vscale x 4 x double> %val, ptr %ptr, i32 signext %strided, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 436 ; CHECK-LABEL: strided_vpstore_nxv4f64:
 437 ; CHECK:       # %bb.0:
 438 ; CHECK-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
 439 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 440 ; CHECK-NEXT:    ret
 441   call void @llvm.experimental.vp.strided.store.nxv4f64.p0.i32(<vscale x 4 x double> %val, ptr %ptr, i32 %strided, <vscale x 4 x i1> %m, i32 %evl)
 442   ret void
 443 }
 444
 445 declare void @llvm.experimental.vp.strided.store.nxv8f64.p0.i32(<vscale x 8 x double>, ptr, i32, <vscale x 8 x i1>, i32)
 446
 447 define void @strided_vpstore_nxv8f64(<vscale x 8 x double> %val, ptr %ptr, i32 signext %strided, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 448 ; CHECK-LABEL: strided_vpstore_nxv8f64:
 449 ; CHECK:       # %bb.0:
 450 ; CHECK-NEXT:    vsetvli zero, a2, e64, m8, ta, ma
 451 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 452 ; CHECK-NEXT:    ret
 453   call void @llvm.experimental.vp.strided.store.nxv8f64.p0.i32(<vscale x 8 x double> %val, ptr %ptr, i32 %strided, <vscale x 8 x i1> %m, i32 %evl)
 454   ret void
 455 }
 456
 457 define void @strided_vpstore_nxv1i8_allones_mask(<vscale x 1 x i8> %val, ptr %ptr, i32 signext %strided, i32 zeroext %evl) {
 458 ; CHECK-LABEL: strided_vpstore_nxv1i8_allones_mask:
 459 ; CHECK:       # %bb.0:
 460 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf8, ta, ma
 461 ; CHECK-NEXT:    vsse8.v v8, (a0), a1
 462 ; CHECK-NEXT:    ret
 463   %a = insertelement <vscale x 1 x i1> poison, i1 true, i32 0
 464   %b = shufflevector <vscale x 1 x i1> %a, <vscale x 1 x i1> poison, <vscale x 1 x i32> zeroinitializer
 465   call void @llvm.experimental.vp.strided.store.nxv1i8.p0.i32(<vscale x 1 x i8> %val, ptr %ptr, i32 %strided, <vscale x 1 x i1> %b, i32 %evl)
 466   ret void
 467 }
 468
 469 ; Widening
 470 define void @strided_vpstore_nxv3f32(<vscale x 3 x float> %v, ptr %ptr, i32 signext %stride, <vscale x 3 x i1> %mask, i32 zeroext %evl) {
 471 ; CHECK-LABEL: strided_vpstore_nxv3f32:
 472 ; CHECK:       # %bb.0:
 473 ; CHECK-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
 474 ; CHECK-NEXT:    vsse32.v v8, (a0), a1, v0.t
 475 ; CHECK-NEXT:    ret
 476   call void @llvm.experimental.vp.strided.store.nxv3f32.p0.i32(<vscale x 3 x float> %v, ptr %ptr, i32 %stride, <vscale x 3 x i1> %mask, i32 %evl)
 477   ret void
 478 }
 479
 480 define void @strided_vpstore_nxv3f32_allones_mask(<vscale x 3 x float> %v, ptr %ptr, i32 signext %stride, i32 zeroext %evl) {
 481 ; CHECK-LABEL: strided_vpstore_nxv3f32_allones_mask:
 482 ; CHECK:       # %bb.0:
 483 ; CHECK-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
 484 ; CHECK-NEXT:    vsse32.v v8, (a0), a1
 485 ; CHECK-NEXT:    ret
 486   %one = insertelement <vscale x 3 x i1> poison, i1 true, i32 0
 487   %allones = shufflevector <vscale x 3 x i1> %one, <vscale x 3 x i1> poison, <vscale x 3 x i32> zeroinitializer
 488   call void @llvm.experimental.vp.strided.store.nxv3f32.p0.i32(<vscale x 3 x float> %v, ptr %ptr, i32 %stride, <vscale x 3 x i1> %allones, i32 %evl)
 489   ret void
 490 }
 491
 492 declare void @llvm.experimental.vp.strided.store.nxv3f32.p0.i32(<vscale x 3 x float>, ptr , i32, <vscale x 3 x i1>, i32)
 493
 494 ; Splitting
 495 define void @strided_store_nxv16f64(<vscale x 16 x double> %v, ptr %ptr, i32 signext %stride, <vscale x 16 x i1> %mask, i32 zeroext %evl) {
 496 ; CHECK-LABEL: strided_store_nxv16f64:
 497 ; CHECK:       # %bb.0:
 498 ; CHECK-NEXT:    csrr a3, vlenb
 499 ; CHECK-NEXT:    mv a4, a2
 500 ; CHECK-NEXT:    bltu a2, a3, .LBB41_2
 501 ; CHECK-NEXT:  # %bb.1:
 502 ; CHECK-NEXT:    mv a4, a3
 503 ; CHECK-NEXT:  .LBB41_2:
 504 ; CHECK-NEXT:    vsetvli zero, a4, e64, m8, ta, ma
 505 ; CHECK-NEXT:    vsse64.v v8, (a0), a1, v0.t
 506 ; CHECK-NEXT:    sub a5, a2, a3
 507 ; CHECK-NEXT:    sltu a2, a2, a5
 508 ; CHECK-NEXT:    addi a2, a2, -1
 509 ; CHECK-NEXT:    and a2, a2, a5
 510 ; CHECK-NEXT:    mul a4, a4, a1
 511 ; CHECK-NEXT:    add a0, a0, a4
 512 ; CHECK-NEXT:    srli a3, a3, 3
 513 ; CHECK-NEXT:    vsetvli a4, zero, e8, mf4, ta, ma
 514 ; CHECK-NEXT:    vslidedown.vx v0, v0, a3
 515 ; CHECK-NEXT:    vsetvli zero, a2, e64, m8, ta, ma
 516 ; CHECK-NEXT:    vsse64.v v16, (a0), a1, v0.t
 517 ; CHECK-NEXT:    ret
 518   call void @llvm.experimental.vp.strided.store.nxv16f64.p0.i32(<vscale x 16 x double> %v, ptr %ptr, i32 %stride, <vscale x 16 x i1> %mask, i32 %evl)
 519   ret void
 520 }
 521
 522 define void @strided_store_nxv16f64_allones_mask(<vscale x 16 x double> %v, ptr %ptr, i32 signext %stride, i32 zeroext %evl) {
 523 ; CHECK-LABEL: strided_store_nxv16f64_allones_mask:
 524 ; CHECK:       # %bb.0:
 525 ; CHECK-NEXT:    csrr a3, vlenb
 526 ; CHECK-NEXT:    mv a4, a2
 527 ; CHECK-NEXT:    bltu a2, a3, .LBB42_2
 528 ; CHECK-NEXT:  # %bb.1:
 529 ; CHECK-NEXT:    mv a4, a3
 530 ; CHECK-NEXT:  .LBB42_2:
 531 ; CHECK-NEXT:    vsetvli zero, a4, e64, m8, ta, ma
 532 ; CHECK-NEXT:    vsse64.v v8, (a0), a1
 533 ; CHECK-NEXT:    sub a3, a2, a3
 534 ; CHECK-NEXT:    sltu a2, a2, a3
 535 ; CHECK-NEXT:    addi a2, a2, -1
 536 ; CHECK-NEXT:    and a2, a2, a3
 537 ; CHECK-NEXT:    mul a3, a4, a1
 538 ; CHECK-NEXT:    add a0, a0, a3
 539 ; CHECK-NEXT:    vsetvli zero, a2, e64, m8, ta, ma
 540 ; CHECK-NEXT:    vsse64.v v16, (a0), a1
 541 ; CHECK-NEXT:    ret
 542   %one = insertelement <vscale x 16 x i1> poison, i1 true, i32 0
 543   %allones = shufflevector <vscale x 16 x i1> %one, <vscale x 16 x i1> poison, <vscale x 16 x i32> zeroinitializer
 544   call void @llvm.experimental.vp.strided.store.nxv16f64.p0.i32(<vscale x 16 x double> %v, ptr %ptr, i32 %stride, <vscale x 16 x i1> %allones, i32 %evl)
 545   ret void
 546 }
 547
 548 declare void @llvm.experimental.vp.strided.store.nxv16f64.p0.i32(<vscale x 16 x double>, ptr, i32, <vscale x 16 x i1>, i32)
 549
 550 ; Widening + splitting (with HiIsEmpty == true)
 551 define void @strided_store_nxv17f64(<vscale x 17 x double> %v, ptr %ptr, i32 signext %stride, <vscale x 17 x i1> %mask, i32 zeroext %evl) {
 552 ; CHECK-LABEL: strided_store_nxv17f64:
 553 ; CHECK:       # %bb.0:
 554 ; CHECK-NEXT:    csrr a4, vlenb
 555 ; CHECK-NEXT:    slli a6, a4, 1
 556 ; CHECK-NEXT:    vmv1r.v v24, v0
 557 ; CHECK-NEXT:    mv a5, a3
 558 ; CHECK-NEXT:    bltu a3, a6, .LBB43_2
 559 ; CHECK-NEXT:  # %bb.1:
 560 ; CHECK-NEXT:    mv a5, a6
 561 ; CHECK-NEXT:  .LBB43_2:
 562 ; CHECK-NEXT:    mv a7, a5
 563 ; CHECK-NEXT:    bltu a5, a4, .LBB43_4
 564 ; CHECK-NEXT:  # %bb.3:
 565 ; CHECK-NEXT:    mv a7, a4
 566 ; CHECK-NEXT:  .LBB43_4:
 567 ; CHECK-NEXT:    addi sp, sp, -16
 568 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 569 ; CHECK-NEXT:    csrr t0, vlenb
 570 ; CHECK-NEXT:    slli t0, t0, 3
 571 ; CHECK-NEXT:    sub sp, sp, t0
 572 ; CHECK-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
 573 ; CHECK-NEXT:    vl8re64.v v0, (a0)
 574 ; CHECK-NEXT:    addi a0, sp, 16
 575 ; CHECK-NEXT:    vs8r.v v0, (a0) # Unknown-size Folded Spill
 576 ; CHECK-NEXT:    vsetvli zero, a7, e64, m8, ta, ma
 577 ; CHECK-NEXT:    vmv1r.v v0, v24
 578 ; CHECK-NEXT:    vsse64.v v8, (a1), a2, v0.t
 579 ; CHECK-NEXT:    sub a0, a5, a4
 580 ; CHECK-NEXT:    sltu t0, a5, a0
 581 ; CHECK-NEXT:    addi t0, t0, -1
 582 ; CHECK-NEXT:    and a0, t0, a0
 583 ; CHECK-NEXT:    mul a7, a7, a2
 584 ; CHECK-NEXT:    add a7, a1, a7
 585 ; CHECK-NEXT:    srli t0, a4, 3
 586 ; CHECK-NEXT:    vsetvli t1, zero, e8, mf4, ta, ma
 587 ; CHECK-NEXT:    vslidedown.vx v0, v24, t0
 588 ; CHECK-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
 589 ; CHECK-NEXT:    sub a0, a3, a6
 590 ; CHECK-NEXT:    sltu a3, a3, a0
 591 ; CHECK-NEXT:    addi a3, a3, -1
 592 ; CHECK-NEXT:    and a0, a3, a0
 593 ; CHECK-NEXT:    vsse64.v v16, (a7), a2, v0.t
 594 ; CHECK-NEXT:    bltu a0, a4, .LBB43_6
 595 ; CHECK-NEXT:  # %bb.5:
 596 ; CHECK-NEXT:    mv a0, a4
 597 ; CHECK-NEXT:  .LBB43_6:
 598 ; CHECK-NEXT:    mul a3, a5, a2
 599 ; CHECK-NEXT:    add a1, a1, a3
 600 ; CHECK-NEXT:    srli a4, a4, 2
 601 ; CHECK-NEXT:    vsetvli a3, zero, e8, mf2, ta, ma
 602 ; CHECK-NEXT:    vslidedown.vx v0, v24, a4
 603 ; CHECK-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
 604 ; CHECK-NEXT:    addi a0, sp, 16
 605 ; CHECK-NEXT:    vl8r.v v8, (a0) # Unknown-size Folded Reload
 606 ; CHECK-NEXT:    vsse64.v v8, (a1), a2, v0.t
 607 ; CHECK-NEXT:    csrr a0, vlenb
 608 ; CHECK-NEXT:    slli a0, a0, 3
 609 ; CHECK-NEXT:    add sp, sp, a0
 610 ; CHECK-NEXT:    addi sp, sp, 16
 611 ; CHECK-NEXT:    ret
 612   call void @llvm.experimental.vp.strided.store.nxv17f64.p0.i32(<vscale x 17 x double> %v, ptr %ptr, i32 %stride, <vscale x 17 x i1> %mask, i32 %evl)
 613   ret void
 614 }
 615
 616 declare void @llvm.experimental.vp.strided.store.nxv17f64.p0.i32(<vscale x 17 x double>, ptr, i32, <vscale x 17 x i1>, i32)