llvm/test/CodeGen/RISCV/rvv/vector-interleave-store.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=riscv32 -mattr=+v,+zfh,+zvfh | FileCheck %s
   3 ; RUN: llc < %s -mtriple=riscv64 -mattr=+v,+zfh,+zvfh | FileCheck %s
   4
   5 ; Integers
   6
   7 define void @vector_interleave_store_nxv32i1_nxv16i1(<vscale x 16 x i1> %a, <vscale x 16 x i1> %b, ptr %p) {
   8 ; CHECK-LABEL: vector_interleave_store_nxv32i1_nxv16i1:
   9 ; CHECK:       # %bb.0:
  10 ; CHECK-NEXT:    vmv1r.v v9, v0
  11 ; CHECK-NEXT:    vsetvli a1, zero, e8, m2, ta, ma
  12 ; CHECK-NEXT:    vmv.v.i v10, 0
  13 ; CHECK-NEXT:    vmv1r.v v0, v8
  14 ; CHECK-NEXT:    vmerge.vim v12, v10, 1, v0
  15 ; CHECK-NEXT:    vmv1r.v v0, v9
  16 ; CHECK-NEXT:    vmerge.vim v8, v10, 1, v0
  17 ; CHECK-NEXT:    vwaddu.vv v16, v8, v12
  18 ; CHECK-NEXT:    li a1, -1
  19 ; CHECK-NEXT:    vwmaccu.vx v16, a1, v12
  20 ; CHECK-NEXT:    vmsne.vi v8, v18, 0
  21 ; CHECK-NEXT:    vmsne.vi v9, v16, 0
  22 ; CHECK-NEXT:    csrr a1, vlenb
  23 ; CHECK-NEXT:    srli a1, a1, 2
  24 ; CHECK-NEXT:    add a2, a1, a1
  25 ; CHECK-NEXT:    vsetvli zero, a2, e8, mf2, tu, ma
  26 ; CHECK-NEXT:    vslideup.vx v9, v8, a1
  27 ; CHECK-NEXT:    vsetvli a1, zero, e8, m4, ta, ma
  28 ; CHECK-NEXT:    vsm.v v9, (a0)
  29 ; CHECK-NEXT:    ret
  30   %res = call <vscale x 32 x i1> @llvm.experimental.vector.interleave2.nxv32i1(<vscale x 16 x i1> %a, <vscale x 16 x i1> %b)
  31   store <vscale x 32 x i1> %res, ptr %p
  32   ret void
  33 }
  34
  35 ; Shouldn't be lowered to vsseg because it's unaligned
  36 define void @vector_interleave_store_nxv16i16_nxv8i16_align1(<vscale x 8 x i16> %a, <vscale x 8 x i16> %b, ptr %p) {
  37 ; CHECK-LABEL: vector_interleave_store_nxv16i16_nxv8i16_align1:
  38 ; CHECK:       # %bb.0:
  39 ; CHECK-NEXT:    vsetvli a1, zero, e16, m2, ta, ma
  40 ; CHECK-NEXT:    vwaddu.vv v12, v8, v10
  41 ; CHECK-NEXT:    li a1, -1
  42 ; CHECK-NEXT:    vwmaccu.vx v12, a1, v10
  43 ; CHECK-NEXT:    vs4r.v v12, (a0)
  44 ; CHECK-NEXT:    ret
  45   %res = call <vscale x 16 x i16> @llvm.experimental.vector.interleave2.nxv16i16(<vscale x 8 x i16> %a, <vscale x 8 x i16> %b)
  46   store <vscale x 16 x i16> %res, ptr %p, align 1
  47   ret void
  48 }
  49
  50 define void @vector_interleave_store_nxv16i16_nxv8i16(<vscale x 8 x i16> %a, <vscale x 8 x i16> %b, ptr %p) {
  51 ; CHECK-LABEL: vector_interleave_store_nxv16i16_nxv8i16:
  52 ; CHECK:       # %bb.0:
  53 ; CHECK-NEXT:    vsetvli a1, zero, e16, m2, ta, ma
  54 ; CHECK-NEXT:    vsseg2e16.v v8, (a0)
  55 ; CHECK-NEXT:    ret
  56   %res = call <vscale x 16 x i16> @llvm.experimental.vector.interleave2.nxv16i16(<vscale x 8 x i16> %a, <vscale x 8 x i16> %b)
  57   store <vscale x 16 x i16> %res, ptr %p
  58   ret void
  59 }
  60
  61 define void @vector_interleave_store_nxv8i32_nxv4i32(<vscale x 4 x i32> %a, <vscale x 4 x i32> %b, ptr %p) {
  62 ; CHECK-LABEL: vector_interleave_store_nxv8i32_nxv4i32:
  63 ; CHECK:       # %bb.0:
  64 ; CHECK-NEXT:    vsetvli a1, zero, e32, m2, ta, ma
  65 ; CHECK-NEXT:    vsseg2e32.v v8, (a0)
  66 ; CHECK-NEXT:    ret
  67   %res = call <vscale x 8 x i32> @llvm.experimental.vector.interleave2.nxv8i32(<vscale x 4 x i32> %a, <vscale x 4 x i32> %b)
  68   store <vscale x 8 x i32> %res, ptr %p
  69   ret void
  70 }
  71
  72 define void @vector_interleave_store_nxv4i64_nxv2i64(<vscale x 2 x i64> %a, <vscale x 2 x i64> %b, ptr %p) {
  73 ; CHECK-LABEL: vector_interleave_store_nxv4i64_nxv2i64:
  74 ; CHECK:       # %bb.0:
  75 ; CHECK-NEXT:    vsetvli a1, zero, e64, m2, ta, ma
  76 ; CHECK-NEXT:    vsseg2e64.v v8, (a0)
  77 ; CHECK-NEXT:    ret
  78   %res = call <vscale x 4 x i64> @llvm.experimental.vector.interleave2.nxv4i64(<vscale x 2 x i64> %a, <vscale x 2 x i64> %b)
  79   store <vscale x 4 x i64> %res, ptr %p
  80   ret void
  81 }
  82
  83 define void @vector_interleave_store_nxv8i64_nxv4i64(<vscale x 4 x i64> %a, <vscale x 4 x i64> %b, ptr %p) {
  84 ; CHECK-LABEL: vector_interleave_store_nxv8i64_nxv4i64:
  85 ; CHECK:       # %bb.0:
  86 ; CHECK-NEXT:    vsetvli a1, zero, e64, m4, ta, ma
  87 ; CHECK-NEXT:    vsseg2e64.v v8, (a0)
  88 ; CHECK-NEXT:    ret
  89   %res = call <vscale x 8 x i64> @llvm.experimental.vector.interleave2.nxv8i64(<vscale x 4 x i64> %a, <vscale x 4 x i64> %b)
  90   store <vscale x 8 x i64> %res, ptr %p
  91   ret void
  92 }
  93
  94 ; This shouldn't be lowered to a vsseg because EMUL * NFIELDS >= 8
  95 define void @vector_interleave_store_nxv16i64_nxv8i64(<vscale x 8 x i64> %a, <vscale x 8 x i64> %b, ptr %p) {
  96 ; CHECK-LABEL: vector_interleave_store_nxv16i64_nxv8i64:
  97 ; CHECK:       # %bb.0:
  98 ; CHECK-NEXT:    addi sp, sp, -16
  99 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 100 ; CHECK-NEXT:    csrr a1, vlenb
 101 ; CHECK-NEXT:    slli a1, a1, 4
 102 ; CHECK-NEXT:    sub sp, sp, a1
 103 ; CHECK-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x10, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 16 * vlenb
 104 ; CHECK-NEXT:    csrr a1, vlenb
 105 ; CHECK-NEXT:    slli a1, a1, 3
 106 ; CHECK-NEXT:    add a1, sp, a1
 107 ; CHECK-NEXT:    addi a1, a1, 16
 108 ; CHECK-NEXT:    vs8r.v v8, (a1) # Unknown-size Folded Spill
 109 ; CHECK-NEXT:    csrr a1, vlenb
 110 ; CHECK-NEXT:    srli a2, a1, 1
 111 ; CHECK-NEXT:    vsetvli a3, zero, e16, m2, ta, mu
 112 ; CHECK-NEXT:    vid.v v24
 113 ; CHECK-NEXT:    vand.vi v26, v24, 1
 114 ; CHECK-NEXT:    vmsne.vi v0, v26, 0
 115 ; CHECK-NEXT:    vsrl.vi v2, v24, 1
 116 ; CHECK-NEXT:    csrr a3, vlenb
 117 ; CHECK-NEXT:    slli a3, a3, 3
 118 ; CHECK-NEXT:    add a3, sp, a3
 119 ; CHECK-NEXT:    addi a3, a3, 16
 120 ; CHECK-NEXT:    vl8r.v v8, (a3) # Unknown-size Folded Reload
 121 ; CHECK-NEXT:    vadd.vx v2, v2, a2, v0.t
 122 ; CHECK-NEXT:    vmv4r.v v12, v16
 123 ; CHECK-NEXT:    vsetvli zero, zero, e64, m8, ta, ma
 124 ; CHECK-NEXT:    vrgatherei16.vv v24, v8, v2
 125 ; CHECK-NEXT:    addi a2, sp, 16
 126 ; CHECK-NEXT:    vs8r.v v24, (a2) # Unknown-size Folded Spill
 127 ; CHECK-NEXT:    csrr a2, vlenb
 128 ; CHECK-NEXT:    slli a2, a2, 3
 129 ; CHECK-NEXT:    add a2, sp, a2
 130 ; CHECK-NEXT:    addi a2, a2, 16
 131 ; CHECK-NEXT:    vl8r.v v8, (a2) # Unknown-size Folded Reload
 132 ; CHECK-NEXT:    vmv4r.v v16, v12
 133 ; CHECK-NEXT:    vrgatherei16.vv v8, v16, v2
 134 ; CHECK-NEXT:    slli a1, a1, 3
 135 ; CHECK-NEXT:    add a1, a0, a1
 136 ; CHECK-NEXT:    vs8r.v v8, (a1)
 137 ; CHECK-NEXT:    addi a1, sp, 16
 138 ; CHECK-NEXT:    vl8r.v v8, (a1) # Unknown-size Folded Reload
 139 ; CHECK-NEXT:    vs8r.v v8, (a0)
 140 ; CHECK-NEXT:    csrr a0, vlenb
 141 ; CHECK-NEXT:    slli a0, a0, 4
 142 ; CHECK-NEXT:    add sp, sp, a0
 143 ; CHECK-NEXT:    addi sp, sp, 16
 144 ; CHECK-NEXT:    ret
 145   %res = call <vscale x 16 x i64> @llvm.experimental.vector.interleave2.nxv16i64(<vscale x 8 x i64> %a, <vscale x 8 x i64> %b)
 146   store <vscale x 16 x i64> %res, ptr %p
 147   ret void
 148 }
 149
 150 declare <vscale x 32 x i1> @llvm.experimental.vector.interleave2.nxv32i1(<vscale x 16 x i1>, <vscale x 16 x i1>)
 151 declare <vscale x 16 x i16> @llvm.experimental.vector.interleave2.nxv16i16(<vscale x 8 x i16>, <vscale x 8 x i16>)
 152 declare <vscale x 8 x i32> @llvm.experimental.vector.interleave2.nxv8i32(<vscale x 4 x i32>, <vscale x 4 x i32>)
 153 declare <vscale x 4 x i64> @llvm.experimental.vector.interleave2.nxv4i64(<vscale x 2 x i64>, <vscale x 2 x i64>)
 154 declare <vscale x 8 x i64> @llvm.experimental.vector.interleave2.nxv8i64(<vscale x 4 x i64>, <vscale x 4 x i64>)
 155 declare <vscale x 16 x i64> @llvm.experimental.vector.interleave2.nxv16i64(<vscale x 8 x i64>, <vscale x 8 x i64>)
 156
 157 ; Floats
 158
 159 define void @vector_interleave_store_nxv4f16_nxv2f16(<vscale x 2 x half> %a, <vscale x 2 x half> %b, ptr %p) {
 160 ; CHECK-LABEL: vector_interleave_store_nxv4f16_nxv2f16:
 161 ; CHECK:       # %bb.0:
 162 ; CHECK-NEXT:    vsetvli a1, zero, e16, mf2, ta, ma
 163 ; CHECK-NEXT:    vsseg2e16.v v8, (a0)
 164 ; CHECK-NEXT:    ret
 165   %res = call <vscale x 4 x half> @llvm.experimental.vector.interleave2.nxv4f16(<vscale x 2 x half> %a, <vscale x 2 x half> %b)
 166   store <vscale x 4 x half> %res, ptr %p
 167   ret void
 168 }
 169
 170 define void @vector_interleave_store_nxv8f16_nxv4f16(<vscale x 4 x half> %a, <vscale x 4 x half> %b, ptr %p) {
 171 ; CHECK-LABEL: vector_interleave_store_nxv8f16_nxv4f16:
 172 ; CHECK:       # %bb.0:
 173 ; CHECK-NEXT:    vsetvli a1, zero, e16, m1, ta, ma
 174 ; CHECK-NEXT:    vsseg2e16.v v8, (a0)
 175 ; CHECK-NEXT:    ret
 176   %res = call <vscale x 8 x half> @llvm.experimental.vector.interleave2.nxv8f16(<vscale x 4 x half> %a, <vscale x 4 x half> %b)
 177   store <vscale x 8 x half> %res, ptr %p
 178   ret void
 179 }
 180
 181 define void @vector_interleave_store_nxv4f32_nxv2f32(<vscale x 2 x float> %a, <vscale x 2 x float> %b, ptr %p) {
 182 ; CHECK-LABEL: vector_interleave_store_nxv4f32_nxv2f32:
 183 ; CHECK:       # %bb.0:
 184 ; CHECK-NEXT:    vsetvli a1, zero, e32, m1, ta, ma
 185 ; CHECK-NEXT:    vsseg2e32.v v8, (a0)
 186 ; CHECK-NEXT:    ret
 187   %res = call <vscale x 4 x float> @llvm.experimental.vector.interleave2.nxv4f32(<vscale x 2 x float> %a, <vscale x 2 x float> %b)
 188   store <vscale x 4 x float> %res, ptr %p
 189   ret void
 190 }
 191
 192 define void @vector_interleave_store_nxv16f16_nxv8f16(<vscale x 8 x half> %a, <vscale x 8 x half> %b, ptr %p) {
 193 ; CHECK-LABEL: vector_interleave_store_nxv16f16_nxv8f16:
 194 ; CHECK:       # %bb.0:
 195 ; CHECK-NEXT:    vsetvli a1, zero, e16, m2, ta, ma
 196 ; CHECK-NEXT:    vsseg2e16.v v8, (a0)
 197 ; CHECK-NEXT:    ret
 198   %res = call <vscale x 16 x half> @llvm.experimental.vector.interleave2.nxv16f16(<vscale x 8 x half> %a, <vscale x 8 x half> %b)
 199   store <vscale x 16 x half> %res, ptr %p
 200   ret void
 201 }
 202
 203 define void @vector_interleave_store_nxv8f32_nxv4f32(<vscale x 4 x float> %a, <vscale x 4 x float> %b, ptr %p) {
 204 ; CHECK-LABEL: vector_interleave_store_nxv8f32_nxv4f32:
 205 ; CHECK:       # %bb.0:
 206 ; CHECK-NEXT:    vsetvli a1, zero, e32, m2, ta, ma
 207 ; CHECK-NEXT:    vsseg2e32.v v8, (a0)
 208 ; CHECK-NEXT:    ret
 209   %res = call <vscale x 8 x float> @llvm.experimental.vector.interleave2.nxv8f32(<vscale x 4 x float> %a, <vscale x 4 x float> %b)
 210   store <vscale x 8 x float> %res, ptr %p
 211   ret void
 212 }
 213
 214 define void @vector_interleave_store_nxv4f64_nxv2f64(<vscale x 2 x double> %a, <vscale x 2 x double> %b, ptr %p) {
 215 ; CHECK-LABEL: vector_interleave_store_nxv4f64_nxv2f64:
 216 ; CHECK:       # %bb.0:
 217 ; CHECK-NEXT:    vsetvli a1, zero, e64, m2, ta, ma
 218 ; CHECK-NEXT:    vsseg2e64.v v8, (a0)
 219 ; CHECK-NEXT:    ret
 220   %res = call <vscale x 4 x double> @llvm.experimental.vector.interleave2.nxv4f64(<vscale x 2 x double> %a, <vscale x 2 x double> %b)
 221   store <vscale x 4 x double> %res, ptr %p
 222   ret void
 223 }
 224
 225
 226 declare <vscale x 4 x half> @llvm.experimental.vector.interleave2.nxv4f16(<vscale x 2 x half>, <vscale x 2 x half>)
 227 declare <vscale x 8 x half> @llvm.experimental.vector.interleave2.nxv8f16(<vscale x 4 x half>, <vscale x 4 x half>)
 228 declare <vscale x 4 x float> @llvm.experimental.vector.interleave2.nxv4f32(<vscale x 2 x float>, <vscale x 2 x float>)
 229 declare <vscale x 16 x half> @llvm.experimental.vector.interleave2.nxv16f16(<vscale x 8 x half>, <vscale x 8 x half>)
 230 declare <vscale x 8 x float> @llvm.experimental.vector.interleave2.nxv8f32(<vscale x 4 x float>, <vscale x 4 x float>)
 231 declare <vscale x 4 x double> @llvm.experimental.vector.interleave2.nxv4f64(<vscale x 2 x double>, <vscale x 2 x double>)