llvm/test/CodeGen/RISCV/rvv/vreductions-int-vp.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=riscv32 -mattr=+v -verify-machineinstrs < %s \
   3 ; RUN:   | FileCheck %s --check-prefixes=CHECK,RV32
   4 ; RUN: llc -mtriple=riscv64 -mattr=+v -verify-machineinstrs < %s \
   5 ; RUN:   | FileCheck %s --check-prefixes=CHECK,RV64
   6
   7 declare i8 @llvm.vp.reduce.add.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
   8
   9 define signext i8 @vpreduce_add_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  10 ; CHECK-LABEL: vpreduce_add_nxv1i8:
  11 ; CHECK:       # %bb.0:
  12 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  13 ; CHECK-NEXT:    vmv.s.x v9, a0
  14 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  15 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
  16 ; CHECK-NEXT:    vmv.x.s a0, v9
  17 ; CHECK-NEXT:    ret
  18   %r = call i8 @llvm.vp.reduce.add.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  19   ret i8 %r
  20 }
  21
  22 declare i8 @llvm.vp.reduce.umax.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  23
  24 define signext i8 @vpreduce_umax_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  25 ; CHECK-LABEL: vpreduce_umax_nxv1i8:
  26 ; CHECK:       # %bb.0:
  27 ; CHECK-NEXT:    andi a0, a0, 255
  28 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  29 ; CHECK-NEXT:    vmv.s.x v9, a0
  30 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  31 ; CHECK-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
  32 ; CHECK-NEXT:    vmv.x.s a0, v9
  33 ; CHECK-NEXT:    ret
  34   %r = call i8 @llvm.vp.reduce.umax.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  35   ret i8 %r
  36 }
  37
  38 declare i8 @llvm.vp.reduce.smax.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  39
  40 define signext i8 @vpreduce_smax_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  41 ; CHECK-LABEL: vpreduce_smax_nxv1i8:
  42 ; CHECK:       # %bb.0:
  43 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  44 ; CHECK-NEXT:    vmv.s.x v9, a0
  45 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  46 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
  47 ; CHECK-NEXT:    vmv.x.s a0, v9
  48 ; CHECK-NEXT:    ret
  49   %r = call i8 @llvm.vp.reduce.smax.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  50   ret i8 %r
  51 }
  52
  53 declare i8 @llvm.vp.reduce.umin.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  54
  55 define signext i8 @vpreduce_umin_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  56 ; CHECK-LABEL: vpreduce_umin_nxv1i8:
  57 ; CHECK:       # %bb.0:
  58 ; CHECK-NEXT:    andi a0, a0, 255
  59 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  60 ; CHECK-NEXT:    vmv.s.x v9, a0
  61 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  62 ; CHECK-NEXT:    vredminu.vs v9, v8, v9, v0.t
  63 ; CHECK-NEXT:    vmv.x.s a0, v9
  64 ; CHECK-NEXT:    ret
  65   %r = call i8 @llvm.vp.reduce.umin.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  66   ret i8 %r
  67 }
  68
  69 declare i8 @llvm.vp.reduce.smin.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  70
  71 define signext i8 @vpreduce_smin_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  72 ; CHECK-LABEL: vpreduce_smin_nxv1i8:
  73 ; CHECK:       # %bb.0:
  74 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  75 ; CHECK-NEXT:    vmv.s.x v9, a0
  76 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  77 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
  78 ; CHECK-NEXT:    vmv.x.s a0, v9
  79 ; CHECK-NEXT:    ret
  80   %r = call i8 @llvm.vp.reduce.smin.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  81   ret i8 %r
  82 }
  83
  84 declare i8 @llvm.vp.reduce.and.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  85
  86 define signext i8 @vpreduce_and_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  87 ; CHECK-LABEL: vpreduce_and_nxv1i8:
  88 ; CHECK:       # %bb.0:
  89 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
  90 ; CHECK-NEXT:    vmv.s.x v9, a0
  91 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
  92 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
  93 ; CHECK-NEXT:    vmv.x.s a0, v9
  94 ; CHECK-NEXT:    ret
  95   %r = call i8 @llvm.vp.reduce.and.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
  96   ret i8 %r
  97 }
  98
  99 declare i8 @llvm.vp.reduce.or.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
 100
 101 define signext i8 @vpreduce_or_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 102 ; CHECK-LABEL: vpreduce_or_nxv1i8:
 103 ; CHECK:       # %bb.0:
 104 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 105 ; CHECK-NEXT:    vmv.s.x v9, a0
 106 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
 107 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 108 ; CHECK-NEXT:    vmv.x.s a0, v9
 109 ; CHECK-NEXT:    ret
 110   %r = call i8 @llvm.vp.reduce.or.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
 111   ret i8 %r
 112 }
 113
 114 declare i8 @llvm.vp.reduce.xor.nxv1i8(i8, <vscale x 1 x i8>, <vscale x 1 x i1>, i32)
 115
 116 define signext i8 @vpreduce_xor_nxv1i8(i8 signext %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 117 ; CHECK-LABEL: vpreduce_xor_nxv1i8:
 118 ; CHECK:       # %bb.0:
 119 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 120 ; CHECK-NEXT:    vmv.s.x v9, a0
 121 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf8, ta, ma
 122 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 123 ; CHECK-NEXT:    vmv.x.s a0, v9
 124 ; CHECK-NEXT:    ret
 125   %r = call i8 @llvm.vp.reduce.xor.nxv1i8(i8 %s, <vscale x 1 x i8> %v, <vscale x 1 x i1> %m, i32 %evl)
 126   ret i8 %r
 127 }
 128
 129 declare i8 @llvm.vp.reduce.add.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 130
 131 define signext i8 @vpreduce_add_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 132 ; CHECK-LABEL: vpreduce_add_nxv2i8:
 133 ; CHECK:       # %bb.0:
 134 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 135 ; CHECK-NEXT:    vmv.s.x v9, a0
 136 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 137 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 138 ; CHECK-NEXT:    vmv.x.s a0, v9
 139 ; CHECK-NEXT:    ret
 140   %r = call i8 @llvm.vp.reduce.add.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 141   ret i8 %r
 142 }
 143
 144 declare i8 @llvm.vp.reduce.umax.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 145
 146 define signext i8 @vpreduce_umax_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 147 ; CHECK-LABEL: vpreduce_umax_nxv2i8:
 148 ; CHECK:       # %bb.0:
 149 ; CHECK-NEXT:    andi a0, a0, 255
 150 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 151 ; CHECK-NEXT:    vmv.s.x v9, a0
 152 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 153 ; CHECK-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 154 ; CHECK-NEXT:    vmv.x.s a0, v9
 155 ; CHECK-NEXT:    ret
 156   %r = call i8 @llvm.vp.reduce.umax.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 157   ret i8 %r
 158 }
 159
 160 declare i8 @llvm.vp.reduce.smax.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 161
 162 define signext i8 @vpreduce_smax_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 163 ; CHECK-LABEL: vpreduce_smax_nxv2i8:
 164 ; CHECK:       # %bb.0:
 165 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 166 ; CHECK-NEXT:    vmv.s.x v9, a0
 167 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 168 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 169 ; CHECK-NEXT:    vmv.x.s a0, v9
 170 ; CHECK-NEXT:    ret
 171   %r = call i8 @llvm.vp.reduce.smax.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 172   ret i8 %r
 173 }
 174
 175 declare i8 @llvm.vp.reduce.umin.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 176
 177 define signext i8 @vpreduce_umin_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 178 ; CHECK-LABEL: vpreduce_umin_nxv2i8:
 179 ; CHECK:       # %bb.0:
 180 ; CHECK-NEXT:    andi a0, a0, 255
 181 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 182 ; CHECK-NEXT:    vmv.s.x v9, a0
 183 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 184 ; CHECK-NEXT:    vredminu.vs v9, v8, v9, v0.t
 185 ; CHECK-NEXT:    vmv.x.s a0, v9
 186 ; CHECK-NEXT:    ret
 187   %r = call i8 @llvm.vp.reduce.umin.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 188   ret i8 %r
 189 }
 190
 191 declare i8 @llvm.vp.reduce.smin.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 192
 193 define signext i8 @vpreduce_smin_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 194 ; CHECK-LABEL: vpreduce_smin_nxv2i8:
 195 ; CHECK:       # %bb.0:
 196 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 197 ; CHECK-NEXT:    vmv.s.x v9, a0
 198 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 199 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 200 ; CHECK-NEXT:    vmv.x.s a0, v9
 201 ; CHECK-NEXT:    ret
 202   %r = call i8 @llvm.vp.reduce.smin.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 203   ret i8 %r
 204 }
 205
 206 declare i8 @llvm.vp.reduce.and.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 207
 208 define signext i8 @vpreduce_and_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 209 ; CHECK-LABEL: vpreduce_and_nxv2i8:
 210 ; CHECK:       # %bb.0:
 211 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 212 ; CHECK-NEXT:    vmv.s.x v9, a0
 213 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 214 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 215 ; CHECK-NEXT:    vmv.x.s a0, v9
 216 ; CHECK-NEXT:    ret
 217   %r = call i8 @llvm.vp.reduce.and.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 218   ret i8 %r
 219 }
 220
 221 declare i8 @llvm.vp.reduce.or.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 222
 223 define signext i8 @vpreduce_or_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 224 ; CHECK-LABEL: vpreduce_or_nxv2i8:
 225 ; CHECK:       # %bb.0:
 226 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 227 ; CHECK-NEXT:    vmv.s.x v9, a0
 228 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 229 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 230 ; CHECK-NEXT:    vmv.x.s a0, v9
 231 ; CHECK-NEXT:    ret
 232   %r = call i8 @llvm.vp.reduce.or.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 233   ret i8 %r
 234 }
 235
 236 declare i8 @llvm.vp.reduce.xor.nxv2i8(i8, <vscale x 2 x i8>, <vscale x 2 x i1>, i32)
 237
 238 define signext i8 @vpreduce_xor_nxv2i8(i8 signext %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 239 ; CHECK-LABEL: vpreduce_xor_nxv2i8:
 240 ; CHECK:       # %bb.0:
 241 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 242 ; CHECK-NEXT:    vmv.s.x v9, a0
 243 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf4, ta, ma
 244 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 245 ; CHECK-NEXT:    vmv.x.s a0, v9
 246 ; CHECK-NEXT:    ret
 247   %r = call i8 @llvm.vp.reduce.xor.nxv2i8(i8 %s, <vscale x 2 x i8> %v, <vscale x 2 x i1> %m, i32 %evl)
 248   ret i8 %r
 249 }
 250
 251 declare i8 @llvm.vp.reduce.smax.nxv3i8(i8, <vscale x 3 x i8>, <vscale x 3 x i1>, i32)
 252
 253 define signext i8 @vpreduce_smax_nxv3i8(i8 signext %s, <vscale x 3 x i8> %v, <vscale x 3 x i1> %m, i32 zeroext %evl) {
 254 ; CHECK-LABEL: vpreduce_smax_nxv3i8:
 255 ; CHECK:       # %bb.0:
 256 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 257 ; CHECK-NEXT:    vmv.s.x v9, a0
 258 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 259 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 260 ; CHECK-NEXT:    vmv.x.s a0, v9
 261 ; CHECK-NEXT:    ret
 262   %r = call i8 @llvm.vp.reduce.smax.nxv3i8(i8 %s, <vscale x 3 x i8> %v, <vscale x 3 x i1> %m, i32 %evl)
 263   ret i8 %r
 264 }
 265
 266 declare i8 @llvm.vp.reduce.add.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 267
 268 define signext i8 @vpreduce_add_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 269 ; CHECK-LABEL: vpreduce_add_nxv4i8:
 270 ; CHECK:       # %bb.0:
 271 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 272 ; CHECK-NEXT:    vmv.s.x v9, a0
 273 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 274 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 275 ; CHECK-NEXT:    vmv.x.s a0, v9
 276 ; CHECK-NEXT:    ret
 277   %r = call i8 @llvm.vp.reduce.add.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 278   ret i8 %r
 279 }
 280
 281 declare i8 @llvm.vp.reduce.umax.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 282
 283 define signext i8 @vpreduce_umax_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 284 ; CHECK-LABEL: vpreduce_umax_nxv4i8:
 285 ; CHECK:       # %bb.0:
 286 ; CHECK-NEXT:    andi a0, a0, 255
 287 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 288 ; CHECK-NEXT:    vmv.s.x v9, a0
 289 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 290 ; CHECK-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 291 ; CHECK-NEXT:    vmv.x.s a0, v9
 292 ; CHECK-NEXT:    ret
 293   %r = call i8 @llvm.vp.reduce.umax.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 294   ret i8 %r
 295 }
 296
 297 declare i8 @llvm.vp.reduce.smax.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 298
 299 define signext i8 @vpreduce_smax_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 300 ; CHECK-LABEL: vpreduce_smax_nxv4i8:
 301 ; CHECK:       # %bb.0:
 302 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 303 ; CHECK-NEXT:    vmv.s.x v9, a0
 304 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 305 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 306 ; CHECK-NEXT:    vmv.x.s a0, v9
 307 ; CHECK-NEXT:    ret
 308   %r = call i8 @llvm.vp.reduce.smax.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 309   ret i8 %r
 310 }
 311
 312 declare i8 @llvm.vp.reduce.umin.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 313
 314 define signext i8 @vpreduce_umin_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 315 ; CHECK-LABEL: vpreduce_umin_nxv4i8:
 316 ; CHECK:       # %bb.0:
 317 ; CHECK-NEXT:    andi a0, a0, 255
 318 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 319 ; CHECK-NEXT:    vmv.s.x v9, a0
 320 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 321 ; CHECK-NEXT:    vredminu.vs v9, v8, v9, v0.t
 322 ; CHECK-NEXT:    vmv.x.s a0, v9
 323 ; CHECK-NEXT:    ret
 324   %r = call i8 @llvm.vp.reduce.umin.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 325   ret i8 %r
 326 }
 327
 328 declare i8 @llvm.vp.reduce.smin.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 329
 330 define signext i8 @vpreduce_smin_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 331 ; CHECK-LABEL: vpreduce_smin_nxv4i8:
 332 ; CHECK:       # %bb.0:
 333 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 334 ; CHECK-NEXT:    vmv.s.x v9, a0
 335 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 336 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 337 ; CHECK-NEXT:    vmv.x.s a0, v9
 338 ; CHECK-NEXT:    ret
 339   %r = call i8 @llvm.vp.reduce.smin.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 340   ret i8 %r
 341 }
 342
 343 declare i8 @llvm.vp.reduce.and.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 344
 345 define signext i8 @vpreduce_and_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 346 ; CHECK-LABEL: vpreduce_and_nxv4i8:
 347 ; CHECK:       # %bb.0:
 348 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 349 ; CHECK-NEXT:    vmv.s.x v9, a0
 350 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 351 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 352 ; CHECK-NEXT:    vmv.x.s a0, v9
 353 ; CHECK-NEXT:    ret
 354   %r = call i8 @llvm.vp.reduce.and.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 355   ret i8 %r
 356 }
 357
 358 declare i8 @llvm.vp.reduce.or.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 359
 360 define signext i8 @vpreduce_or_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 361 ; CHECK-LABEL: vpreduce_or_nxv4i8:
 362 ; CHECK:       # %bb.0:
 363 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 364 ; CHECK-NEXT:    vmv.s.x v9, a0
 365 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 366 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 367 ; CHECK-NEXT:    vmv.x.s a0, v9
 368 ; CHECK-NEXT:    ret
 369   %r = call i8 @llvm.vp.reduce.or.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 370   ret i8 %r
 371 }
 372
 373 declare i8 @llvm.vp.reduce.xor.nxv4i8(i8, <vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 374
 375 define signext i8 @vpreduce_xor_nxv4i8(i8 signext %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 376 ; CHECK-LABEL: vpreduce_xor_nxv4i8:
 377 ; CHECK:       # %bb.0:
 378 ; CHECK-NEXT:    vsetivli zero, 1, e8, m1, ta, ma
 379 ; CHECK-NEXT:    vmv.s.x v9, a0
 380 ; CHECK-NEXT:    vsetvli zero, a1, e8, mf2, ta, ma
 381 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 382 ; CHECK-NEXT:    vmv.x.s a0, v9
 383 ; CHECK-NEXT:    ret
 384   %r = call i8 @llvm.vp.reduce.xor.nxv4i8(i8 %s, <vscale x 4 x i8> %v, <vscale x 4 x i1> %m, i32 %evl)
 385   ret i8 %r
 386 }
 387
 388 declare i16 @llvm.vp.reduce.add.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 389
 390 define signext i16 @vpreduce_add_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 391 ; CHECK-LABEL: vpreduce_add_nxv1i16:
 392 ; CHECK:       # %bb.0:
 393 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 394 ; CHECK-NEXT:    vmv.s.x v9, a0
 395 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 396 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 397 ; CHECK-NEXT:    vmv.x.s a0, v9
 398 ; CHECK-NEXT:    ret
 399   %r = call i16 @llvm.vp.reduce.add.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 400   ret i16 %r
 401 }
 402
 403 declare i16 @llvm.vp.reduce.umax.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 404
 405 define signext i16 @vpreduce_umax_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 406 ; RV32-LABEL: vpreduce_umax_nxv1i16:
 407 ; RV32:       # %bb.0:
 408 ; RV32-NEXT:    slli a0, a0, 16
 409 ; RV32-NEXT:    srli a0, a0, 16
 410 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 411 ; RV32-NEXT:    vmv.s.x v9, a0
 412 ; RV32-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 413 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 414 ; RV32-NEXT:    vmv.x.s a0, v9
 415 ; RV32-NEXT:    ret
 416 ;
 417 ; RV64-LABEL: vpreduce_umax_nxv1i16:
 418 ; RV64:       # %bb.0:
 419 ; RV64-NEXT:    slli a0, a0, 48
 420 ; RV64-NEXT:    srli a0, a0, 48
 421 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 422 ; RV64-NEXT:    vmv.s.x v9, a0
 423 ; RV64-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 424 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 425 ; RV64-NEXT:    vmv.x.s a0, v9
 426 ; RV64-NEXT:    ret
 427   %r = call i16 @llvm.vp.reduce.umax.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 428   ret i16 %r
 429 }
 430
 431 declare i16 @llvm.vp.reduce.smax.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 432
 433 define signext i16 @vpreduce_smax_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 434 ; CHECK-LABEL: vpreduce_smax_nxv1i16:
 435 ; CHECK:       # %bb.0:
 436 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 437 ; CHECK-NEXT:    vmv.s.x v9, a0
 438 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 439 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 440 ; CHECK-NEXT:    vmv.x.s a0, v9
 441 ; CHECK-NEXT:    ret
 442   %r = call i16 @llvm.vp.reduce.smax.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 443   ret i16 %r
 444 }
 445
 446 declare i16 @llvm.vp.reduce.umin.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 447
 448 define signext i16 @vpreduce_umin_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 449 ; RV32-LABEL: vpreduce_umin_nxv1i16:
 450 ; RV32:       # %bb.0:
 451 ; RV32-NEXT:    slli a0, a0, 16
 452 ; RV32-NEXT:    srli a0, a0, 16
 453 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 454 ; RV32-NEXT:    vmv.s.x v9, a0
 455 ; RV32-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 456 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
 457 ; RV32-NEXT:    vmv.x.s a0, v9
 458 ; RV32-NEXT:    ret
 459 ;
 460 ; RV64-LABEL: vpreduce_umin_nxv1i16:
 461 ; RV64:       # %bb.0:
 462 ; RV64-NEXT:    slli a0, a0, 48
 463 ; RV64-NEXT:    srli a0, a0, 48
 464 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 465 ; RV64-NEXT:    vmv.s.x v9, a0
 466 ; RV64-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 467 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
 468 ; RV64-NEXT:    vmv.x.s a0, v9
 469 ; RV64-NEXT:    ret
 470   %r = call i16 @llvm.vp.reduce.umin.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 471   ret i16 %r
 472 }
 473
 474 declare i16 @llvm.vp.reduce.smin.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 475
 476 define signext i16 @vpreduce_smin_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 477 ; CHECK-LABEL: vpreduce_smin_nxv1i16:
 478 ; CHECK:       # %bb.0:
 479 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 480 ; CHECK-NEXT:    vmv.s.x v9, a0
 481 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 482 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 483 ; CHECK-NEXT:    vmv.x.s a0, v9
 484 ; CHECK-NEXT:    ret
 485   %r = call i16 @llvm.vp.reduce.smin.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 486   ret i16 %r
 487 }
 488
 489 declare i16 @llvm.vp.reduce.and.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 490
 491 define signext i16 @vpreduce_and_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 492 ; CHECK-LABEL: vpreduce_and_nxv1i16:
 493 ; CHECK:       # %bb.0:
 494 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 495 ; CHECK-NEXT:    vmv.s.x v9, a0
 496 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 497 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 498 ; CHECK-NEXT:    vmv.x.s a0, v9
 499 ; CHECK-NEXT:    ret
 500   %r = call i16 @llvm.vp.reduce.and.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 501   ret i16 %r
 502 }
 503
 504 declare i16 @llvm.vp.reduce.or.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 505
 506 define signext i16 @vpreduce_or_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 507 ; CHECK-LABEL: vpreduce_or_nxv1i16:
 508 ; CHECK:       # %bb.0:
 509 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 510 ; CHECK-NEXT:    vmv.s.x v9, a0
 511 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 512 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 513 ; CHECK-NEXT:    vmv.x.s a0, v9
 514 ; CHECK-NEXT:    ret
 515   %r = call i16 @llvm.vp.reduce.or.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 516   ret i16 %r
 517 }
 518
 519 declare i16 @llvm.vp.reduce.xor.nxv1i16(i16, <vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 520
 521 define signext i16 @vpreduce_xor_nxv1i16(i16 signext %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 522 ; CHECK-LABEL: vpreduce_xor_nxv1i16:
 523 ; CHECK:       # %bb.0:
 524 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 525 ; CHECK-NEXT:    vmv.s.x v9, a0
 526 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf4, ta, ma
 527 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 528 ; CHECK-NEXT:    vmv.x.s a0, v9
 529 ; CHECK-NEXT:    ret
 530   %r = call i16 @llvm.vp.reduce.xor.nxv1i16(i16 %s, <vscale x 1 x i16> %v, <vscale x 1 x i1> %m, i32 %evl)
 531   ret i16 %r
 532 }
 533
 534 declare i16 @llvm.vp.reduce.add.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 535
 536 define signext i16 @vpreduce_add_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 537 ; CHECK-LABEL: vpreduce_add_nxv2i16:
 538 ; CHECK:       # %bb.0:
 539 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 540 ; CHECK-NEXT:    vmv.s.x v9, a0
 541 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 542 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 543 ; CHECK-NEXT:    vmv.x.s a0, v9
 544 ; CHECK-NEXT:    ret
 545   %r = call i16 @llvm.vp.reduce.add.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 546   ret i16 %r
 547 }
 548
 549 declare i16 @llvm.vp.reduce.umax.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 550
 551 define signext i16 @vpreduce_umax_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 552 ; RV32-LABEL: vpreduce_umax_nxv2i16:
 553 ; RV32:       # %bb.0:
 554 ; RV32-NEXT:    slli a0, a0, 16
 555 ; RV32-NEXT:    srli a0, a0, 16
 556 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 557 ; RV32-NEXT:    vmv.s.x v9, a0
 558 ; RV32-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 559 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 560 ; RV32-NEXT:    vmv.x.s a0, v9
 561 ; RV32-NEXT:    ret
 562 ;
 563 ; RV64-LABEL: vpreduce_umax_nxv2i16:
 564 ; RV64:       # %bb.0:
 565 ; RV64-NEXT:    slli a0, a0, 48
 566 ; RV64-NEXT:    srli a0, a0, 48
 567 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 568 ; RV64-NEXT:    vmv.s.x v9, a0
 569 ; RV64-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 570 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 571 ; RV64-NEXT:    vmv.x.s a0, v9
 572 ; RV64-NEXT:    ret
 573   %r = call i16 @llvm.vp.reduce.umax.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 574   ret i16 %r
 575 }
 576
 577 declare i16 @llvm.vp.reduce.smax.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 578
 579 define signext i16 @vpreduce_smax_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 580 ; CHECK-LABEL: vpreduce_smax_nxv2i16:
 581 ; CHECK:       # %bb.0:
 582 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 583 ; CHECK-NEXT:    vmv.s.x v9, a0
 584 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 585 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 586 ; CHECK-NEXT:    vmv.x.s a0, v9
 587 ; CHECK-NEXT:    ret
 588   %r = call i16 @llvm.vp.reduce.smax.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 589   ret i16 %r
 590 }
 591
 592 declare i16 @llvm.vp.reduce.umin.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 593
 594 define signext i16 @vpreduce_umin_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 595 ; RV32-LABEL: vpreduce_umin_nxv2i16:
 596 ; RV32:       # %bb.0:
 597 ; RV32-NEXT:    slli a0, a0, 16
 598 ; RV32-NEXT:    srli a0, a0, 16
 599 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 600 ; RV32-NEXT:    vmv.s.x v9, a0
 601 ; RV32-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 602 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
 603 ; RV32-NEXT:    vmv.x.s a0, v9
 604 ; RV32-NEXT:    ret
 605 ;
 606 ; RV64-LABEL: vpreduce_umin_nxv2i16:
 607 ; RV64:       # %bb.0:
 608 ; RV64-NEXT:    slli a0, a0, 48
 609 ; RV64-NEXT:    srli a0, a0, 48
 610 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 611 ; RV64-NEXT:    vmv.s.x v9, a0
 612 ; RV64-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 613 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
 614 ; RV64-NEXT:    vmv.x.s a0, v9
 615 ; RV64-NEXT:    ret
 616   %r = call i16 @llvm.vp.reduce.umin.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 617   ret i16 %r
 618 }
 619
 620 declare i16 @llvm.vp.reduce.smin.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 621
 622 define signext i16 @vpreduce_smin_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 623 ; CHECK-LABEL: vpreduce_smin_nxv2i16:
 624 ; CHECK:       # %bb.0:
 625 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 626 ; CHECK-NEXT:    vmv.s.x v9, a0
 627 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 628 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 629 ; CHECK-NEXT:    vmv.x.s a0, v9
 630 ; CHECK-NEXT:    ret
 631   %r = call i16 @llvm.vp.reduce.smin.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 632   ret i16 %r
 633 }
 634
 635 declare i16 @llvm.vp.reduce.and.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 636
 637 define signext i16 @vpreduce_and_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 638 ; CHECK-LABEL: vpreduce_and_nxv2i16:
 639 ; CHECK:       # %bb.0:
 640 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 641 ; CHECK-NEXT:    vmv.s.x v9, a0
 642 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 643 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 644 ; CHECK-NEXT:    vmv.x.s a0, v9
 645 ; CHECK-NEXT:    ret
 646   %r = call i16 @llvm.vp.reduce.and.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 647   ret i16 %r
 648 }
 649
 650 declare i16 @llvm.vp.reduce.or.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 651
 652 define signext i16 @vpreduce_or_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 653 ; CHECK-LABEL: vpreduce_or_nxv2i16:
 654 ; CHECK:       # %bb.0:
 655 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 656 ; CHECK-NEXT:    vmv.s.x v9, a0
 657 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 658 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 659 ; CHECK-NEXT:    vmv.x.s a0, v9
 660 ; CHECK-NEXT:    ret
 661   %r = call i16 @llvm.vp.reduce.or.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 662   ret i16 %r
 663 }
 664
 665 declare i16 @llvm.vp.reduce.xor.nxv2i16(i16, <vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 666
 667 define signext i16 @vpreduce_xor_nxv2i16(i16 signext %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 668 ; CHECK-LABEL: vpreduce_xor_nxv2i16:
 669 ; CHECK:       # %bb.0:
 670 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 671 ; CHECK-NEXT:    vmv.s.x v9, a0
 672 ; CHECK-NEXT:    vsetvli zero, a1, e16, mf2, ta, ma
 673 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 674 ; CHECK-NEXT:    vmv.x.s a0, v9
 675 ; CHECK-NEXT:    ret
 676   %r = call i16 @llvm.vp.reduce.xor.nxv2i16(i16 %s, <vscale x 2 x i16> %v, <vscale x 2 x i1> %m, i32 %evl)
 677   ret i16 %r
 678 }
 679
 680 declare i16 @llvm.vp.reduce.add.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 681
 682 define signext i16 @vpreduce_add_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 683 ; CHECK-LABEL: vpreduce_add_nxv4i16:
 684 ; CHECK:       # %bb.0:
 685 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 686 ; CHECK-NEXT:    vmv.s.x v9, a0
 687 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 688 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 689 ; CHECK-NEXT:    vmv.x.s a0, v9
 690 ; CHECK-NEXT:    ret
 691   %r = call i16 @llvm.vp.reduce.add.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 692   ret i16 %r
 693 }
 694
 695 declare i16 @llvm.vp.reduce.umax.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 696
 697 define signext i16 @vpreduce_umax_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 698 ; RV32-LABEL: vpreduce_umax_nxv4i16:
 699 ; RV32:       # %bb.0:
 700 ; RV32-NEXT:    slli a0, a0, 16
 701 ; RV32-NEXT:    srli a0, a0, 16
 702 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 703 ; RV32-NEXT:    vmv.s.x v9, a0
 704 ; RV32-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 705 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 706 ; RV32-NEXT:    vmv.x.s a0, v9
 707 ; RV32-NEXT:    ret
 708 ;
 709 ; RV64-LABEL: vpreduce_umax_nxv4i16:
 710 ; RV64:       # %bb.0:
 711 ; RV64-NEXT:    slli a0, a0, 48
 712 ; RV64-NEXT:    srli a0, a0, 48
 713 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 714 ; RV64-NEXT:    vmv.s.x v9, a0
 715 ; RV64-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 716 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 717 ; RV64-NEXT:    vmv.x.s a0, v9
 718 ; RV64-NEXT:    ret
 719   %r = call i16 @llvm.vp.reduce.umax.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 720   ret i16 %r
 721 }
 722
 723 declare i16 @llvm.vp.reduce.smax.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 724
 725 define signext i16 @vpreduce_smax_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 726 ; CHECK-LABEL: vpreduce_smax_nxv4i16:
 727 ; CHECK:       # %bb.0:
 728 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 729 ; CHECK-NEXT:    vmv.s.x v9, a0
 730 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 731 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 732 ; CHECK-NEXT:    vmv.x.s a0, v9
 733 ; CHECK-NEXT:    ret
 734   %r = call i16 @llvm.vp.reduce.smax.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 735   ret i16 %r
 736 }
 737
 738 declare i16 @llvm.vp.reduce.umin.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 739
 740 define signext i16 @vpreduce_umin_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 741 ; RV32-LABEL: vpreduce_umin_nxv4i16:
 742 ; RV32:       # %bb.0:
 743 ; RV32-NEXT:    slli a0, a0, 16
 744 ; RV32-NEXT:    srli a0, a0, 16
 745 ; RV32-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 746 ; RV32-NEXT:    vmv.s.x v9, a0
 747 ; RV32-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 748 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
 749 ; RV32-NEXT:    vmv.x.s a0, v9
 750 ; RV32-NEXT:    ret
 751 ;
 752 ; RV64-LABEL: vpreduce_umin_nxv4i16:
 753 ; RV64:       # %bb.0:
 754 ; RV64-NEXT:    slli a0, a0, 48
 755 ; RV64-NEXT:    srli a0, a0, 48
 756 ; RV64-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 757 ; RV64-NEXT:    vmv.s.x v9, a0
 758 ; RV64-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 759 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
 760 ; RV64-NEXT:    vmv.x.s a0, v9
 761 ; RV64-NEXT:    ret
 762   %r = call i16 @llvm.vp.reduce.umin.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 763   ret i16 %r
 764 }
 765
 766 declare i16 @llvm.vp.reduce.smin.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 767
 768 define signext i16 @vpreduce_smin_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 769 ; CHECK-LABEL: vpreduce_smin_nxv4i16:
 770 ; CHECK:       # %bb.0:
 771 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 772 ; CHECK-NEXT:    vmv.s.x v9, a0
 773 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 774 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 775 ; CHECK-NEXT:    vmv.x.s a0, v9
 776 ; CHECK-NEXT:    ret
 777   %r = call i16 @llvm.vp.reduce.smin.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 778   ret i16 %r
 779 }
 780
 781 declare i16 @llvm.vp.reduce.and.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 782
 783 define signext i16 @vpreduce_and_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 784 ; CHECK-LABEL: vpreduce_and_nxv4i16:
 785 ; CHECK:       # %bb.0:
 786 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 787 ; CHECK-NEXT:    vmv.s.x v9, a0
 788 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 789 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 790 ; CHECK-NEXT:    vmv.x.s a0, v9
 791 ; CHECK-NEXT:    ret
 792   %r = call i16 @llvm.vp.reduce.and.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 793   ret i16 %r
 794 }
 795
 796 declare i16 @llvm.vp.reduce.or.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 797
 798 define signext i16 @vpreduce_or_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 799 ; CHECK-LABEL: vpreduce_or_nxv4i16:
 800 ; CHECK:       # %bb.0:
 801 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 802 ; CHECK-NEXT:    vmv.s.x v9, a0
 803 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 804 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 805 ; CHECK-NEXT:    vmv.x.s a0, v9
 806 ; CHECK-NEXT:    ret
 807   %r = call i16 @llvm.vp.reduce.or.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 808   ret i16 %r
 809 }
 810
 811 declare i16 @llvm.vp.reduce.xor.nxv4i16(i16, <vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 812
 813 define signext i16 @vpreduce_xor_nxv4i16(i16 signext %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 814 ; CHECK-LABEL: vpreduce_xor_nxv4i16:
 815 ; CHECK:       # %bb.0:
 816 ; CHECK-NEXT:    vsetivli zero, 1, e16, m1, ta, ma
 817 ; CHECK-NEXT:    vmv.s.x v9, a0
 818 ; CHECK-NEXT:    vsetvli zero, a1, e16, m1, ta, ma
 819 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 820 ; CHECK-NEXT:    vmv.x.s a0, v9
 821 ; CHECK-NEXT:    ret
 822   %r = call i16 @llvm.vp.reduce.xor.nxv4i16(i16 %s, <vscale x 4 x i16> %v, <vscale x 4 x i1> %m, i32 %evl)
 823   ret i16 %r
 824 }
 825
 826 declare i32 @llvm.vp.reduce.add.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 827
 828 define signext i32 @vpreduce_add_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 829 ; CHECK-LABEL: vpreduce_add_nxv1i32:
 830 ; CHECK:       # %bb.0:
 831 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 832 ; CHECK-NEXT:    vmv.s.x v9, a0
 833 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 834 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 835 ; CHECK-NEXT:    vmv.x.s a0, v9
 836 ; CHECK-NEXT:    ret
 837   %r = call i32 @llvm.vp.reduce.add.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 838   ret i32 %r
 839 }
 840
 841 declare i32 @llvm.vp.reduce.umax.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 842
 843 define signext i32 @vpreduce_umax_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 844 ; RV32-LABEL: vpreduce_umax_nxv1i32:
 845 ; RV32:       # %bb.0:
 846 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 847 ; RV32-NEXT:    vmv.s.x v9, a0
 848 ; RV32-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 849 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 850 ; RV32-NEXT:    vmv.x.s a0, v9
 851 ; RV32-NEXT:    ret
 852 ;
 853 ; RV64-LABEL: vpreduce_umax_nxv1i32:
 854 ; RV64:       # %bb.0:
 855 ; RV64-NEXT:    andi a0, a0, -1
 856 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 857 ; RV64-NEXT:    vmv.s.x v9, a0
 858 ; RV64-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 859 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 860 ; RV64-NEXT:    vmv.x.s a0, v9
 861 ; RV64-NEXT:    ret
 862   %r = call i32 @llvm.vp.reduce.umax.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 863   ret i32 %r
 864 }
 865
 866 declare i32 @llvm.vp.reduce.smax.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 867
 868 define signext i32 @vpreduce_smax_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 869 ; CHECK-LABEL: vpreduce_smax_nxv1i32:
 870 ; CHECK:       # %bb.0:
 871 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 872 ; CHECK-NEXT:    vmv.s.x v9, a0
 873 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 874 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
 875 ; CHECK-NEXT:    vmv.x.s a0, v9
 876 ; CHECK-NEXT:    ret
 877   %r = call i32 @llvm.vp.reduce.smax.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 878   ret i32 %r
 879 }
 880
 881 declare i32 @llvm.vp.reduce.umin.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 882
 883 define signext i32 @vpreduce_umin_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 884 ; RV32-LABEL: vpreduce_umin_nxv1i32:
 885 ; RV32:       # %bb.0:
 886 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 887 ; RV32-NEXT:    vmv.s.x v9, a0
 888 ; RV32-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 889 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
 890 ; RV32-NEXT:    vmv.x.s a0, v9
 891 ; RV32-NEXT:    ret
 892 ;
 893 ; RV64-LABEL: vpreduce_umin_nxv1i32:
 894 ; RV64:       # %bb.0:
 895 ; RV64-NEXT:    andi a0, a0, -1
 896 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 897 ; RV64-NEXT:    vmv.s.x v9, a0
 898 ; RV64-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 899 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
 900 ; RV64-NEXT:    vmv.x.s a0, v9
 901 ; RV64-NEXT:    ret
 902   %r = call i32 @llvm.vp.reduce.umin.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 903   ret i32 %r
 904 }
 905
 906 declare i32 @llvm.vp.reduce.smin.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 907
 908 define signext i32 @vpreduce_smin_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 909 ; CHECK-LABEL: vpreduce_smin_nxv1i32:
 910 ; CHECK:       # %bb.0:
 911 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 912 ; CHECK-NEXT:    vmv.s.x v9, a0
 913 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 914 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
 915 ; CHECK-NEXT:    vmv.x.s a0, v9
 916 ; CHECK-NEXT:    ret
 917   %r = call i32 @llvm.vp.reduce.smin.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 918   ret i32 %r
 919 }
 920
 921 declare i32 @llvm.vp.reduce.and.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 922
 923 define signext i32 @vpreduce_and_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 924 ; CHECK-LABEL: vpreduce_and_nxv1i32:
 925 ; CHECK:       # %bb.0:
 926 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 927 ; CHECK-NEXT:    vmv.s.x v9, a0
 928 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 929 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
 930 ; CHECK-NEXT:    vmv.x.s a0, v9
 931 ; CHECK-NEXT:    ret
 932   %r = call i32 @llvm.vp.reduce.and.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 933   ret i32 %r
 934 }
 935
 936 declare i32 @llvm.vp.reduce.or.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 937
 938 define signext i32 @vpreduce_or_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 939 ; CHECK-LABEL: vpreduce_or_nxv1i32:
 940 ; CHECK:       # %bb.0:
 941 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 942 ; CHECK-NEXT:    vmv.s.x v9, a0
 943 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 944 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
 945 ; CHECK-NEXT:    vmv.x.s a0, v9
 946 ; CHECK-NEXT:    ret
 947   %r = call i32 @llvm.vp.reduce.or.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 948   ret i32 %r
 949 }
 950
 951 declare i32 @llvm.vp.reduce.xor.nxv1i32(i32, <vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 952
 953 define signext i32 @vpreduce_xor_nxv1i32(i32 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 954 ; CHECK-LABEL: vpreduce_xor_nxv1i32:
 955 ; CHECK:       # %bb.0:
 956 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 957 ; CHECK-NEXT:    vmv.s.x v9, a0
 958 ; CHECK-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
 959 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
 960 ; CHECK-NEXT:    vmv.x.s a0, v9
 961 ; CHECK-NEXT:    ret
 962   %r = call i32 @llvm.vp.reduce.xor.nxv1i32(i32 %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 %evl)
 963   ret i32 %r
 964 }
 965
 966 declare i32 @llvm.vp.reduce.add.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
 967
 968 define signext i32 @vpreduce_add_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 969 ; CHECK-LABEL: vpreduce_add_nxv2i32:
 970 ; CHECK:       # %bb.0:
 971 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 972 ; CHECK-NEXT:    vmv.s.x v9, a0
 973 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
 974 ; CHECK-NEXT:    vredsum.vs v9, v8, v9, v0.t
 975 ; CHECK-NEXT:    vmv.x.s a0, v9
 976 ; CHECK-NEXT:    ret
 977   %r = call i32 @llvm.vp.reduce.add.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
 978   ret i32 %r
 979 }
 980
 981 declare i32 @llvm.vp.reduce.umax.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
 982
 983 define signext i32 @vpreduce_umax_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 984 ; RV32-LABEL: vpreduce_umax_nxv2i32:
 985 ; RV32:       # %bb.0:
 986 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 987 ; RV32-NEXT:    vmv.s.x v9, a0
 988 ; RV32-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
 989 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
 990 ; RV32-NEXT:    vmv.x.s a0, v9
 991 ; RV32-NEXT:    ret
 992 ;
 993 ; RV64-LABEL: vpreduce_umax_nxv2i32:
 994 ; RV64:       # %bb.0:
 995 ; RV64-NEXT:    andi a0, a0, -1
 996 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
 997 ; RV64-NEXT:    vmv.s.x v9, a0
 998 ; RV64-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
 999 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
1000 ; RV64-NEXT:    vmv.x.s a0, v9
1001 ; RV64-NEXT:    ret
1002   %r = call i32 @llvm.vp.reduce.umax.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1003   ret i32 %r
1004 }
1005
1006 declare i32 @llvm.vp.reduce.smax.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1007
1008 define signext i32 @vpreduce_smax_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1009 ; CHECK-LABEL: vpreduce_smax_nxv2i32:
1010 ; CHECK:       # %bb.0:
1011 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1012 ; CHECK-NEXT:    vmv.s.x v9, a0
1013 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1014 ; CHECK-NEXT:    vredmax.vs v9, v8, v9, v0.t
1015 ; CHECK-NEXT:    vmv.x.s a0, v9
1016 ; CHECK-NEXT:    ret
1017   %r = call i32 @llvm.vp.reduce.smax.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1018   ret i32 %r
1019 }
1020
1021 declare i32 @llvm.vp.reduce.umin.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1022
1023 define signext i32 @vpreduce_umin_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1024 ; RV32-LABEL: vpreduce_umin_nxv2i32:
1025 ; RV32:       # %bb.0:
1026 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1027 ; RV32-NEXT:    vmv.s.x v9, a0
1028 ; RV32-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1029 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
1030 ; RV32-NEXT:    vmv.x.s a0, v9
1031 ; RV32-NEXT:    ret
1032 ;
1033 ; RV64-LABEL: vpreduce_umin_nxv2i32:
1034 ; RV64:       # %bb.0:
1035 ; RV64-NEXT:    andi a0, a0, -1
1036 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1037 ; RV64-NEXT:    vmv.s.x v9, a0
1038 ; RV64-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1039 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
1040 ; RV64-NEXT:    vmv.x.s a0, v9
1041 ; RV64-NEXT:    ret
1042   %r = call i32 @llvm.vp.reduce.umin.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1043   ret i32 %r
1044 }
1045
1046 declare i32 @llvm.vp.reduce.smin.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1047
1048 define signext i32 @vpreduce_smin_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1049 ; CHECK-LABEL: vpreduce_smin_nxv2i32:
1050 ; CHECK:       # %bb.0:
1051 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1052 ; CHECK-NEXT:    vmv.s.x v9, a0
1053 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1054 ; CHECK-NEXT:    vredmin.vs v9, v8, v9, v0.t
1055 ; CHECK-NEXT:    vmv.x.s a0, v9
1056 ; CHECK-NEXT:    ret
1057   %r = call i32 @llvm.vp.reduce.smin.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1058   ret i32 %r
1059 }
1060
1061 declare i32 @llvm.vp.reduce.and.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1062
1063 define signext i32 @vpreduce_and_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1064 ; CHECK-LABEL: vpreduce_and_nxv2i32:
1065 ; CHECK:       # %bb.0:
1066 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1067 ; CHECK-NEXT:    vmv.s.x v9, a0
1068 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1069 ; CHECK-NEXT:    vredand.vs v9, v8, v9, v0.t
1070 ; CHECK-NEXT:    vmv.x.s a0, v9
1071 ; CHECK-NEXT:    ret
1072   %r = call i32 @llvm.vp.reduce.and.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1073   ret i32 %r
1074 }
1075
1076 declare i32 @llvm.vp.reduce.or.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1077
1078 define signext i32 @vpreduce_or_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1079 ; CHECK-LABEL: vpreduce_or_nxv2i32:
1080 ; CHECK:       # %bb.0:
1081 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1082 ; CHECK-NEXT:    vmv.s.x v9, a0
1083 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1084 ; CHECK-NEXT:    vredor.vs v9, v8, v9, v0.t
1085 ; CHECK-NEXT:    vmv.x.s a0, v9
1086 ; CHECK-NEXT:    ret
1087   %r = call i32 @llvm.vp.reduce.or.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1088   ret i32 %r
1089 }
1090
1091 declare i32 @llvm.vp.reduce.xor.nxv2i32(i32, <vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1092
1093 define signext i32 @vpreduce_xor_nxv2i32(i32 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1094 ; CHECK-LABEL: vpreduce_xor_nxv2i32:
1095 ; CHECK:       # %bb.0:
1096 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1097 ; CHECK-NEXT:    vmv.s.x v9, a0
1098 ; CHECK-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1099 ; CHECK-NEXT:    vredxor.vs v9, v8, v9, v0.t
1100 ; CHECK-NEXT:    vmv.x.s a0, v9
1101 ; CHECK-NEXT:    ret
1102   %r = call i32 @llvm.vp.reduce.xor.nxv2i32(i32 %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 %evl)
1103   ret i32 %r
1104 }
1105
1106 declare i32 @llvm.vp.reduce.add.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1107
1108 define signext i32 @vpreduce_add_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1109 ; CHECK-LABEL: vpreduce_add_nxv4i32:
1110 ; CHECK:       # %bb.0:
1111 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1112 ; CHECK-NEXT:    vmv.s.x v10, a0
1113 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1114 ; CHECK-NEXT:    vredsum.vs v10, v8, v10, v0.t
1115 ; CHECK-NEXT:    vmv.x.s a0, v10
1116 ; CHECK-NEXT:    ret
1117   %r = call i32 @llvm.vp.reduce.add.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1118   ret i32 %r
1119 }
1120
1121 declare i32 @llvm.vp.reduce.umax.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1122
1123 define signext i32 @vpreduce_umax_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1124 ; RV32-LABEL: vpreduce_umax_nxv4i32:
1125 ; RV32:       # %bb.0:
1126 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1127 ; RV32-NEXT:    vmv.s.x v10, a0
1128 ; RV32-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1129 ; RV32-NEXT:    vredmaxu.vs v10, v8, v10, v0.t
1130 ; RV32-NEXT:    vmv.x.s a0, v10
1131 ; RV32-NEXT:    ret
1132 ;
1133 ; RV64-LABEL: vpreduce_umax_nxv4i32:
1134 ; RV64:       # %bb.0:
1135 ; RV64-NEXT:    andi a0, a0, -1
1136 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1137 ; RV64-NEXT:    vmv.s.x v10, a0
1138 ; RV64-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1139 ; RV64-NEXT:    vredmaxu.vs v10, v8, v10, v0.t
1140 ; RV64-NEXT:    vmv.x.s a0, v10
1141 ; RV64-NEXT:    ret
1142   %r = call i32 @llvm.vp.reduce.umax.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1143   ret i32 %r
1144 }
1145
1146 declare i32 @llvm.vp.reduce.umax.nxv32i32(i32, <vscale x 32 x i32>, <vscale x 32 x i1>, i32)
1147
1148 define signext i32 @vpreduce_umax_nxv32i32(i32 signext %s, <vscale x 32 x i32> %v, <vscale x 32 x i1> %m, i32 zeroext %evl) {
1149 ; RV32-LABEL: vpreduce_umax_nxv32i32:
1150 ; RV32:       # %bb.0:
1151 ; RV32-NEXT:    csrr a3, vlenb
1152 ; RV32-NEXT:    srli a2, a3, 2
1153 ; RV32-NEXT:    vsetvli a4, zero, e8, mf2, ta, ma
1154 ; RV32-NEXT:    vslidedown.vx v24, v0, a2
1155 ; RV32-NEXT:    slli a3, a3, 1
1156 ; RV32-NEXT:    sub a2, a1, a3
1157 ; RV32-NEXT:    sltu a4, a1, a2
1158 ; RV32-NEXT:    addi a4, a4, -1
1159 ; RV32-NEXT:    and a2, a4, a2
1160 ; RV32-NEXT:    bltu a1, a3, .LBB67_2
1161 ; RV32-NEXT:  # %bb.1:
1162 ; RV32-NEXT:    mv a1, a3
1163 ; RV32-NEXT:  .LBB67_2:
1164 ; RV32-NEXT:    vsetvli zero, zero, e32, m2, ta, ma
1165 ; RV32-NEXT:    vmv.s.x v25, a0
1166 ; RV32-NEXT:    vsetvli zero, a1, e32, m8, ta, ma
1167 ; RV32-NEXT:    vredmaxu.vs v25, v8, v25, v0.t
1168 ; RV32-NEXT:    vsetvli zero, a2, e32, m8, ta, ma
1169 ; RV32-NEXT:    vmv1r.v v0, v24
1170 ; RV32-NEXT:    vredmaxu.vs v25, v16, v25, v0.t
1171 ; RV32-NEXT:    vmv.x.s a0, v25
1172 ; RV32-NEXT:    ret
1173 ;
1174 ; RV64-LABEL: vpreduce_umax_nxv32i32:
1175 ; RV64:       # %bb.0:
1176 ; RV64-NEXT:    csrr a3, vlenb
1177 ; RV64-NEXT:    srli a2, a3, 2
1178 ; RV64-NEXT:    vsetvli a4, zero, e8, mf2, ta, ma
1179 ; RV64-NEXT:    vslidedown.vx v24, v0, a2
1180 ; RV64-NEXT:    andi a2, a0, -1
1181 ; RV64-NEXT:    slli a3, a3, 1
1182 ; RV64-NEXT:    sub a0, a1, a3
1183 ; RV64-NEXT:    sltu a4, a1, a0
1184 ; RV64-NEXT:    addi a4, a4, -1
1185 ; RV64-NEXT:    and a0, a4, a0
1186 ; RV64-NEXT:    bltu a1, a3, .LBB67_2
1187 ; RV64-NEXT:  # %bb.1:
1188 ; RV64-NEXT:    mv a1, a3
1189 ; RV64-NEXT:  .LBB67_2:
1190 ; RV64-NEXT:    vsetvli zero, zero, e32, m2, ta, ma
1191 ; RV64-NEXT:    vmv.s.x v25, a2
1192 ; RV64-NEXT:    vsetvli zero, a1, e32, m8, ta, ma
1193 ; RV64-NEXT:    vredmaxu.vs v25, v8, v25, v0.t
1194 ; RV64-NEXT:    vsetvli zero, a0, e32, m8, ta, ma
1195 ; RV64-NEXT:    vmv1r.v v0, v24
1196 ; RV64-NEXT:    vredmaxu.vs v25, v16, v25, v0.t
1197 ; RV64-NEXT:    vmv.x.s a0, v25
1198 ; RV64-NEXT:    ret
1199   %r = call i32 @llvm.vp.reduce.umax.nxv32i32(i32 %s, <vscale x 32 x i32> %v, <vscale x 32 x i1> %m, i32 %evl)
1200   ret i32 %r
1201 }
1202
1203 declare i32 @llvm.vp.reduce.smax.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1204
1205 define signext i32 @vpreduce_smax_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1206 ; CHECK-LABEL: vpreduce_smax_nxv4i32:
1207 ; CHECK:       # %bb.0:
1208 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1209 ; CHECK-NEXT:    vmv.s.x v10, a0
1210 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1211 ; CHECK-NEXT:    vredmax.vs v10, v8, v10, v0.t
1212 ; CHECK-NEXT:    vmv.x.s a0, v10
1213 ; CHECK-NEXT:    ret
1214   %r = call i32 @llvm.vp.reduce.smax.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1215   ret i32 %r
1216 }
1217
1218 declare i32 @llvm.vp.reduce.umin.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1219
1220 define signext i32 @vpreduce_umin_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1221 ; RV32-LABEL: vpreduce_umin_nxv4i32:
1222 ; RV32:       # %bb.0:
1223 ; RV32-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1224 ; RV32-NEXT:    vmv.s.x v10, a0
1225 ; RV32-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1226 ; RV32-NEXT:    vredminu.vs v10, v8, v10, v0.t
1227 ; RV32-NEXT:    vmv.x.s a0, v10
1228 ; RV32-NEXT:    ret
1229 ;
1230 ; RV64-LABEL: vpreduce_umin_nxv4i32:
1231 ; RV64:       # %bb.0:
1232 ; RV64-NEXT:    andi a0, a0, -1
1233 ; RV64-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1234 ; RV64-NEXT:    vmv.s.x v10, a0
1235 ; RV64-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1236 ; RV64-NEXT:    vredminu.vs v10, v8, v10, v0.t
1237 ; RV64-NEXT:    vmv.x.s a0, v10
1238 ; RV64-NEXT:    ret
1239   %r = call i32 @llvm.vp.reduce.umin.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1240   ret i32 %r
1241 }
1242
1243 declare i32 @llvm.vp.reduce.smin.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1244
1245 define signext i32 @vpreduce_smin_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1246 ; CHECK-LABEL: vpreduce_smin_nxv4i32:
1247 ; CHECK:       # %bb.0:
1248 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1249 ; CHECK-NEXT:    vmv.s.x v10, a0
1250 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1251 ; CHECK-NEXT:    vredmin.vs v10, v8, v10, v0.t
1252 ; CHECK-NEXT:    vmv.x.s a0, v10
1253 ; CHECK-NEXT:    ret
1254   %r = call i32 @llvm.vp.reduce.smin.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1255   ret i32 %r
1256 }
1257
1258 declare i32 @llvm.vp.reduce.and.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1259
1260 define signext i32 @vpreduce_and_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1261 ; CHECK-LABEL: vpreduce_and_nxv4i32:
1262 ; CHECK:       # %bb.0:
1263 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1264 ; CHECK-NEXT:    vmv.s.x v10, a0
1265 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1266 ; CHECK-NEXT:    vredand.vs v10, v8, v10, v0.t
1267 ; CHECK-NEXT:    vmv.x.s a0, v10
1268 ; CHECK-NEXT:    ret
1269   %r = call i32 @llvm.vp.reduce.and.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1270   ret i32 %r
1271 }
1272
1273 declare i32 @llvm.vp.reduce.or.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1274
1275 define signext i32 @vpreduce_or_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1276 ; CHECK-LABEL: vpreduce_or_nxv4i32:
1277 ; CHECK:       # %bb.0:
1278 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1279 ; CHECK-NEXT:    vmv.s.x v10, a0
1280 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1281 ; CHECK-NEXT:    vredor.vs v10, v8, v10, v0.t
1282 ; CHECK-NEXT:    vmv.x.s a0, v10
1283 ; CHECK-NEXT:    ret
1284   %r = call i32 @llvm.vp.reduce.or.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1285   ret i32 %r
1286 }
1287
1288 declare i32 @llvm.vp.reduce.xor.nxv4i32(i32, <vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1289
1290 define signext i32 @vpreduce_xor_nxv4i32(i32 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1291 ; CHECK-LABEL: vpreduce_xor_nxv4i32:
1292 ; CHECK:       # %bb.0:
1293 ; CHECK-NEXT:    vsetivli zero, 1, e32, m1, ta, ma
1294 ; CHECK-NEXT:    vmv.s.x v10, a0
1295 ; CHECK-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
1296 ; CHECK-NEXT:    vredxor.vs v10, v8, v10, v0.t
1297 ; CHECK-NEXT:    vmv.x.s a0, v10
1298 ; CHECK-NEXT:    ret
1299   %r = call i32 @llvm.vp.reduce.xor.nxv4i32(i32 %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 %evl)
1300   ret i32 %r
1301 }
1302
1303 declare i64 @llvm.vp.reduce.add.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1304
1305 define signext i64 @vpreduce_add_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1306 ; RV32-LABEL: vpreduce_add_nxv1i64:
1307 ; RV32:       # %bb.0:
1308 ; RV32-NEXT:    addi sp, sp, -16
1309 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1310 ; RV32-NEXT:    sw a1, 12(sp)
1311 ; RV32-NEXT:    sw a0, 8(sp)
1312 ; RV32-NEXT:    addi a0, sp, 8
1313 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1314 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1315 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1316 ; RV32-NEXT:    vredsum.vs v9, v8, v9, v0.t
1317 ; RV32-NEXT:    vmv.x.s a0, v9
1318 ; RV32-NEXT:    li a1, 32
1319 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1320 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1321 ; RV32-NEXT:    vmv.x.s a1, v8
1322 ; RV32-NEXT:    addi sp, sp, 16
1323 ; RV32-NEXT:    ret
1324 ;
1325 ; RV64-LABEL: vpreduce_add_nxv1i64:
1326 ; RV64:       # %bb.0:
1327 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1328 ; RV64-NEXT:    vmv.s.x v9, a0
1329 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1330 ; RV64-NEXT:    vredsum.vs v9, v8, v9, v0.t
1331 ; RV64-NEXT:    vmv.x.s a0, v9
1332 ; RV64-NEXT:    ret
1333   %r = call i64 @llvm.vp.reduce.add.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1334   ret i64 %r
1335 }
1336
1337 define signext i64 @vpwreduce_add_nxv1i32(i64 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1338 ; RV32-LABEL: vpwreduce_add_nxv1i32:
1339 ; RV32:       # %bb.0:
1340 ; RV32-NEXT:    addi sp, sp, -16
1341 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1342 ; RV32-NEXT:    sw a1, 12(sp)
1343 ; RV32-NEXT:    sw a0, 8(sp)
1344 ; RV32-NEXT:    addi a0, sp, 8
1345 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1346 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1347 ; RV32-NEXT:    vsetvli zero, a2, e32, mf2, ta, ma
1348 ; RV32-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1349 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1350 ; RV32-NEXT:    vmv.x.s a0, v9
1351 ; RV32-NEXT:    li a1, 32
1352 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1353 ; RV32-NEXT:    vmv.x.s a1, v8
1354 ; RV32-NEXT:    addi sp, sp, 16
1355 ; RV32-NEXT:    ret
1356 ;
1357 ; RV64-LABEL: vpwreduce_add_nxv1i32:
1358 ; RV64:       # %bb.0:
1359 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1360 ; RV64-NEXT:    vmv.s.x v9, a0
1361 ; RV64-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
1362 ; RV64-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1363 ; RV64-NEXT:    vsetvli zero, zero, e64, m1, ta, ma
1364 ; RV64-NEXT:    vmv.x.s a0, v9
1365 ; RV64-NEXT:    ret
1366   %e = sext <vscale x 1 x i32> %v to <vscale x 1 x i64>
1367   %r = call i64 @llvm.vp.reduce.add.nxv1i64(i64 %s, <vscale x 1 x i64> %e, <vscale x 1 x i1> %m, i32 %evl)
1368   ret i64 %r
1369 }
1370
1371 define signext i64 @vpwreduce_uadd_nxv1i32(i64 signext %s, <vscale x 1 x i32> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1372 ; RV32-LABEL: vpwreduce_uadd_nxv1i32:
1373 ; RV32:       # %bb.0:
1374 ; RV32-NEXT:    addi sp, sp, -16
1375 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1376 ; RV32-NEXT:    sw a1, 12(sp)
1377 ; RV32-NEXT:    sw a0, 8(sp)
1378 ; RV32-NEXT:    addi a0, sp, 8
1379 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1380 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1381 ; RV32-NEXT:    vsetvli zero, a2, e32, mf2, ta, ma
1382 ; RV32-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1383 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1384 ; RV32-NEXT:    vmv.x.s a0, v9
1385 ; RV32-NEXT:    li a1, 32
1386 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1387 ; RV32-NEXT:    vmv.x.s a1, v8
1388 ; RV32-NEXT:    addi sp, sp, 16
1389 ; RV32-NEXT:    ret
1390 ;
1391 ; RV64-LABEL: vpwreduce_uadd_nxv1i32:
1392 ; RV64:       # %bb.0:
1393 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1394 ; RV64-NEXT:    vmv.s.x v9, a0
1395 ; RV64-NEXT:    vsetvli zero, a1, e32, mf2, ta, ma
1396 ; RV64-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1397 ; RV64-NEXT:    vsetvli zero, zero, e64, m1, ta, ma
1398 ; RV64-NEXT:    vmv.x.s a0, v9
1399 ; RV64-NEXT:    ret
1400   %e = sext <vscale x 1 x i32> %v to <vscale x 1 x i64>
1401   %r = call i64 @llvm.vp.reduce.add.nxv1i64(i64 %s, <vscale x 1 x i64> %e, <vscale x 1 x i1> %m, i32 %evl)
1402   ret i64 %r
1403 }
1404
1405 declare i64 @llvm.vp.reduce.umax.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1406
1407 define signext i64 @vpreduce_umax_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1408 ; RV32-LABEL: vpreduce_umax_nxv1i64:
1409 ; RV32:       # %bb.0:
1410 ; RV32-NEXT:    addi sp, sp, -16
1411 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1412 ; RV32-NEXT:    sw a1, 12(sp)
1413 ; RV32-NEXT:    sw a0, 8(sp)
1414 ; RV32-NEXT:    addi a0, sp, 8
1415 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1416 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1417 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1418 ; RV32-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
1419 ; RV32-NEXT:    vmv.x.s a0, v9
1420 ; RV32-NEXT:    li a1, 32
1421 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1422 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1423 ; RV32-NEXT:    vmv.x.s a1, v8
1424 ; RV32-NEXT:    addi sp, sp, 16
1425 ; RV32-NEXT:    ret
1426 ;
1427 ; RV64-LABEL: vpreduce_umax_nxv1i64:
1428 ; RV64:       # %bb.0:
1429 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1430 ; RV64-NEXT:    vmv.s.x v9, a0
1431 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1432 ; RV64-NEXT:    vredmaxu.vs v9, v8, v9, v0.t
1433 ; RV64-NEXT:    vmv.x.s a0, v9
1434 ; RV64-NEXT:    ret
1435   %r = call i64 @llvm.vp.reduce.umax.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1436   ret i64 %r
1437 }
1438
1439 declare i64 @llvm.vp.reduce.smax.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1440
1441 define signext i64 @vpreduce_smax_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1442 ; RV32-LABEL: vpreduce_smax_nxv1i64:
1443 ; RV32:       # %bb.0:
1444 ; RV32-NEXT:    addi sp, sp, -16
1445 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1446 ; RV32-NEXT:    sw a1, 12(sp)
1447 ; RV32-NEXT:    sw a0, 8(sp)
1448 ; RV32-NEXT:    addi a0, sp, 8
1449 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1450 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1451 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1452 ; RV32-NEXT:    vredmax.vs v9, v8, v9, v0.t
1453 ; RV32-NEXT:    vmv.x.s a0, v9
1454 ; RV32-NEXT:    li a1, 32
1455 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1456 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1457 ; RV32-NEXT:    vmv.x.s a1, v8
1458 ; RV32-NEXT:    addi sp, sp, 16
1459 ; RV32-NEXT:    ret
1460 ;
1461 ; RV64-LABEL: vpreduce_smax_nxv1i64:
1462 ; RV64:       # %bb.0:
1463 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1464 ; RV64-NEXT:    vmv.s.x v9, a0
1465 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1466 ; RV64-NEXT:    vredmax.vs v9, v8, v9, v0.t
1467 ; RV64-NEXT:    vmv.x.s a0, v9
1468 ; RV64-NEXT:    ret
1469   %r = call i64 @llvm.vp.reduce.smax.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1470   ret i64 %r
1471 }
1472
1473 declare i64 @llvm.vp.reduce.umin.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1474
1475 define signext i64 @vpreduce_umin_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1476 ; RV32-LABEL: vpreduce_umin_nxv1i64:
1477 ; RV32:       # %bb.0:
1478 ; RV32-NEXT:    addi sp, sp, -16
1479 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1480 ; RV32-NEXT:    sw a1, 12(sp)
1481 ; RV32-NEXT:    sw a0, 8(sp)
1482 ; RV32-NEXT:    addi a0, sp, 8
1483 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1484 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1485 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1486 ; RV32-NEXT:    vredminu.vs v9, v8, v9, v0.t
1487 ; RV32-NEXT:    vmv.x.s a0, v9
1488 ; RV32-NEXT:    li a1, 32
1489 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1490 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1491 ; RV32-NEXT:    vmv.x.s a1, v8
1492 ; RV32-NEXT:    addi sp, sp, 16
1493 ; RV32-NEXT:    ret
1494 ;
1495 ; RV64-LABEL: vpreduce_umin_nxv1i64:
1496 ; RV64:       # %bb.0:
1497 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1498 ; RV64-NEXT:    vmv.s.x v9, a0
1499 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1500 ; RV64-NEXT:    vredminu.vs v9, v8, v9, v0.t
1501 ; RV64-NEXT:    vmv.x.s a0, v9
1502 ; RV64-NEXT:    ret
1503   %r = call i64 @llvm.vp.reduce.umin.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1504   ret i64 %r
1505 }
1506
1507 declare i64 @llvm.vp.reduce.smin.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1508
1509 define signext i64 @vpreduce_smin_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1510 ; RV32-LABEL: vpreduce_smin_nxv1i64:
1511 ; RV32:       # %bb.0:
1512 ; RV32-NEXT:    addi sp, sp, -16
1513 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1514 ; RV32-NEXT:    sw a1, 12(sp)
1515 ; RV32-NEXT:    sw a0, 8(sp)
1516 ; RV32-NEXT:    addi a0, sp, 8
1517 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1518 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1519 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1520 ; RV32-NEXT:    vredmin.vs v9, v8, v9, v0.t
1521 ; RV32-NEXT:    vmv.x.s a0, v9
1522 ; RV32-NEXT:    li a1, 32
1523 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1524 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1525 ; RV32-NEXT:    vmv.x.s a1, v8
1526 ; RV32-NEXT:    addi sp, sp, 16
1527 ; RV32-NEXT:    ret
1528 ;
1529 ; RV64-LABEL: vpreduce_smin_nxv1i64:
1530 ; RV64:       # %bb.0:
1531 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1532 ; RV64-NEXT:    vmv.s.x v9, a0
1533 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1534 ; RV64-NEXT:    vredmin.vs v9, v8, v9, v0.t
1535 ; RV64-NEXT:    vmv.x.s a0, v9
1536 ; RV64-NEXT:    ret
1537   %r = call i64 @llvm.vp.reduce.smin.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1538   ret i64 %r
1539 }
1540
1541 declare i64 @llvm.vp.reduce.and.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1542
1543 define signext i64 @vpreduce_and_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1544 ; RV32-LABEL: vpreduce_and_nxv1i64:
1545 ; RV32:       # %bb.0:
1546 ; RV32-NEXT:    addi sp, sp, -16
1547 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1548 ; RV32-NEXT:    sw a1, 12(sp)
1549 ; RV32-NEXT:    sw a0, 8(sp)
1550 ; RV32-NEXT:    addi a0, sp, 8
1551 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1552 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1553 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1554 ; RV32-NEXT:    vredand.vs v9, v8, v9, v0.t
1555 ; RV32-NEXT:    vmv.x.s a0, v9
1556 ; RV32-NEXT:    li a1, 32
1557 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1558 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1559 ; RV32-NEXT:    vmv.x.s a1, v8
1560 ; RV32-NEXT:    addi sp, sp, 16
1561 ; RV32-NEXT:    ret
1562 ;
1563 ; RV64-LABEL: vpreduce_and_nxv1i64:
1564 ; RV64:       # %bb.0:
1565 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1566 ; RV64-NEXT:    vmv.s.x v9, a0
1567 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1568 ; RV64-NEXT:    vredand.vs v9, v8, v9, v0.t
1569 ; RV64-NEXT:    vmv.x.s a0, v9
1570 ; RV64-NEXT:    ret
1571   %r = call i64 @llvm.vp.reduce.and.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1572   ret i64 %r
1573 }
1574
1575 declare i64 @llvm.vp.reduce.or.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1576
1577 define signext i64 @vpreduce_or_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1578 ; RV32-LABEL: vpreduce_or_nxv1i64:
1579 ; RV32:       # %bb.0:
1580 ; RV32-NEXT:    addi sp, sp, -16
1581 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1582 ; RV32-NEXT:    sw a1, 12(sp)
1583 ; RV32-NEXT:    sw a0, 8(sp)
1584 ; RV32-NEXT:    addi a0, sp, 8
1585 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1586 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1587 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1588 ; RV32-NEXT:    vredor.vs v9, v8, v9, v0.t
1589 ; RV32-NEXT:    vmv.x.s a0, v9
1590 ; RV32-NEXT:    li a1, 32
1591 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1592 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1593 ; RV32-NEXT:    vmv.x.s a1, v8
1594 ; RV32-NEXT:    addi sp, sp, 16
1595 ; RV32-NEXT:    ret
1596 ;
1597 ; RV64-LABEL: vpreduce_or_nxv1i64:
1598 ; RV64:       # %bb.0:
1599 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1600 ; RV64-NEXT:    vmv.s.x v9, a0
1601 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1602 ; RV64-NEXT:    vredor.vs v9, v8, v9, v0.t
1603 ; RV64-NEXT:    vmv.x.s a0, v9
1604 ; RV64-NEXT:    ret
1605   %r = call i64 @llvm.vp.reduce.or.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1606   ret i64 %r
1607 }
1608
1609 declare i64 @llvm.vp.reduce.xor.nxv1i64(i64, <vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1610
1611 define signext i64 @vpreduce_xor_nxv1i64(i64 signext %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1612 ; RV32-LABEL: vpreduce_xor_nxv1i64:
1613 ; RV32:       # %bb.0:
1614 ; RV32-NEXT:    addi sp, sp, -16
1615 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1616 ; RV32-NEXT:    sw a1, 12(sp)
1617 ; RV32-NEXT:    sw a0, 8(sp)
1618 ; RV32-NEXT:    addi a0, sp, 8
1619 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1620 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1621 ; RV32-NEXT:    vsetvli zero, a2, e64, m1, ta, ma
1622 ; RV32-NEXT:    vredxor.vs v9, v8, v9, v0.t
1623 ; RV32-NEXT:    vmv.x.s a0, v9
1624 ; RV32-NEXT:    li a1, 32
1625 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1626 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1627 ; RV32-NEXT:    vmv.x.s a1, v8
1628 ; RV32-NEXT:    addi sp, sp, 16
1629 ; RV32-NEXT:    ret
1630 ;
1631 ; RV64-LABEL: vpreduce_xor_nxv1i64:
1632 ; RV64:       # %bb.0:
1633 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1634 ; RV64-NEXT:    vmv.s.x v9, a0
1635 ; RV64-NEXT:    vsetvli zero, a1, e64, m1, ta, ma
1636 ; RV64-NEXT:    vredxor.vs v9, v8, v9, v0.t
1637 ; RV64-NEXT:    vmv.x.s a0, v9
1638 ; RV64-NEXT:    ret
1639   %r = call i64 @llvm.vp.reduce.xor.nxv1i64(i64 %s, <vscale x 1 x i64> %v, <vscale x 1 x i1> %m, i32 %evl)
1640   ret i64 %r
1641 }
1642
1643 declare i64 @llvm.vp.reduce.add.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1644
1645 define signext i64 @vpreduce_add_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1646 ; RV32-LABEL: vpreduce_add_nxv2i64:
1647 ; RV32:       # %bb.0:
1648 ; RV32-NEXT:    addi sp, sp, -16
1649 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1650 ; RV32-NEXT:    sw a1, 12(sp)
1651 ; RV32-NEXT:    sw a0, 8(sp)
1652 ; RV32-NEXT:    addi a0, sp, 8
1653 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1654 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1655 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1656 ; RV32-NEXT:    vredsum.vs v10, v8, v10, v0.t
1657 ; RV32-NEXT:    vmv.x.s a0, v10
1658 ; RV32-NEXT:    li a1, 32
1659 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1660 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1661 ; RV32-NEXT:    vmv.x.s a1, v8
1662 ; RV32-NEXT:    addi sp, sp, 16
1663 ; RV32-NEXT:    ret
1664 ;
1665 ; RV64-LABEL: vpreduce_add_nxv2i64:
1666 ; RV64:       # %bb.0:
1667 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1668 ; RV64-NEXT:    vmv.s.x v10, a0
1669 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1670 ; RV64-NEXT:    vredsum.vs v10, v8, v10, v0.t
1671 ; RV64-NEXT:    vmv.x.s a0, v10
1672 ; RV64-NEXT:    ret
1673   %r = call i64 @llvm.vp.reduce.add.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1674   ret i64 %r
1675 }
1676
1677 define signext i64 @vwpreduce_add_nxv2i32(i64 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1678 ; RV32-LABEL: vwpreduce_add_nxv2i32:
1679 ; RV32:       # %bb.0:
1680 ; RV32-NEXT:    addi sp, sp, -16
1681 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1682 ; RV32-NEXT:    sw a1, 12(sp)
1683 ; RV32-NEXT:    sw a0, 8(sp)
1684 ; RV32-NEXT:    addi a0, sp, 8
1685 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1686 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1687 ; RV32-NEXT:    vsetvli zero, a2, e32, m1, ta, ma
1688 ; RV32-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1689 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1690 ; RV32-NEXT:    vmv.x.s a0, v9
1691 ; RV32-NEXT:    li a1, 32
1692 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1693 ; RV32-NEXT:    vmv.x.s a1, v8
1694 ; RV32-NEXT:    addi sp, sp, 16
1695 ; RV32-NEXT:    ret
1696 ;
1697 ; RV64-LABEL: vwpreduce_add_nxv2i32:
1698 ; RV64:       # %bb.0:
1699 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1700 ; RV64-NEXT:    vmv.s.x v9, a0
1701 ; RV64-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1702 ; RV64-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1703 ; RV64-NEXT:    vsetvli zero, zero, e64, m2, ta, ma
1704 ; RV64-NEXT:    vmv.x.s a0, v9
1705 ; RV64-NEXT:    ret
1706   %e = sext <vscale x 2 x i32> %v to <vscale x 2 x i64>
1707   %r = call i64 @llvm.vp.reduce.add.nxv2i64(i64 %s, <vscale x 2 x i64> %e, <vscale x 2 x i1> %m, i32 %evl)
1708   ret i64 %r
1709 }
1710
1711 define signext i64 @vwpreduce_uadd_nxv2i32(i64 signext %s, <vscale x 2 x i32> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1712 ; RV32-LABEL: vwpreduce_uadd_nxv2i32:
1713 ; RV32:       # %bb.0:
1714 ; RV32-NEXT:    addi sp, sp, -16
1715 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1716 ; RV32-NEXT:    sw a1, 12(sp)
1717 ; RV32-NEXT:    sw a0, 8(sp)
1718 ; RV32-NEXT:    addi a0, sp, 8
1719 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1720 ; RV32-NEXT:    vlse64.v v9, (a0), zero
1721 ; RV32-NEXT:    vsetvli zero, a2, e32, m1, ta, ma
1722 ; RV32-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1723 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1724 ; RV32-NEXT:    vmv.x.s a0, v9
1725 ; RV32-NEXT:    li a1, 32
1726 ; RV32-NEXT:    vsrl.vx v8, v9, a1
1727 ; RV32-NEXT:    vmv.x.s a1, v8
1728 ; RV32-NEXT:    addi sp, sp, 16
1729 ; RV32-NEXT:    ret
1730 ;
1731 ; RV64-LABEL: vwpreduce_uadd_nxv2i32:
1732 ; RV64:       # %bb.0:
1733 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1734 ; RV64-NEXT:    vmv.s.x v9, a0
1735 ; RV64-NEXT:    vsetvli zero, a1, e32, m1, ta, ma
1736 ; RV64-NEXT:    vwredsum.vs v9, v8, v9, v0.t
1737 ; RV64-NEXT:    vsetvli zero, zero, e64, m2, ta, ma
1738 ; RV64-NEXT:    vmv.x.s a0, v9
1739 ; RV64-NEXT:    ret
1740   %e = sext <vscale x 2 x i32> %v to <vscale x 2 x i64>
1741   %r = call i64 @llvm.vp.reduce.add.nxv2i64(i64 %s, <vscale x 2 x i64> %e, <vscale x 2 x i1> %m, i32 %evl)
1742   ret i64 %r
1743 }
1744
1745 declare i64 @llvm.vp.reduce.umax.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1746
1747 define signext i64 @vpreduce_umax_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1748 ; RV32-LABEL: vpreduce_umax_nxv2i64:
1749 ; RV32:       # %bb.0:
1750 ; RV32-NEXT:    addi sp, sp, -16
1751 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1752 ; RV32-NEXT:    sw a1, 12(sp)
1753 ; RV32-NEXT:    sw a0, 8(sp)
1754 ; RV32-NEXT:    addi a0, sp, 8
1755 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1756 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1757 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1758 ; RV32-NEXT:    vredmaxu.vs v10, v8, v10, v0.t
1759 ; RV32-NEXT:    vmv.x.s a0, v10
1760 ; RV32-NEXT:    li a1, 32
1761 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1762 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1763 ; RV32-NEXT:    vmv.x.s a1, v8
1764 ; RV32-NEXT:    addi sp, sp, 16
1765 ; RV32-NEXT:    ret
1766 ;
1767 ; RV64-LABEL: vpreduce_umax_nxv2i64:
1768 ; RV64:       # %bb.0:
1769 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1770 ; RV64-NEXT:    vmv.s.x v10, a0
1771 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1772 ; RV64-NEXT:    vredmaxu.vs v10, v8, v10, v0.t
1773 ; RV64-NEXT:    vmv.x.s a0, v10
1774 ; RV64-NEXT:    ret
1775   %r = call i64 @llvm.vp.reduce.umax.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1776   ret i64 %r
1777 }
1778
1779 declare i64 @llvm.vp.reduce.smax.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1780
1781 define signext i64 @vpreduce_smax_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1782 ; RV32-LABEL: vpreduce_smax_nxv2i64:
1783 ; RV32:       # %bb.0:
1784 ; RV32-NEXT:    addi sp, sp, -16
1785 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1786 ; RV32-NEXT:    sw a1, 12(sp)
1787 ; RV32-NEXT:    sw a0, 8(sp)
1788 ; RV32-NEXT:    addi a0, sp, 8
1789 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1790 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1791 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1792 ; RV32-NEXT:    vredmax.vs v10, v8, v10, v0.t
1793 ; RV32-NEXT:    vmv.x.s a0, v10
1794 ; RV32-NEXT:    li a1, 32
1795 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1796 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1797 ; RV32-NEXT:    vmv.x.s a1, v8
1798 ; RV32-NEXT:    addi sp, sp, 16
1799 ; RV32-NEXT:    ret
1800 ;
1801 ; RV64-LABEL: vpreduce_smax_nxv2i64:
1802 ; RV64:       # %bb.0:
1803 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1804 ; RV64-NEXT:    vmv.s.x v10, a0
1805 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1806 ; RV64-NEXT:    vredmax.vs v10, v8, v10, v0.t
1807 ; RV64-NEXT:    vmv.x.s a0, v10
1808 ; RV64-NEXT:    ret
1809   %r = call i64 @llvm.vp.reduce.smax.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1810   ret i64 %r
1811 }
1812
1813 declare i64 @llvm.vp.reduce.umin.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1814
1815 define signext i64 @vpreduce_umin_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1816 ; RV32-LABEL: vpreduce_umin_nxv2i64:
1817 ; RV32:       # %bb.0:
1818 ; RV32-NEXT:    addi sp, sp, -16
1819 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1820 ; RV32-NEXT:    sw a1, 12(sp)
1821 ; RV32-NEXT:    sw a0, 8(sp)
1822 ; RV32-NEXT:    addi a0, sp, 8
1823 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1824 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1825 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1826 ; RV32-NEXT:    vredminu.vs v10, v8, v10, v0.t
1827 ; RV32-NEXT:    vmv.x.s a0, v10
1828 ; RV32-NEXT:    li a1, 32
1829 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1830 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1831 ; RV32-NEXT:    vmv.x.s a1, v8
1832 ; RV32-NEXT:    addi sp, sp, 16
1833 ; RV32-NEXT:    ret
1834 ;
1835 ; RV64-LABEL: vpreduce_umin_nxv2i64:
1836 ; RV64:       # %bb.0:
1837 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1838 ; RV64-NEXT:    vmv.s.x v10, a0
1839 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1840 ; RV64-NEXT:    vredminu.vs v10, v8, v10, v0.t
1841 ; RV64-NEXT:    vmv.x.s a0, v10
1842 ; RV64-NEXT:    ret
1843   %r = call i64 @llvm.vp.reduce.umin.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1844   ret i64 %r
1845 }
1846
1847 declare i64 @llvm.vp.reduce.smin.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1848
1849 define signext i64 @vpreduce_smin_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1850 ; RV32-LABEL: vpreduce_smin_nxv2i64:
1851 ; RV32:       # %bb.0:
1852 ; RV32-NEXT:    addi sp, sp, -16
1853 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1854 ; RV32-NEXT:    sw a1, 12(sp)
1855 ; RV32-NEXT:    sw a0, 8(sp)
1856 ; RV32-NEXT:    addi a0, sp, 8
1857 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1858 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1859 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1860 ; RV32-NEXT:    vredmin.vs v10, v8, v10, v0.t
1861 ; RV32-NEXT:    vmv.x.s a0, v10
1862 ; RV32-NEXT:    li a1, 32
1863 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1864 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1865 ; RV32-NEXT:    vmv.x.s a1, v8
1866 ; RV32-NEXT:    addi sp, sp, 16
1867 ; RV32-NEXT:    ret
1868 ;
1869 ; RV64-LABEL: vpreduce_smin_nxv2i64:
1870 ; RV64:       # %bb.0:
1871 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1872 ; RV64-NEXT:    vmv.s.x v10, a0
1873 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1874 ; RV64-NEXT:    vredmin.vs v10, v8, v10, v0.t
1875 ; RV64-NEXT:    vmv.x.s a0, v10
1876 ; RV64-NEXT:    ret
1877   %r = call i64 @llvm.vp.reduce.smin.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1878   ret i64 %r
1879 }
1880
1881 declare i64 @llvm.vp.reduce.and.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1882
1883 define signext i64 @vpreduce_and_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1884 ; RV32-LABEL: vpreduce_and_nxv2i64:
1885 ; RV32:       # %bb.0:
1886 ; RV32-NEXT:    addi sp, sp, -16
1887 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1888 ; RV32-NEXT:    sw a1, 12(sp)
1889 ; RV32-NEXT:    sw a0, 8(sp)
1890 ; RV32-NEXT:    addi a0, sp, 8
1891 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1892 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1893 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1894 ; RV32-NEXT:    vredand.vs v10, v8, v10, v0.t
1895 ; RV32-NEXT:    vmv.x.s a0, v10
1896 ; RV32-NEXT:    li a1, 32
1897 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1898 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1899 ; RV32-NEXT:    vmv.x.s a1, v8
1900 ; RV32-NEXT:    addi sp, sp, 16
1901 ; RV32-NEXT:    ret
1902 ;
1903 ; RV64-LABEL: vpreduce_and_nxv2i64:
1904 ; RV64:       # %bb.0:
1905 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1906 ; RV64-NEXT:    vmv.s.x v10, a0
1907 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1908 ; RV64-NEXT:    vredand.vs v10, v8, v10, v0.t
1909 ; RV64-NEXT:    vmv.x.s a0, v10
1910 ; RV64-NEXT:    ret
1911   %r = call i64 @llvm.vp.reduce.and.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1912   ret i64 %r
1913 }
1914
1915 declare i64 @llvm.vp.reduce.or.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1916
1917 define signext i64 @vpreduce_or_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1918 ; RV32-LABEL: vpreduce_or_nxv2i64:
1919 ; RV32:       # %bb.0:
1920 ; RV32-NEXT:    addi sp, sp, -16
1921 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1922 ; RV32-NEXT:    sw a1, 12(sp)
1923 ; RV32-NEXT:    sw a0, 8(sp)
1924 ; RV32-NEXT:    addi a0, sp, 8
1925 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1926 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1927 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1928 ; RV32-NEXT:    vredor.vs v10, v8, v10, v0.t
1929 ; RV32-NEXT:    vmv.x.s a0, v10
1930 ; RV32-NEXT:    li a1, 32
1931 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1932 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1933 ; RV32-NEXT:    vmv.x.s a1, v8
1934 ; RV32-NEXT:    addi sp, sp, 16
1935 ; RV32-NEXT:    ret
1936 ;
1937 ; RV64-LABEL: vpreduce_or_nxv2i64:
1938 ; RV64:       # %bb.0:
1939 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1940 ; RV64-NEXT:    vmv.s.x v10, a0
1941 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1942 ; RV64-NEXT:    vredor.vs v10, v8, v10, v0.t
1943 ; RV64-NEXT:    vmv.x.s a0, v10
1944 ; RV64-NEXT:    ret
1945   %r = call i64 @llvm.vp.reduce.or.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1946   ret i64 %r
1947 }
1948
1949 declare i64 @llvm.vp.reduce.xor.nxv2i64(i64, <vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1950
1951 define signext i64 @vpreduce_xor_nxv2i64(i64 signext %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1952 ; RV32-LABEL: vpreduce_xor_nxv2i64:
1953 ; RV32:       # %bb.0:
1954 ; RV32-NEXT:    addi sp, sp, -16
1955 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1956 ; RV32-NEXT:    sw a1, 12(sp)
1957 ; RV32-NEXT:    sw a0, 8(sp)
1958 ; RV32-NEXT:    addi a0, sp, 8
1959 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1960 ; RV32-NEXT:    vlse64.v v10, (a0), zero
1961 ; RV32-NEXT:    vsetvli zero, a2, e64, m2, ta, ma
1962 ; RV32-NEXT:    vredxor.vs v10, v8, v10, v0.t
1963 ; RV32-NEXT:    vmv.x.s a0, v10
1964 ; RV32-NEXT:    li a1, 32
1965 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1966 ; RV32-NEXT:    vsrl.vx v8, v10, a1
1967 ; RV32-NEXT:    vmv.x.s a1, v8
1968 ; RV32-NEXT:    addi sp, sp, 16
1969 ; RV32-NEXT:    ret
1970 ;
1971 ; RV64-LABEL: vpreduce_xor_nxv2i64:
1972 ; RV64:       # %bb.0:
1973 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1974 ; RV64-NEXT:    vmv.s.x v10, a0
1975 ; RV64-NEXT:    vsetvli zero, a1, e64, m2, ta, ma
1976 ; RV64-NEXT:    vredxor.vs v10, v8, v10, v0.t
1977 ; RV64-NEXT:    vmv.x.s a0, v10
1978 ; RV64-NEXT:    ret
1979   %r = call i64 @llvm.vp.reduce.xor.nxv2i64(i64 %s, <vscale x 2 x i64> %v, <vscale x 2 x i1> %m, i32 %evl)
1980   ret i64 %r
1981 }
1982
1983 declare i64 @llvm.vp.reduce.add.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
1984
1985 define signext i64 @vpreduce_add_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1986 ; RV32-LABEL: vpreduce_add_nxv4i64:
1987 ; RV32:       # %bb.0:
1988 ; RV32-NEXT:    addi sp, sp, -16
1989 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1990 ; RV32-NEXT:    sw a1, 12(sp)
1991 ; RV32-NEXT:    sw a0, 8(sp)
1992 ; RV32-NEXT:    addi a0, sp, 8
1993 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
1994 ; RV32-NEXT:    vlse64.v v12, (a0), zero
1995 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
1996 ; RV32-NEXT:    vredsum.vs v12, v8, v12, v0.t
1997 ; RV32-NEXT:    vmv.x.s a0, v12
1998 ; RV32-NEXT:    li a1, 32
1999 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2000 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2001 ; RV32-NEXT:    vmv.x.s a1, v8
2002 ; RV32-NEXT:    addi sp, sp, 16
2003 ; RV32-NEXT:    ret
2004 ;
2005 ; RV64-LABEL: vpreduce_add_nxv4i64:
2006 ; RV64:       # %bb.0:
2007 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2008 ; RV64-NEXT:    vmv.s.x v12, a0
2009 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2010 ; RV64-NEXT:    vredsum.vs v12, v8, v12, v0.t
2011 ; RV64-NEXT:    vmv.x.s a0, v12
2012 ; RV64-NEXT:    ret
2013   %r = call i64 @llvm.vp.reduce.add.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2014   ret i64 %r
2015 }
2016
2017 define signext i64 @vpwreduce_add_nxv4i32(i64 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2018 ; RV32-LABEL: vpwreduce_add_nxv4i32:
2019 ; RV32:       # %bb.0:
2020 ; RV32-NEXT:    addi sp, sp, -16
2021 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2022 ; RV32-NEXT:    sw a1, 12(sp)
2023 ; RV32-NEXT:    sw a0, 8(sp)
2024 ; RV32-NEXT:    addi a0, sp, 8
2025 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2026 ; RV32-NEXT:    vlse64.v v10, (a0), zero
2027 ; RV32-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
2028 ; RV32-NEXT:    vwredsum.vs v10, v8, v10, v0.t
2029 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2030 ; RV32-NEXT:    vmv.x.s a0, v10
2031 ; RV32-NEXT:    li a1, 32
2032 ; RV32-NEXT:    vsrl.vx v8, v10, a1
2033 ; RV32-NEXT:    vmv.x.s a1, v8
2034 ; RV32-NEXT:    addi sp, sp, 16
2035 ; RV32-NEXT:    ret
2036 ;
2037 ; RV64-LABEL: vpwreduce_add_nxv4i32:
2038 ; RV64:       # %bb.0:
2039 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2040 ; RV64-NEXT:    vmv.s.x v10, a0
2041 ; RV64-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
2042 ; RV64-NEXT:    vwredsum.vs v10, v8, v10, v0.t
2043 ; RV64-NEXT:    vsetvli zero, zero, e64, m4, ta, ma
2044 ; RV64-NEXT:    vmv.x.s a0, v10
2045 ; RV64-NEXT:    ret
2046   %e = sext <vscale x 4 x i32> %v to <vscale x 4 x i64>
2047   %r = call i64 @llvm.vp.reduce.add.nxv4i64(i64 %s, <vscale x 4 x i64> %e, <vscale x 4 x i1> %m, i32 %evl)
2048   ret i64 %r
2049 }
2050
2051 define signext i64 @vpwreduce_uadd_nxv4i32(i64 signext %s, <vscale x 4 x i32> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2052 ; RV32-LABEL: vpwreduce_uadd_nxv4i32:
2053 ; RV32:       # %bb.0:
2054 ; RV32-NEXT:    addi sp, sp, -16
2055 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2056 ; RV32-NEXT:    sw a1, 12(sp)
2057 ; RV32-NEXT:    sw a0, 8(sp)
2058 ; RV32-NEXT:    addi a0, sp, 8
2059 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2060 ; RV32-NEXT:    vlse64.v v10, (a0), zero
2061 ; RV32-NEXT:    vsetvli zero, a2, e32, m2, ta, ma
2062 ; RV32-NEXT:    vwredsumu.vs v10, v8, v10, v0.t
2063 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2064 ; RV32-NEXT:    vmv.x.s a0, v10
2065 ; RV32-NEXT:    li a1, 32
2066 ; RV32-NEXT:    vsrl.vx v8, v10, a1
2067 ; RV32-NEXT:    vmv.x.s a1, v8
2068 ; RV32-NEXT:    addi sp, sp, 16
2069 ; RV32-NEXT:    ret
2070 ;
2071 ; RV64-LABEL: vpwreduce_uadd_nxv4i32:
2072 ; RV64:       # %bb.0:
2073 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2074 ; RV64-NEXT:    vmv.s.x v10, a0
2075 ; RV64-NEXT:    vsetvli zero, a1, e32, m2, ta, ma
2076 ; RV64-NEXT:    vwredsumu.vs v10, v8, v10, v0.t
2077 ; RV64-NEXT:    vsetvli zero, zero, e64, m4, ta, ma
2078 ; RV64-NEXT:    vmv.x.s a0, v10
2079 ; RV64-NEXT:    ret
2080   %e = zext <vscale x 4 x i32> %v to <vscale x 4 x i64>
2081   %r = call i64 @llvm.vp.reduce.add.nxv4i64(i64 %s, <vscale x 4 x i64> %e, <vscale x 4 x i1> %m, i32 %evl)
2082   ret i64 %r
2083 }
2084
2085 declare i64 @llvm.vp.reduce.umax.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2086
2087 define signext i64 @vpreduce_umax_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2088 ; RV32-LABEL: vpreduce_umax_nxv4i64:
2089 ; RV32:       # %bb.0:
2090 ; RV32-NEXT:    addi sp, sp, -16
2091 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2092 ; RV32-NEXT:    sw a1, 12(sp)
2093 ; RV32-NEXT:    sw a0, 8(sp)
2094 ; RV32-NEXT:    addi a0, sp, 8
2095 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2096 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2097 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2098 ; RV32-NEXT:    vredmaxu.vs v12, v8, v12, v0.t
2099 ; RV32-NEXT:    vmv.x.s a0, v12
2100 ; RV32-NEXT:    li a1, 32
2101 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2102 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2103 ; RV32-NEXT:    vmv.x.s a1, v8
2104 ; RV32-NEXT:    addi sp, sp, 16
2105 ; RV32-NEXT:    ret
2106 ;
2107 ; RV64-LABEL: vpreduce_umax_nxv4i64:
2108 ; RV64:       # %bb.0:
2109 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2110 ; RV64-NEXT:    vmv.s.x v12, a0
2111 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2112 ; RV64-NEXT:    vredmaxu.vs v12, v8, v12, v0.t
2113 ; RV64-NEXT:    vmv.x.s a0, v12
2114 ; RV64-NEXT:    ret
2115   %r = call i64 @llvm.vp.reduce.umax.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2116   ret i64 %r
2117 }
2118
2119 declare i64 @llvm.vp.reduce.smax.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2120
2121 define signext i64 @vpreduce_smax_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2122 ; RV32-LABEL: vpreduce_smax_nxv4i64:
2123 ; RV32:       # %bb.0:
2124 ; RV32-NEXT:    addi sp, sp, -16
2125 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2126 ; RV32-NEXT:    sw a1, 12(sp)
2127 ; RV32-NEXT:    sw a0, 8(sp)
2128 ; RV32-NEXT:    addi a0, sp, 8
2129 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2130 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2131 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2132 ; RV32-NEXT:    vredmax.vs v12, v8, v12, v0.t
2133 ; RV32-NEXT:    vmv.x.s a0, v12
2134 ; RV32-NEXT:    li a1, 32
2135 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2136 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2137 ; RV32-NEXT:    vmv.x.s a1, v8
2138 ; RV32-NEXT:    addi sp, sp, 16
2139 ; RV32-NEXT:    ret
2140 ;
2141 ; RV64-LABEL: vpreduce_smax_nxv4i64:
2142 ; RV64:       # %bb.0:
2143 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2144 ; RV64-NEXT:    vmv.s.x v12, a0
2145 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2146 ; RV64-NEXT:    vredmax.vs v12, v8, v12, v0.t
2147 ; RV64-NEXT:    vmv.x.s a0, v12
2148 ; RV64-NEXT:    ret
2149   %r = call i64 @llvm.vp.reduce.smax.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2150   ret i64 %r
2151 }
2152
2153 declare i64 @llvm.vp.reduce.umin.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2154
2155 define signext i64 @vpreduce_umin_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2156 ; RV32-LABEL: vpreduce_umin_nxv4i64:
2157 ; RV32:       # %bb.0:
2158 ; RV32-NEXT:    addi sp, sp, -16
2159 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2160 ; RV32-NEXT:    sw a1, 12(sp)
2161 ; RV32-NEXT:    sw a0, 8(sp)
2162 ; RV32-NEXT:    addi a0, sp, 8
2163 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2164 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2165 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2166 ; RV32-NEXT:    vredminu.vs v12, v8, v12, v0.t
2167 ; RV32-NEXT:    vmv.x.s a0, v12
2168 ; RV32-NEXT:    li a1, 32
2169 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2170 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2171 ; RV32-NEXT:    vmv.x.s a1, v8
2172 ; RV32-NEXT:    addi sp, sp, 16
2173 ; RV32-NEXT:    ret
2174 ;
2175 ; RV64-LABEL: vpreduce_umin_nxv4i64:
2176 ; RV64:       # %bb.0:
2177 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2178 ; RV64-NEXT:    vmv.s.x v12, a0
2179 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2180 ; RV64-NEXT:    vredminu.vs v12, v8, v12, v0.t
2181 ; RV64-NEXT:    vmv.x.s a0, v12
2182 ; RV64-NEXT:    ret
2183   %r = call i64 @llvm.vp.reduce.umin.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2184   ret i64 %r
2185 }
2186
2187 declare i64 @llvm.vp.reduce.smin.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2188
2189 define signext i64 @vpreduce_smin_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2190 ; RV32-LABEL: vpreduce_smin_nxv4i64:
2191 ; RV32:       # %bb.0:
2192 ; RV32-NEXT:    addi sp, sp, -16
2193 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2194 ; RV32-NEXT:    sw a1, 12(sp)
2195 ; RV32-NEXT:    sw a0, 8(sp)
2196 ; RV32-NEXT:    addi a0, sp, 8
2197 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2198 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2199 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2200 ; RV32-NEXT:    vredmin.vs v12, v8, v12, v0.t
2201 ; RV32-NEXT:    vmv.x.s a0, v12
2202 ; RV32-NEXT:    li a1, 32
2203 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2204 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2205 ; RV32-NEXT:    vmv.x.s a1, v8
2206 ; RV32-NEXT:    addi sp, sp, 16
2207 ; RV32-NEXT:    ret
2208 ;
2209 ; RV64-LABEL: vpreduce_smin_nxv4i64:
2210 ; RV64:       # %bb.0:
2211 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2212 ; RV64-NEXT:    vmv.s.x v12, a0
2213 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2214 ; RV64-NEXT:    vredmin.vs v12, v8, v12, v0.t
2215 ; RV64-NEXT:    vmv.x.s a0, v12
2216 ; RV64-NEXT:    ret
2217   %r = call i64 @llvm.vp.reduce.smin.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2218   ret i64 %r
2219 }
2220
2221 declare i64 @llvm.vp.reduce.and.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2222
2223 define signext i64 @vpreduce_and_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2224 ; RV32-LABEL: vpreduce_and_nxv4i64:
2225 ; RV32:       # %bb.0:
2226 ; RV32-NEXT:    addi sp, sp, -16
2227 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2228 ; RV32-NEXT:    sw a1, 12(sp)
2229 ; RV32-NEXT:    sw a0, 8(sp)
2230 ; RV32-NEXT:    addi a0, sp, 8
2231 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2232 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2233 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2234 ; RV32-NEXT:    vredand.vs v12, v8, v12, v0.t
2235 ; RV32-NEXT:    vmv.x.s a0, v12
2236 ; RV32-NEXT:    li a1, 32
2237 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2238 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2239 ; RV32-NEXT:    vmv.x.s a1, v8
2240 ; RV32-NEXT:    addi sp, sp, 16
2241 ; RV32-NEXT:    ret
2242 ;
2243 ; RV64-LABEL: vpreduce_and_nxv4i64:
2244 ; RV64:       # %bb.0:
2245 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2246 ; RV64-NEXT:    vmv.s.x v12, a0
2247 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2248 ; RV64-NEXT:    vredand.vs v12, v8, v12, v0.t
2249 ; RV64-NEXT:    vmv.x.s a0, v12
2250 ; RV64-NEXT:    ret
2251   %r = call i64 @llvm.vp.reduce.and.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2252   ret i64 %r
2253 }
2254
2255 declare i64 @llvm.vp.reduce.or.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2256
2257 define signext i64 @vpreduce_or_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2258 ; RV32-LABEL: vpreduce_or_nxv4i64:
2259 ; RV32:       # %bb.0:
2260 ; RV32-NEXT:    addi sp, sp, -16
2261 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2262 ; RV32-NEXT:    sw a1, 12(sp)
2263 ; RV32-NEXT:    sw a0, 8(sp)
2264 ; RV32-NEXT:    addi a0, sp, 8
2265 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2266 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2267 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2268 ; RV32-NEXT:    vredor.vs v12, v8, v12, v0.t
2269 ; RV32-NEXT:    vmv.x.s a0, v12
2270 ; RV32-NEXT:    li a1, 32
2271 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2272 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2273 ; RV32-NEXT:    vmv.x.s a1, v8
2274 ; RV32-NEXT:    addi sp, sp, 16
2275 ; RV32-NEXT:    ret
2276 ;
2277 ; RV64-LABEL: vpreduce_or_nxv4i64:
2278 ; RV64:       # %bb.0:
2279 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2280 ; RV64-NEXT:    vmv.s.x v12, a0
2281 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2282 ; RV64-NEXT:    vredor.vs v12, v8, v12, v0.t
2283 ; RV64-NEXT:    vmv.x.s a0, v12
2284 ; RV64-NEXT:    ret
2285   %r = call i64 @llvm.vp.reduce.or.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2286   ret i64 %r
2287 }
2288
2289 declare i64 @llvm.vp.reduce.xor.nxv4i64(i64, <vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2290
2291 define signext i64 @vpreduce_xor_nxv4i64(i64 signext %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2292 ; RV32-LABEL: vpreduce_xor_nxv4i64:
2293 ; RV32:       # %bb.0:
2294 ; RV32-NEXT:    addi sp, sp, -16
2295 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2296 ; RV32-NEXT:    sw a1, 12(sp)
2297 ; RV32-NEXT:    sw a0, 8(sp)
2298 ; RV32-NEXT:    addi a0, sp, 8
2299 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2300 ; RV32-NEXT:    vlse64.v v12, (a0), zero
2301 ; RV32-NEXT:    vsetvli zero, a2, e64, m4, ta, ma
2302 ; RV32-NEXT:    vredxor.vs v12, v8, v12, v0.t
2303 ; RV32-NEXT:    vmv.x.s a0, v12
2304 ; RV32-NEXT:    li a1, 32
2305 ; RV32-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2306 ; RV32-NEXT:    vsrl.vx v8, v12, a1
2307 ; RV32-NEXT:    vmv.x.s a1, v8
2308 ; RV32-NEXT:    addi sp, sp, 16
2309 ; RV32-NEXT:    ret
2310 ;
2311 ; RV64-LABEL: vpreduce_xor_nxv4i64:
2312 ; RV64:       # %bb.0:
2313 ; RV64-NEXT:    vsetivli zero, 1, e64, m1, ta, ma
2314 ; RV64-NEXT:    vmv.s.x v12, a0
2315 ; RV64-NEXT:    vsetvli zero, a1, e64, m4, ta, ma
2316 ; RV64-NEXT:    vredxor.vs v12, v8, v12, v0.t
2317 ; RV64-NEXT:    vmv.x.s a0, v12
2318 ; RV64-NEXT:    ret
2319   %r = call i64 @llvm.vp.reduce.xor.nxv4i64(i64 %s, <vscale x 4 x i64> %v, <vscale x 4 x i1> %m, i32 %evl)
2320   ret i64 %r
2321 }