llvm/test/CodeGen/RISCV/rvv/bitreverse-vp.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=riscv32 -mattr=+d,+zfh,+zvfh,+v,+m -target-abi=ilp32d \
   3 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,RV32
   4 ; RUN: llc -mtriple=riscv64 -mattr=+d,+zfh,+zvfh,+v,+m -target-abi=lp64d \
   5 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,RV64
   6 ; RUN: llc -mtriple=riscv32 -mattr=+v,+zvbb,+m -target-abi=ilp32d \
   7 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK-ZVBB
   8 ; RUN: llc -mtriple=riscv64 -mattr=+v,+zvbb,+m -target-abi=lp64d \
   9 ; RUN:     -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK-ZVBB
  10
  11 declare <vscale x 1 x i8> @llvm.vp.bitreverse.nxv1i8(<vscale x 1 x i8>, <vscale x 1 x i1>, i32)
  12
  13 define <vscale x 1 x i8> @vp_bitreverse_nxv1i8(<vscale x 1 x i8> %va, <vscale x 1 x i1> %m, i32 zeroext %evl) {
  14 ; CHECK-LABEL: vp_bitreverse_nxv1i8:
  15 ; CHECK:       # %bb.0:
  16 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf8, ta, ma
  17 ; CHECK-NEXT:    vand.vi v9, v8, 15, v0.t
  18 ; CHECK-NEXT:    vsll.vi v9, v9, 4, v0.t
  19 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
  20 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
  21 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
  22 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
  23 ; CHECK-NEXT:    li a0, 51
  24 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
  25 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
  26 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
  27 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
  28 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
  29 ; CHECK-NEXT:    li a0, 85
  30 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
  31 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
  32 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
  33 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
  34 ; CHECK-NEXT:    ret
  35 ;
  36 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i8:
  37 ; CHECK-ZVBB:       # %bb.0:
  38 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf8, ta, ma
  39 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
  40 ; CHECK-ZVBB-NEXT:    ret
  41   %v = call <vscale x 1 x i8> @llvm.vp.bitreverse.nxv1i8(<vscale x 1 x i8> %va, <vscale x 1 x i1> %m, i32 %evl)
  42   ret <vscale x 1 x i8> %v
  43 }
  44
  45 define <vscale x 1 x i8> @vp_bitreverse_nxv1i8_unmasked(<vscale x 1 x i8> %va, i32 zeroext %evl) {
  46 ; CHECK-LABEL: vp_bitreverse_nxv1i8_unmasked:
  47 ; CHECK:       # %bb.0:
  48 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf8, ta, ma
  49 ; CHECK-NEXT:    vand.vi v9, v8, 15
  50 ; CHECK-NEXT:    vsll.vi v9, v9, 4
  51 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
  52 ; CHECK-NEXT:    vand.vi v8, v8, 15
  53 ; CHECK-NEXT:    vor.vv v8, v8, v9
  54 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
  55 ; CHECK-NEXT:    li a0, 51
  56 ; CHECK-NEXT:    vand.vx v9, v9, a0
  57 ; CHECK-NEXT:    vand.vx v8, v8, a0
  58 ; CHECK-NEXT:    vsll.vi v8, v8, 2
  59 ; CHECK-NEXT:    vor.vv v8, v9, v8
  60 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
  61 ; CHECK-NEXT:    li a0, 85
  62 ; CHECK-NEXT:    vand.vx v9, v9, a0
  63 ; CHECK-NEXT:    vand.vx v8, v8, a0
  64 ; CHECK-NEXT:    vadd.vv v8, v8, v8
  65 ; CHECK-NEXT:    vor.vv v8, v9, v8
  66 ; CHECK-NEXT:    ret
  67 ;
  68 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i8_unmasked:
  69 ; CHECK-ZVBB:       # %bb.0:
  70 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf8, ta, ma
  71 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
  72 ; CHECK-ZVBB-NEXT:    ret
  73   %v = call <vscale x 1 x i8> @llvm.vp.bitreverse.nxv1i8(<vscale x 1 x i8> %va, <vscale x 1 x i1> splat (i1 true), i32 %evl)
  74   ret <vscale x 1 x i8> %v
  75 }
  76
  77 declare <vscale x 2 x i8> @llvm.vp.bitreverse.nxv2i8(<vscale x 2 x i8>, <vscale x 2 x i1>, i32)
  78
  79 define <vscale x 2 x i8> @vp_bitreverse_nxv2i8(<vscale x 2 x i8> %va, <vscale x 2 x i1> %m, i32 zeroext %evl) {
  80 ; CHECK-LABEL: vp_bitreverse_nxv2i8:
  81 ; CHECK:       # %bb.0:
  82 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf4, ta, ma
  83 ; CHECK-NEXT:    vand.vi v9, v8, 15, v0.t
  84 ; CHECK-NEXT:    vsll.vi v9, v9, 4, v0.t
  85 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
  86 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
  87 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
  88 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
  89 ; CHECK-NEXT:    li a0, 51
  90 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
  91 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
  92 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
  93 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
  94 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
  95 ; CHECK-NEXT:    li a0, 85
  96 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
  97 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
  98 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
  99 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 100 ; CHECK-NEXT:    ret
 101 ;
 102 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i8:
 103 ; CHECK-ZVBB:       # %bb.0:
 104 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf4, ta, ma
 105 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 106 ; CHECK-ZVBB-NEXT:    ret
 107   %v = call <vscale x 2 x i8> @llvm.vp.bitreverse.nxv2i8(<vscale x 2 x i8> %va, <vscale x 2 x i1> %m, i32 %evl)
 108   ret <vscale x 2 x i8> %v
 109 }
 110
 111 define <vscale x 2 x i8> @vp_bitreverse_nxv2i8_unmasked(<vscale x 2 x i8> %va, i32 zeroext %evl) {
 112 ; CHECK-LABEL: vp_bitreverse_nxv2i8_unmasked:
 113 ; CHECK:       # %bb.0:
 114 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf4, ta, ma
 115 ; CHECK-NEXT:    vand.vi v9, v8, 15
 116 ; CHECK-NEXT:    vsll.vi v9, v9, 4
 117 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 118 ; CHECK-NEXT:    vand.vi v8, v8, 15
 119 ; CHECK-NEXT:    vor.vv v8, v8, v9
 120 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 121 ; CHECK-NEXT:    li a0, 51
 122 ; CHECK-NEXT:    vand.vx v9, v9, a0
 123 ; CHECK-NEXT:    vand.vx v8, v8, a0
 124 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 125 ; CHECK-NEXT:    vor.vv v8, v9, v8
 126 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 127 ; CHECK-NEXT:    li a0, 85
 128 ; CHECK-NEXT:    vand.vx v9, v9, a0
 129 ; CHECK-NEXT:    vand.vx v8, v8, a0
 130 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 131 ; CHECK-NEXT:    vor.vv v8, v9, v8
 132 ; CHECK-NEXT:    ret
 133 ;
 134 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i8_unmasked:
 135 ; CHECK-ZVBB:       # %bb.0:
 136 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf4, ta, ma
 137 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 138 ; CHECK-ZVBB-NEXT:    ret
 139   %v = call <vscale x 2 x i8> @llvm.vp.bitreverse.nxv2i8(<vscale x 2 x i8> %va, <vscale x 2 x i1> splat (i1 true), i32 %evl)
 140   ret <vscale x 2 x i8> %v
 141 }
 142
 143 declare <vscale x 4 x i8> @llvm.vp.bitreverse.nxv4i8(<vscale x 4 x i8>, <vscale x 4 x i1>, i32)
 144
 145 define <vscale x 4 x i8> @vp_bitreverse_nxv4i8(<vscale x 4 x i8> %va, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 146 ; CHECK-LABEL: vp_bitreverse_nxv4i8:
 147 ; CHECK:       # %bb.0:
 148 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf2, ta, ma
 149 ; CHECK-NEXT:    vand.vi v9, v8, 15, v0.t
 150 ; CHECK-NEXT:    vsll.vi v9, v9, 4, v0.t
 151 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
 152 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
 153 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 154 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 155 ; CHECK-NEXT:    li a0, 51
 156 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 157 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 158 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 159 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 160 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 161 ; CHECK-NEXT:    li a0, 85
 162 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 163 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 164 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 165 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 166 ; CHECK-NEXT:    ret
 167 ;
 168 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i8:
 169 ; CHECK-ZVBB:       # %bb.0:
 170 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf2, ta, ma
 171 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 172 ; CHECK-ZVBB-NEXT:    ret
 173   %v = call <vscale x 4 x i8> @llvm.vp.bitreverse.nxv4i8(<vscale x 4 x i8> %va, <vscale x 4 x i1> %m, i32 %evl)
 174   ret <vscale x 4 x i8> %v
 175 }
 176
 177 define <vscale x 4 x i8> @vp_bitreverse_nxv4i8_unmasked(<vscale x 4 x i8> %va, i32 zeroext %evl) {
 178 ; CHECK-LABEL: vp_bitreverse_nxv4i8_unmasked:
 179 ; CHECK:       # %bb.0:
 180 ; CHECK-NEXT:    vsetvli zero, a0, e8, mf2, ta, ma
 181 ; CHECK-NEXT:    vand.vi v9, v8, 15
 182 ; CHECK-NEXT:    vsll.vi v9, v9, 4
 183 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 184 ; CHECK-NEXT:    vand.vi v8, v8, 15
 185 ; CHECK-NEXT:    vor.vv v8, v8, v9
 186 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 187 ; CHECK-NEXT:    li a0, 51
 188 ; CHECK-NEXT:    vand.vx v9, v9, a0
 189 ; CHECK-NEXT:    vand.vx v8, v8, a0
 190 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 191 ; CHECK-NEXT:    vor.vv v8, v9, v8
 192 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 193 ; CHECK-NEXT:    li a0, 85
 194 ; CHECK-NEXT:    vand.vx v9, v9, a0
 195 ; CHECK-NEXT:    vand.vx v8, v8, a0
 196 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 197 ; CHECK-NEXT:    vor.vv v8, v9, v8
 198 ; CHECK-NEXT:    ret
 199 ;
 200 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i8_unmasked:
 201 ; CHECK-ZVBB:       # %bb.0:
 202 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, mf2, ta, ma
 203 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 204 ; CHECK-ZVBB-NEXT:    ret
 205   %v = call <vscale x 4 x i8> @llvm.vp.bitreverse.nxv4i8(<vscale x 4 x i8> %va, <vscale x 4 x i1> splat (i1 true), i32 %evl)
 206   ret <vscale x 4 x i8> %v
 207 }
 208
 209 declare <vscale x 8 x i8> @llvm.vp.bitreverse.nxv8i8(<vscale x 8 x i8>, <vscale x 8 x i1>, i32)
 210
 211 define <vscale x 8 x i8> @vp_bitreverse_nxv8i8(<vscale x 8 x i8> %va, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 212 ; CHECK-LABEL: vp_bitreverse_nxv8i8:
 213 ; CHECK:       # %bb.0:
 214 ; CHECK-NEXT:    vsetvli zero, a0, e8, m1, ta, ma
 215 ; CHECK-NEXT:    vand.vi v9, v8, 15, v0.t
 216 ; CHECK-NEXT:    vsll.vi v9, v9, 4, v0.t
 217 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
 218 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
 219 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 220 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 221 ; CHECK-NEXT:    li a0, 51
 222 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 223 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 224 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 225 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 226 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 227 ; CHECK-NEXT:    li a0, 85
 228 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 229 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 230 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 231 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 232 ; CHECK-NEXT:    ret
 233 ;
 234 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i8:
 235 ; CHECK-ZVBB:       # %bb.0:
 236 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m1, ta, ma
 237 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 238 ; CHECK-ZVBB-NEXT:    ret
 239   %v = call <vscale x 8 x i8> @llvm.vp.bitreverse.nxv8i8(<vscale x 8 x i8> %va, <vscale x 8 x i1> %m, i32 %evl)
 240   ret <vscale x 8 x i8> %v
 241 }
 242
 243 define <vscale x 8 x i8> @vp_bitreverse_nxv8i8_unmasked(<vscale x 8 x i8> %va, i32 zeroext %evl) {
 244 ; CHECK-LABEL: vp_bitreverse_nxv8i8_unmasked:
 245 ; CHECK:       # %bb.0:
 246 ; CHECK-NEXT:    vsetvli zero, a0, e8, m1, ta, ma
 247 ; CHECK-NEXT:    vand.vi v9, v8, 15
 248 ; CHECK-NEXT:    vsll.vi v9, v9, 4
 249 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 250 ; CHECK-NEXT:    vand.vi v8, v8, 15
 251 ; CHECK-NEXT:    vor.vv v8, v8, v9
 252 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 253 ; CHECK-NEXT:    li a0, 51
 254 ; CHECK-NEXT:    vand.vx v9, v9, a0
 255 ; CHECK-NEXT:    vand.vx v8, v8, a0
 256 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 257 ; CHECK-NEXT:    vor.vv v8, v9, v8
 258 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 259 ; CHECK-NEXT:    li a0, 85
 260 ; CHECK-NEXT:    vand.vx v9, v9, a0
 261 ; CHECK-NEXT:    vand.vx v8, v8, a0
 262 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 263 ; CHECK-NEXT:    vor.vv v8, v9, v8
 264 ; CHECK-NEXT:    ret
 265 ;
 266 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i8_unmasked:
 267 ; CHECK-ZVBB:       # %bb.0:
 268 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m1, ta, ma
 269 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 270 ; CHECK-ZVBB-NEXT:    ret
 271   %v = call <vscale x 8 x i8> @llvm.vp.bitreverse.nxv8i8(<vscale x 8 x i8> %va, <vscale x 8 x i1> splat (i1 true), i32 %evl)
 272   ret <vscale x 8 x i8> %v
 273 }
 274
 275 declare <vscale x 16 x i8> @llvm.vp.bitreverse.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i1>, i32)
 276
 277 define <vscale x 16 x i8> @vp_bitreverse_nxv16i8(<vscale x 16 x i8> %va, <vscale x 16 x i1> %m, i32 zeroext %evl) {
 278 ; CHECK-LABEL: vp_bitreverse_nxv16i8:
 279 ; CHECK:       # %bb.0:
 280 ; CHECK-NEXT:    vsetvli zero, a0, e8, m2, ta, ma
 281 ; CHECK-NEXT:    vand.vi v10, v8, 15, v0.t
 282 ; CHECK-NEXT:    vsll.vi v10, v10, 4, v0.t
 283 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
 284 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
 285 ; CHECK-NEXT:    vor.vv v8, v8, v10, v0.t
 286 ; CHECK-NEXT:    vsrl.vi v10, v8, 2, v0.t
 287 ; CHECK-NEXT:    li a0, 51
 288 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
 289 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 290 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 291 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
 292 ; CHECK-NEXT:    vsrl.vi v10, v8, 1, v0.t
 293 ; CHECK-NEXT:    li a0, 85
 294 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
 295 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 296 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 297 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
 298 ; CHECK-NEXT:    ret
 299 ;
 300 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i8:
 301 ; CHECK-ZVBB:       # %bb.0:
 302 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m2, ta, ma
 303 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 304 ; CHECK-ZVBB-NEXT:    ret
 305   %v = call <vscale x 16 x i8> @llvm.vp.bitreverse.nxv16i8(<vscale x 16 x i8> %va, <vscale x 16 x i1> %m, i32 %evl)
 306   ret <vscale x 16 x i8> %v
 307 }
 308
 309 define <vscale x 16 x i8> @vp_bitreverse_nxv16i8_unmasked(<vscale x 16 x i8> %va, i32 zeroext %evl) {
 310 ; CHECK-LABEL: vp_bitreverse_nxv16i8_unmasked:
 311 ; CHECK:       # %bb.0:
 312 ; CHECK-NEXT:    vsetvli zero, a0, e8, m2, ta, ma
 313 ; CHECK-NEXT:    vand.vi v10, v8, 15
 314 ; CHECK-NEXT:    vsll.vi v10, v10, 4
 315 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 316 ; CHECK-NEXT:    vand.vi v8, v8, 15
 317 ; CHECK-NEXT:    vor.vv v8, v8, v10
 318 ; CHECK-NEXT:    vsrl.vi v10, v8, 2
 319 ; CHECK-NEXT:    li a0, 51
 320 ; CHECK-NEXT:    vand.vx v10, v10, a0
 321 ; CHECK-NEXT:    vand.vx v8, v8, a0
 322 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 323 ; CHECK-NEXT:    vor.vv v8, v10, v8
 324 ; CHECK-NEXT:    vsrl.vi v10, v8, 1
 325 ; CHECK-NEXT:    li a0, 85
 326 ; CHECK-NEXT:    vand.vx v10, v10, a0
 327 ; CHECK-NEXT:    vand.vx v8, v8, a0
 328 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 329 ; CHECK-NEXT:    vor.vv v8, v10, v8
 330 ; CHECK-NEXT:    ret
 331 ;
 332 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i8_unmasked:
 333 ; CHECK-ZVBB:       # %bb.0:
 334 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m2, ta, ma
 335 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 336 ; CHECK-ZVBB-NEXT:    ret
 337   %v = call <vscale x 16 x i8> @llvm.vp.bitreverse.nxv16i8(<vscale x 16 x i8> %va, <vscale x 16 x i1> splat (i1 true), i32 %evl)
 338   ret <vscale x 16 x i8> %v
 339 }
 340
 341 declare <vscale x 32 x i8> @llvm.vp.bitreverse.nxv32i8(<vscale x 32 x i8>, <vscale x 32 x i1>, i32)
 342
 343 define <vscale x 32 x i8> @vp_bitreverse_nxv32i8(<vscale x 32 x i8> %va, <vscale x 32 x i1> %m, i32 zeroext %evl) {
 344 ; CHECK-LABEL: vp_bitreverse_nxv32i8:
 345 ; CHECK:       # %bb.0:
 346 ; CHECK-NEXT:    vsetvli zero, a0, e8, m4, ta, ma
 347 ; CHECK-NEXT:    vand.vi v12, v8, 15, v0.t
 348 ; CHECK-NEXT:    vsll.vi v12, v12, 4, v0.t
 349 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
 350 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
 351 ; CHECK-NEXT:    vor.vv v8, v8, v12, v0.t
 352 ; CHECK-NEXT:    vsrl.vi v12, v8, 2, v0.t
 353 ; CHECK-NEXT:    li a0, 51
 354 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
 355 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 356 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 357 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
 358 ; CHECK-NEXT:    vsrl.vi v12, v8, 1, v0.t
 359 ; CHECK-NEXT:    li a0, 85
 360 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
 361 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 362 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 363 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
 364 ; CHECK-NEXT:    ret
 365 ;
 366 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv32i8:
 367 ; CHECK-ZVBB:       # %bb.0:
 368 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m4, ta, ma
 369 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 370 ; CHECK-ZVBB-NEXT:    ret
 371   %v = call <vscale x 32 x i8> @llvm.vp.bitreverse.nxv32i8(<vscale x 32 x i8> %va, <vscale x 32 x i1> %m, i32 %evl)
 372   ret <vscale x 32 x i8> %v
 373 }
 374
 375 define <vscale x 32 x i8> @vp_bitreverse_nxv32i8_unmasked(<vscale x 32 x i8> %va, i32 zeroext %evl) {
 376 ; CHECK-LABEL: vp_bitreverse_nxv32i8_unmasked:
 377 ; CHECK:       # %bb.0:
 378 ; CHECK-NEXT:    vsetvli zero, a0, e8, m4, ta, ma
 379 ; CHECK-NEXT:    vand.vi v12, v8, 15
 380 ; CHECK-NEXT:    vsll.vi v12, v12, 4
 381 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 382 ; CHECK-NEXT:    vand.vi v8, v8, 15
 383 ; CHECK-NEXT:    vor.vv v8, v8, v12
 384 ; CHECK-NEXT:    vsrl.vi v12, v8, 2
 385 ; CHECK-NEXT:    li a0, 51
 386 ; CHECK-NEXT:    vand.vx v12, v12, a0
 387 ; CHECK-NEXT:    vand.vx v8, v8, a0
 388 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 389 ; CHECK-NEXT:    vor.vv v8, v12, v8
 390 ; CHECK-NEXT:    vsrl.vi v12, v8, 1
 391 ; CHECK-NEXT:    li a0, 85
 392 ; CHECK-NEXT:    vand.vx v12, v12, a0
 393 ; CHECK-NEXT:    vand.vx v8, v8, a0
 394 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 395 ; CHECK-NEXT:    vor.vv v8, v12, v8
 396 ; CHECK-NEXT:    ret
 397 ;
 398 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv32i8_unmasked:
 399 ; CHECK-ZVBB:       # %bb.0:
 400 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m4, ta, ma
 401 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 402 ; CHECK-ZVBB-NEXT:    ret
 403   %v = call <vscale x 32 x i8> @llvm.vp.bitreverse.nxv32i8(<vscale x 32 x i8> %va, <vscale x 32 x i1> splat (i1 true), i32 %evl)
 404   ret <vscale x 32 x i8> %v
 405 }
 406
 407 declare <vscale x 64 x i8> @llvm.vp.bitreverse.nxv64i8(<vscale x 64 x i8>, <vscale x 64 x i1>, i32)
 408
 409 define <vscale x 64 x i8> @vp_bitreverse_nxv64i8(<vscale x 64 x i8> %va, <vscale x 64 x i1> %m, i32 zeroext %evl) {
 410 ; CHECK-LABEL: vp_bitreverse_nxv64i8:
 411 ; CHECK:       # %bb.0:
 412 ; CHECK-NEXT:    vsetvli zero, a0, e8, m8, ta, ma
 413 ; CHECK-NEXT:    vand.vi v16, v8, 15, v0.t
 414 ; CHECK-NEXT:    vsll.vi v16, v16, 4, v0.t
 415 ; CHECK-NEXT:    vsrl.vi v8, v8, 4, v0.t
 416 ; CHECK-NEXT:    vand.vi v8, v8, 15, v0.t
 417 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
 418 ; CHECK-NEXT:    vsrl.vi v16, v8, 2, v0.t
 419 ; CHECK-NEXT:    li a0, 51
 420 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
 421 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 422 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 423 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
 424 ; CHECK-NEXT:    vsrl.vi v16, v8, 1, v0.t
 425 ; CHECK-NEXT:    li a0, 85
 426 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
 427 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 428 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 429 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
 430 ; CHECK-NEXT:    ret
 431 ;
 432 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv64i8:
 433 ; CHECK-ZVBB:       # %bb.0:
 434 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m8, ta, ma
 435 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 436 ; CHECK-ZVBB-NEXT:    ret
 437   %v = call <vscale x 64 x i8> @llvm.vp.bitreverse.nxv64i8(<vscale x 64 x i8> %va, <vscale x 64 x i1> %m, i32 %evl)
 438   ret <vscale x 64 x i8> %v
 439 }
 440
 441 define <vscale x 64 x i8> @vp_bitreverse_nxv64i8_unmasked(<vscale x 64 x i8> %va, i32 zeroext %evl) {
 442 ; CHECK-LABEL: vp_bitreverse_nxv64i8_unmasked:
 443 ; CHECK:       # %bb.0:
 444 ; CHECK-NEXT:    vsetvli zero, a0, e8, m8, ta, ma
 445 ; CHECK-NEXT:    vand.vi v16, v8, 15
 446 ; CHECK-NEXT:    vsll.vi v16, v16, 4
 447 ; CHECK-NEXT:    vsrl.vi v8, v8, 4
 448 ; CHECK-NEXT:    vand.vi v8, v8, 15
 449 ; CHECK-NEXT:    vor.vv v8, v8, v16
 450 ; CHECK-NEXT:    vsrl.vi v16, v8, 2
 451 ; CHECK-NEXT:    li a0, 51
 452 ; CHECK-NEXT:    vand.vx v16, v16, a0
 453 ; CHECK-NEXT:    vand.vx v8, v8, a0
 454 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 455 ; CHECK-NEXT:    vor.vv v8, v16, v8
 456 ; CHECK-NEXT:    vsrl.vi v16, v8, 1
 457 ; CHECK-NEXT:    li a0, 85
 458 ; CHECK-NEXT:    vand.vx v16, v16, a0
 459 ; CHECK-NEXT:    vand.vx v8, v8, a0
 460 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 461 ; CHECK-NEXT:    vor.vv v8, v16, v8
 462 ; CHECK-NEXT:    ret
 463 ;
 464 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv64i8_unmasked:
 465 ; CHECK-ZVBB:       # %bb.0:
 466 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e8, m8, ta, ma
 467 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 468 ; CHECK-ZVBB-NEXT:    ret
 469   %v = call <vscale x 64 x i8> @llvm.vp.bitreverse.nxv64i8(<vscale x 64 x i8> %va, <vscale x 64 x i1> splat (i1 true), i32 %evl)
 470   ret <vscale x 64 x i8> %v
 471 }
 472
 473 declare <vscale x 1 x i16> @llvm.vp.bitreverse.nxv1i16(<vscale x 1 x i16>, <vscale x 1 x i1>, i32)
 474
 475 define <vscale x 1 x i16> @vp_bitreverse_nxv1i16(<vscale x 1 x i16> %va, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 476 ; CHECK-LABEL: vp_bitreverse_nxv1i16:
 477 ; CHECK:       # %bb.0:
 478 ; CHECK-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
 479 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
 480 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 481 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 482 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
 483 ; CHECK-NEXT:    lui a0, 1
 484 ; CHECK-NEXT:    addi a0, a0, -241
 485 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 486 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 487 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 488 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 489 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 490 ; CHECK-NEXT:    lui a0, 3
 491 ; CHECK-NEXT:    addi a0, a0, 819
 492 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 493 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 494 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 495 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 496 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 497 ; CHECK-NEXT:    lui a0, 5
 498 ; CHECK-NEXT:    addi a0, a0, 1365
 499 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 500 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 501 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 502 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 503 ; CHECK-NEXT:    ret
 504 ;
 505 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i16:
 506 ; CHECK-ZVBB:       # %bb.0:
 507 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
 508 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 509 ; CHECK-ZVBB-NEXT:    ret
 510   %v = call <vscale x 1 x i16> @llvm.vp.bitreverse.nxv1i16(<vscale x 1 x i16> %va, <vscale x 1 x i1> %m, i32 %evl)
 511   ret <vscale x 1 x i16> %v
 512 }
 513
 514 define <vscale x 1 x i16> @vp_bitreverse_nxv1i16_unmasked(<vscale x 1 x i16> %va, i32 zeroext %evl) {
 515 ; CHECK-LABEL: vp_bitreverse_nxv1i16_unmasked:
 516 ; CHECK:       # %bb.0:
 517 ; CHECK-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
 518 ; CHECK-NEXT:    vsrl.vi v9, v8, 8
 519 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 520 ; CHECK-NEXT:    vor.vv v8, v8, v9
 521 ; CHECK-NEXT:    vsrl.vi v9, v8, 4
 522 ; CHECK-NEXT:    lui a0, 1
 523 ; CHECK-NEXT:    addi a0, a0, -241
 524 ; CHECK-NEXT:    vand.vx v9, v9, a0
 525 ; CHECK-NEXT:    vand.vx v8, v8, a0
 526 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 527 ; CHECK-NEXT:    vor.vv v8, v9, v8
 528 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 529 ; CHECK-NEXT:    lui a0, 3
 530 ; CHECK-NEXT:    addi a0, a0, 819
 531 ; CHECK-NEXT:    vand.vx v9, v9, a0
 532 ; CHECK-NEXT:    vand.vx v8, v8, a0
 533 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 534 ; CHECK-NEXT:    vor.vv v8, v9, v8
 535 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 536 ; CHECK-NEXT:    lui a0, 5
 537 ; CHECK-NEXT:    addi a0, a0, 1365
 538 ; CHECK-NEXT:    vand.vx v9, v9, a0
 539 ; CHECK-NEXT:    vand.vx v8, v8, a0
 540 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 541 ; CHECK-NEXT:    vor.vv v8, v9, v8
 542 ; CHECK-NEXT:    ret
 543 ;
 544 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i16_unmasked:
 545 ; CHECK-ZVBB:       # %bb.0:
 546 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
 547 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 548 ; CHECK-ZVBB-NEXT:    ret
 549   %v = call <vscale x 1 x i16> @llvm.vp.bitreverse.nxv1i16(<vscale x 1 x i16> %va, <vscale x 1 x i1> splat (i1 true), i32 %evl)
 550   ret <vscale x 1 x i16> %v
 551 }
 552
 553 declare <vscale x 2 x i16> @llvm.vp.bitreverse.nxv2i16(<vscale x 2 x i16>, <vscale x 2 x i1>, i32)
 554
 555 define <vscale x 2 x i16> @vp_bitreverse_nxv2i16(<vscale x 2 x i16> %va, <vscale x 2 x i1> %m, i32 zeroext %evl) {
 556 ; CHECK-LABEL: vp_bitreverse_nxv2i16:
 557 ; CHECK:       # %bb.0:
 558 ; CHECK-NEXT:    vsetvli zero, a0, e16, mf2, ta, ma
 559 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
 560 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 561 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 562 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
 563 ; CHECK-NEXT:    lui a0, 1
 564 ; CHECK-NEXT:    addi a0, a0, -241
 565 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 566 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 567 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 568 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 569 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 570 ; CHECK-NEXT:    lui a0, 3
 571 ; CHECK-NEXT:    addi a0, a0, 819
 572 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 573 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 574 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 575 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 576 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 577 ; CHECK-NEXT:    lui a0, 5
 578 ; CHECK-NEXT:    addi a0, a0, 1365
 579 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 580 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 581 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 582 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 583 ; CHECK-NEXT:    ret
 584 ;
 585 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i16:
 586 ; CHECK-ZVBB:       # %bb.0:
 587 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, mf2, ta, ma
 588 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 589 ; CHECK-ZVBB-NEXT:    ret
 590   %v = call <vscale x 2 x i16> @llvm.vp.bitreverse.nxv2i16(<vscale x 2 x i16> %va, <vscale x 2 x i1> %m, i32 %evl)
 591   ret <vscale x 2 x i16> %v
 592 }
 593
 594 define <vscale x 2 x i16> @vp_bitreverse_nxv2i16_unmasked(<vscale x 2 x i16> %va, i32 zeroext %evl) {
 595 ; CHECK-LABEL: vp_bitreverse_nxv2i16_unmasked:
 596 ; CHECK:       # %bb.0:
 597 ; CHECK-NEXT:    vsetvli zero, a0, e16, mf2, ta, ma
 598 ; CHECK-NEXT:    vsrl.vi v9, v8, 8
 599 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 600 ; CHECK-NEXT:    vor.vv v8, v8, v9
 601 ; CHECK-NEXT:    vsrl.vi v9, v8, 4
 602 ; CHECK-NEXT:    lui a0, 1
 603 ; CHECK-NEXT:    addi a0, a0, -241
 604 ; CHECK-NEXT:    vand.vx v9, v9, a0
 605 ; CHECK-NEXT:    vand.vx v8, v8, a0
 606 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 607 ; CHECK-NEXT:    vor.vv v8, v9, v8
 608 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 609 ; CHECK-NEXT:    lui a0, 3
 610 ; CHECK-NEXT:    addi a0, a0, 819
 611 ; CHECK-NEXT:    vand.vx v9, v9, a0
 612 ; CHECK-NEXT:    vand.vx v8, v8, a0
 613 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 614 ; CHECK-NEXT:    vor.vv v8, v9, v8
 615 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 616 ; CHECK-NEXT:    lui a0, 5
 617 ; CHECK-NEXT:    addi a0, a0, 1365
 618 ; CHECK-NEXT:    vand.vx v9, v9, a0
 619 ; CHECK-NEXT:    vand.vx v8, v8, a0
 620 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 621 ; CHECK-NEXT:    vor.vv v8, v9, v8
 622 ; CHECK-NEXT:    ret
 623 ;
 624 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i16_unmasked:
 625 ; CHECK-ZVBB:       # %bb.0:
 626 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, mf2, ta, ma
 627 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 628 ; CHECK-ZVBB-NEXT:    ret
 629   %v = call <vscale x 2 x i16> @llvm.vp.bitreverse.nxv2i16(<vscale x 2 x i16> %va, <vscale x 2 x i1> splat (i1 true), i32 %evl)
 630   ret <vscale x 2 x i16> %v
 631 }
 632
 633 declare <vscale x 4 x i16> @llvm.vp.bitreverse.nxv4i16(<vscale x 4 x i16>, <vscale x 4 x i1>, i32)
 634
 635 define <vscale x 4 x i16> @vp_bitreverse_nxv4i16(<vscale x 4 x i16> %va, <vscale x 4 x i1> %m, i32 zeroext %evl) {
 636 ; CHECK-LABEL: vp_bitreverse_nxv4i16:
 637 ; CHECK:       # %bb.0:
 638 ; CHECK-NEXT:    vsetvli zero, a0, e16, m1, ta, ma
 639 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
 640 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 641 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 642 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
 643 ; CHECK-NEXT:    lui a0, 1
 644 ; CHECK-NEXT:    addi a0, a0, -241
 645 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 646 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 647 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 648 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 649 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 650 ; CHECK-NEXT:    lui a0, 3
 651 ; CHECK-NEXT:    addi a0, a0, 819
 652 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 653 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 654 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 655 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 656 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 657 ; CHECK-NEXT:    lui a0, 5
 658 ; CHECK-NEXT:    addi a0, a0, 1365
 659 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 660 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 661 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 662 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 663 ; CHECK-NEXT:    ret
 664 ;
 665 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i16:
 666 ; CHECK-ZVBB:       # %bb.0:
 667 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m1, ta, ma
 668 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 669 ; CHECK-ZVBB-NEXT:    ret
 670   %v = call <vscale x 4 x i16> @llvm.vp.bitreverse.nxv4i16(<vscale x 4 x i16> %va, <vscale x 4 x i1> %m, i32 %evl)
 671   ret <vscale x 4 x i16> %v
 672 }
 673
 674 define <vscale x 4 x i16> @vp_bitreverse_nxv4i16_unmasked(<vscale x 4 x i16> %va, i32 zeroext %evl) {
 675 ; CHECK-LABEL: vp_bitreverse_nxv4i16_unmasked:
 676 ; CHECK:       # %bb.0:
 677 ; CHECK-NEXT:    vsetvli zero, a0, e16, m1, ta, ma
 678 ; CHECK-NEXT:    vsrl.vi v9, v8, 8
 679 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 680 ; CHECK-NEXT:    vor.vv v8, v8, v9
 681 ; CHECK-NEXT:    vsrl.vi v9, v8, 4
 682 ; CHECK-NEXT:    lui a0, 1
 683 ; CHECK-NEXT:    addi a0, a0, -241
 684 ; CHECK-NEXT:    vand.vx v9, v9, a0
 685 ; CHECK-NEXT:    vand.vx v8, v8, a0
 686 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 687 ; CHECK-NEXT:    vor.vv v8, v9, v8
 688 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
 689 ; CHECK-NEXT:    lui a0, 3
 690 ; CHECK-NEXT:    addi a0, a0, 819
 691 ; CHECK-NEXT:    vand.vx v9, v9, a0
 692 ; CHECK-NEXT:    vand.vx v8, v8, a0
 693 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 694 ; CHECK-NEXT:    vor.vv v8, v9, v8
 695 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
 696 ; CHECK-NEXT:    lui a0, 5
 697 ; CHECK-NEXT:    addi a0, a0, 1365
 698 ; CHECK-NEXT:    vand.vx v9, v9, a0
 699 ; CHECK-NEXT:    vand.vx v8, v8, a0
 700 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 701 ; CHECK-NEXT:    vor.vv v8, v9, v8
 702 ; CHECK-NEXT:    ret
 703 ;
 704 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i16_unmasked:
 705 ; CHECK-ZVBB:       # %bb.0:
 706 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m1, ta, ma
 707 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 708 ; CHECK-ZVBB-NEXT:    ret
 709   %v = call <vscale x 4 x i16> @llvm.vp.bitreverse.nxv4i16(<vscale x 4 x i16> %va, <vscale x 4 x i1> splat (i1 true), i32 %evl)
 710   ret <vscale x 4 x i16> %v
 711 }
 712
 713 declare <vscale x 8 x i16> @llvm.vp.bitreverse.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i1>, i32)
 714
 715 define <vscale x 8 x i16> @vp_bitreverse_nxv8i16(<vscale x 8 x i16> %va, <vscale x 8 x i1> %m, i32 zeroext %evl) {
 716 ; CHECK-LABEL: vp_bitreverse_nxv8i16:
 717 ; CHECK:       # %bb.0:
 718 ; CHECK-NEXT:    vsetvli zero, a0, e16, m2, ta, ma
 719 ; CHECK-NEXT:    vsrl.vi v10, v8, 8, v0.t
 720 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 721 ; CHECK-NEXT:    vor.vv v8, v8, v10, v0.t
 722 ; CHECK-NEXT:    vsrl.vi v10, v8, 4, v0.t
 723 ; CHECK-NEXT:    lui a0, 1
 724 ; CHECK-NEXT:    addi a0, a0, -241
 725 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
 726 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 727 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 728 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
 729 ; CHECK-NEXT:    vsrl.vi v10, v8, 2, v0.t
 730 ; CHECK-NEXT:    lui a0, 3
 731 ; CHECK-NEXT:    addi a0, a0, 819
 732 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
 733 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 734 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 735 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
 736 ; CHECK-NEXT:    vsrl.vi v10, v8, 1, v0.t
 737 ; CHECK-NEXT:    lui a0, 5
 738 ; CHECK-NEXT:    addi a0, a0, 1365
 739 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
 740 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 741 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 742 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
 743 ; CHECK-NEXT:    ret
 744 ;
 745 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i16:
 746 ; CHECK-ZVBB:       # %bb.0:
 747 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m2, ta, ma
 748 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 749 ; CHECK-ZVBB-NEXT:    ret
 750   %v = call <vscale x 8 x i16> @llvm.vp.bitreverse.nxv8i16(<vscale x 8 x i16> %va, <vscale x 8 x i1> %m, i32 %evl)
 751   ret <vscale x 8 x i16> %v
 752 }
 753
 754 define <vscale x 8 x i16> @vp_bitreverse_nxv8i16_unmasked(<vscale x 8 x i16> %va, i32 zeroext %evl) {
 755 ; CHECK-LABEL: vp_bitreverse_nxv8i16_unmasked:
 756 ; CHECK:       # %bb.0:
 757 ; CHECK-NEXT:    vsetvli zero, a0, e16, m2, ta, ma
 758 ; CHECK-NEXT:    vsrl.vi v10, v8, 8
 759 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 760 ; CHECK-NEXT:    vor.vv v8, v8, v10
 761 ; CHECK-NEXT:    vsrl.vi v10, v8, 4
 762 ; CHECK-NEXT:    lui a0, 1
 763 ; CHECK-NEXT:    addi a0, a0, -241
 764 ; CHECK-NEXT:    vand.vx v10, v10, a0
 765 ; CHECK-NEXT:    vand.vx v8, v8, a0
 766 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 767 ; CHECK-NEXT:    vor.vv v8, v10, v8
 768 ; CHECK-NEXT:    vsrl.vi v10, v8, 2
 769 ; CHECK-NEXT:    lui a0, 3
 770 ; CHECK-NEXT:    addi a0, a0, 819
 771 ; CHECK-NEXT:    vand.vx v10, v10, a0
 772 ; CHECK-NEXT:    vand.vx v8, v8, a0
 773 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 774 ; CHECK-NEXT:    vor.vv v8, v10, v8
 775 ; CHECK-NEXT:    vsrl.vi v10, v8, 1
 776 ; CHECK-NEXT:    lui a0, 5
 777 ; CHECK-NEXT:    addi a0, a0, 1365
 778 ; CHECK-NEXT:    vand.vx v10, v10, a0
 779 ; CHECK-NEXT:    vand.vx v8, v8, a0
 780 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 781 ; CHECK-NEXT:    vor.vv v8, v10, v8
 782 ; CHECK-NEXT:    ret
 783 ;
 784 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i16_unmasked:
 785 ; CHECK-ZVBB:       # %bb.0:
 786 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m2, ta, ma
 787 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 788 ; CHECK-ZVBB-NEXT:    ret
 789   %v = call <vscale x 8 x i16> @llvm.vp.bitreverse.nxv8i16(<vscale x 8 x i16> %va, <vscale x 8 x i1> splat (i1 true), i32 %evl)
 790   ret <vscale x 8 x i16> %v
 791 }
 792
 793 declare <vscale x 16 x i16> @llvm.vp.bitreverse.nxv16i16(<vscale x 16 x i16>, <vscale x 16 x i1>, i32)
 794
 795 define <vscale x 16 x i16> @vp_bitreverse_nxv16i16(<vscale x 16 x i16> %va, <vscale x 16 x i1> %m, i32 zeroext %evl) {
 796 ; CHECK-LABEL: vp_bitreverse_nxv16i16:
 797 ; CHECK:       # %bb.0:
 798 ; CHECK-NEXT:    vsetvli zero, a0, e16, m4, ta, ma
 799 ; CHECK-NEXT:    vsrl.vi v12, v8, 8, v0.t
 800 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 801 ; CHECK-NEXT:    vor.vv v8, v8, v12, v0.t
 802 ; CHECK-NEXT:    vsrl.vi v12, v8, 4, v0.t
 803 ; CHECK-NEXT:    lui a0, 1
 804 ; CHECK-NEXT:    addi a0, a0, -241
 805 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
 806 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 807 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 808 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
 809 ; CHECK-NEXT:    vsrl.vi v12, v8, 2, v0.t
 810 ; CHECK-NEXT:    lui a0, 3
 811 ; CHECK-NEXT:    addi a0, a0, 819
 812 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
 813 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 814 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 815 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
 816 ; CHECK-NEXT:    vsrl.vi v12, v8, 1, v0.t
 817 ; CHECK-NEXT:    lui a0, 5
 818 ; CHECK-NEXT:    addi a0, a0, 1365
 819 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
 820 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 821 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 822 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
 823 ; CHECK-NEXT:    ret
 824 ;
 825 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i16:
 826 ; CHECK-ZVBB:       # %bb.0:
 827 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m4, ta, ma
 828 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 829 ; CHECK-ZVBB-NEXT:    ret
 830   %v = call <vscale x 16 x i16> @llvm.vp.bitreverse.nxv16i16(<vscale x 16 x i16> %va, <vscale x 16 x i1> %m, i32 %evl)
 831   ret <vscale x 16 x i16> %v
 832 }
 833
 834 define <vscale x 16 x i16> @vp_bitreverse_nxv16i16_unmasked(<vscale x 16 x i16> %va, i32 zeroext %evl) {
 835 ; CHECK-LABEL: vp_bitreverse_nxv16i16_unmasked:
 836 ; CHECK:       # %bb.0:
 837 ; CHECK-NEXT:    vsetvli zero, a0, e16, m4, ta, ma
 838 ; CHECK-NEXT:    vsrl.vi v12, v8, 8
 839 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 840 ; CHECK-NEXT:    vor.vv v8, v8, v12
 841 ; CHECK-NEXT:    vsrl.vi v12, v8, 4
 842 ; CHECK-NEXT:    lui a0, 1
 843 ; CHECK-NEXT:    addi a0, a0, -241
 844 ; CHECK-NEXT:    vand.vx v12, v12, a0
 845 ; CHECK-NEXT:    vand.vx v8, v8, a0
 846 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 847 ; CHECK-NEXT:    vor.vv v8, v12, v8
 848 ; CHECK-NEXT:    vsrl.vi v12, v8, 2
 849 ; CHECK-NEXT:    lui a0, 3
 850 ; CHECK-NEXT:    addi a0, a0, 819
 851 ; CHECK-NEXT:    vand.vx v12, v12, a0
 852 ; CHECK-NEXT:    vand.vx v8, v8, a0
 853 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 854 ; CHECK-NEXT:    vor.vv v8, v12, v8
 855 ; CHECK-NEXT:    vsrl.vi v12, v8, 1
 856 ; CHECK-NEXT:    lui a0, 5
 857 ; CHECK-NEXT:    addi a0, a0, 1365
 858 ; CHECK-NEXT:    vand.vx v12, v12, a0
 859 ; CHECK-NEXT:    vand.vx v8, v8, a0
 860 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 861 ; CHECK-NEXT:    vor.vv v8, v12, v8
 862 ; CHECK-NEXT:    ret
 863 ;
 864 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i16_unmasked:
 865 ; CHECK-ZVBB:       # %bb.0:
 866 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m4, ta, ma
 867 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 868 ; CHECK-ZVBB-NEXT:    ret
 869   %v = call <vscale x 16 x i16> @llvm.vp.bitreverse.nxv16i16(<vscale x 16 x i16> %va, <vscale x 16 x i1> splat (i1 true), i32 %evl)
 870   ret <vscale x 16 x i16> %v
 871 }
 872
 873 declare <vscale x 32 x i16> @llvm.vp.bitreverse.nxv32i16(<vscale x 32 x i16>, <vscale x 32 x i1>, i32)
 874
 875 define <vscale x 32 x i16> @vp_bitreverse_nxv32i16(<vscale x 32 x i16> %va, <vscale x 32 x i1> %m, i32 zeroext %evl) {
 876 ; CHECK-LABEL: vp_bitreverse_nxv32i16:
 877 ; CHECK:       # %bb.0:
 878 ; CHECK-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
 879 ; CHECK-NEXT:    vsrl.vi v16, v8, 8, v0.t
 880 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
 881 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
 882 ; CHECK-NEXT:    vsrl.vi v16, v8, 4, v0.t
 883 ; CHECK-NEXT:    lui a0, 1
 884 ; CHECK-NEXT:    addi a0, a0, -241
 885 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
 886 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 887 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 888 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
 889 ; CHECK-NEXT:    vsrl.vi v16, v8, 2, v0.t
 890 ; CHECK-NEXT:    lui a0, 3
 891 ; CHECK-NEXT:    addi a0, a0, 819
 892 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
 893 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 894 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 895 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
 896 ; CHECK-NEXT:    vsrl.vi v16, v8, 1, v0.t
 897 ; CHECK-NEXT:    lui a0, 5
 898 ; CHECK-NEXT:    addi a0, a0, 1365
 899 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
 900 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 901 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 902 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
 903 ; CHECK-NEXT:    ret
 904 ;
 905 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv32i16:
 906 ; CHECK-ZVBB:       # %bb.0:
 907 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
 908 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 909 ; CHECK-ZVBB-NEXT:    ret
 910   %v = call <vscale x 32 x i16> @llvm.vp.bitreverse.nxv32i16(<vscale x 32 x i16> %va, <vscale x 32 x i1> %m, i32 %evl)
 911   ret <vscale x 32 x i16> %v
 912 }
 913
 914 define <vscale x 32 x i16> @vp_bitreverse_nxv32i16_unmasked(<vscale x 32 x i16> %va, i32 zeroext %evl) {
 915 ; CHECK-LABEL: vp_bitreverse_nxv32i16_unmasked:
 916 ; CHECK:       # %bb.0:
 917 ; CHECK-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
 918 ; CHECK-NEXT:    vsrl.vi v16, v8, 8
 919 ; CHECK-NEXT:    vsll.vi v8, v8, 8
 920 ; CHECK-NEXT:    vor.vv v8, v8, v16
 921 ; CHECK-NEXT:    vsrl.vi v16, v8, 4
 922 ; CHECK-NEXT:    lui a0, 1
 923 ; CHECK-NEXT:    addi a0, a0, -241
 924 ; CHECK-NEXT:    vand.vx v16, v16, a0
 925 ; CHECK-NEXT:    vand.vx v8, v8, a0
 926 ; CHECK-NEXT:    vsll.vi v8, v8, 4
 927 ; CHECK-NEXT:    vor.vv v8, v16, v8
 928 ; CHECK-NEXT:    vsrl.vi v16, v8, 2
 929 ; CHECK-NEXT:    lui a0, 3
 930 ; CHECK-NEXT:    addi a0, a0, 819
 931 ; CHECK-NEXT:    vand.vx v16, v16, a0
 932 ; CHECK-NEXT:    vand.vx v8, v8, a0
 933 ; CHECK-NEXT:    vsll.vi v8, v8, 2
 934 ; CHECK-NEXT:    vor.vv v8, v16, v8
 935 ; CHECK-NEXT:    vsrl.vi v16, v8, 1
 936 ; CHECK-NEXT:    lui a0, 5
 937 ; CHECK-NEXT:    addi a0, a0, 1365
 938 ; CHECK-NEXT:    vand.vx v16, v16, a0
 939 ; CHECK-NEXT:    vand.vx v8, v8, a0
 940 ; CHECK-NEXT:    vadd.vv v8, v8, v8
 941 ; CHECK-NEXT:    vor.vv v8, v16, v8
 942 ; CHECK-NEXT:    ret
 943 ;
 944 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv32i16_unmasked:
 945 ; CHECK-ZVBB:       # %bb.0:
 946 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
 947 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
 948 ; CHECK-ZVBB-NEXT:    ret
 949   %v = call <vscale x 32 x i16> @llvm.vp.bitreverse.nxv32i16(<vscale x 32 x i16> %va, <vscale x 32 x i1> splat (i1 true), i32 %evl)
 950   ret <vscale x 32 x i16> %v
 951 }
 952
 953 declare <vscale x 1 x i32> @llvm.vp.bitreverse.nxv1i32(<vscale x 1 x i32>, <vscale x 1 x i1>, i32)
 954
 955 define <vscale x 1 x i32> @vp_bitreverse_nxv1i32(<vscale x 1 x i32> %va, <vscale x 1 x i1> %m, i32 zeroext %evl) {
 956 ; CHECK-LABEL: vp_bitreverse_nxv1i32:
 957 ; CHECK:       # %bb.0:
 958 ; CHECK-NEXT:    vsetvli zero, a0, e32, mf2, ta, ma
 959 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
 960 ; CHECK-NEXT:    lui a0, 16
 961 ; CHECK-NEXT:    addi a0, a0, -256
 962 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 963 ; CHECK-NEXT:    vsrl.vi v10, v8, 24, v0.t
 964 ; CHECK-NEXT:    vor.vv v9, v9, v10, v0.t
 965 ; CHECK-NEXT:    vand.vx v10, v8, a0, v0.t
 966 ; CHECK-NEXT:    vsll.vi v10, v10, 8, v0.t
 967 ; CHECK-NEXT:    vsll.vi v8, v8, 24, v0.t
 968 ; CHECK-NEXT:    vor.vv v8, v8, v10, v0.t
 969 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
 970 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
 971 ; CHECK-NEXT:    lui a0, 61681
 972 ; CHECK-NEXT:    addi a0, a0, -241
 973 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 974 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 975 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
 976 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 977 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
 978 ; CHECK-NEXT:    lui a0, 209715
 979 ; CHECK-NEXT:    addi a0, a0, 819
 980 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 981 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 982 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
 983 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 984 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
 985 ; CHECK-NEXT:    lui a0, 349525
 986 ; CHECK-NEXT:    addi a0, a0, 1365
 987 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
 988 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
 989 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
 990 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
 991 ; CHECK-NEXT:    ret
 992 ;
 993 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i32:
 994 ; CHECK-ZVBB:       # %bb.0:
 995 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, mf2, ta, ma
 996 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
 997 ; CHECK-ZVBB-NEXT:    ret
 998   %v = call <vscale x 1 x i32> @llvm.vp.bitreverse.nxv1i32(<vscale x 1 x i32> %va, <vscale x 1 x i1> %m, i32 %evl)
 999   ret <vscale x 1 x i32> %v
1000 }
1001
1002 define <vscale x 1 x i32> @vp_bitreverse_nxv1i32_unmasked(<vscale x 1 x i32> %va, i32 zeroext %evl) {
1003 ; CHECK-LABEL: vp_bitreverse_nxv1i32_unmasked:
1004 ; CHECK:       # %bb.0:
1005 ; CHECK-NEXT:    vsetvli zero, a0, e32, mf2, ta, ma
1006 ; CHECK-NEXT:    vsrl.vi v9, v8, 8
1007 ; CHECK-NEXT:    lui a0, 16
1008 ; CHECK-NEXT:    addi a0, a0, -256
1009 ; CHECK-NEXT:    vand.vx v9, v9, a0
1010 ; CHECK-NEXT:    vsrl.vi v10, v8, 24
1011 ; CHECK-NEXT:    vor.vv v9, v9, v10
1012 ; CHECK-NEXT:    vand.vx v10, v8, a0
1013 ; CHECK-NEXT:    vsll.vi v10, v10, 8
1014 ; CHECK-NEXT:    vsll.vi v8, v8, 24
1015 ; CHECK-NEXT:    vor.vv v8, v8, v10
1016 ; CHECK-NEXT:    vor.vv v8, v8, v9
1017 ; CHECK-NEXT:    vsrl.vi v9, v8, 4
1018 ; CHECK-NEXT:    lui a0, 61681
1019 ; CHECK-NEXT:    addi a0, a0, -241
1020 ; CHECK-NEXT:    vand.vx v9, v9, a0
1021 ; CHECK-NEXT:    vand.vx v8, v8, a0
1022 ; CHECK-NEXT:    vsll.vi v8, v8, 4
1023 ; CHECK-NEXT:    vor.vv v8, v9, v8
1024 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
1025 ; CHECK-NEXT:    lui a0, 209715
1026 ; CHECK-NEXT:    addi a0, a0, 819
1027 ; CHECK-NEXT:    vand.vx v9, v9, a0
1028 ; CHECK-NEXT:    vand.vx v8, v8, a0
1029 ; CHECK-NEXT:    vsll.vi v8, v8, 2
1030 ; CHECK-NEXT:    vor.vv v8, v9, v8
1031 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
1032 ; CHECK-NEXT:    lui a0, 349525
1033 ; CHECK-NEXT:    addi a0, a0, 1365
1034 ; CHECK-NEXT:    vand.vx v9, v9, a0
1035 ; CHECK-NEXT:    vand.vx v8, v8, a0
1036 ; CHECK-NEXT:    vadd.vv v8, v8, v8
1037 ; CHECK-NEXT:    vor.vv v8, v9, v8
1038 ; CHECK-NEXT:    ret
1039 ;
1040 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i32_unmasked:
1041 ; CHECK-ZVBB:       # %bb.0:
1042 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, mf2, ta, ma
1043 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1044 ; CHECK-ZVBB-NEXT:    ret
1045   %v = call <vscale x 1 x i32> @llvm.vp.bitreverse.nxv1i32(<vscale x 1 x i32> %va, <vscale x 1 x i1> splat (i1 true), i32 %evl)
1046   ret <vscale x 1 x i32> %v
1047 }
1048
1049 declare <vscale x 2 x i32> @llvm.vp.bitreverse.nxv2i32(<vscale x 2 x i32>, <vscale x 2 x i1>, i32)
1050
1051 define <vscale x 2 x i32> @vp_bitreverse_nxv2i32(<vscale x 2 x i32> %va, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1052 ; CHECK-LABEL: vp_bitreverse_nxv2i32:
1053 ; CHECK:       # %bb.0:
1054 ; CHECK-NEXT:    vsetvli zero, a0, e32, m1, ta, ma
1055 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
1056 ; CHECK-NEXT:    lui a0, 16
1057 ; CHECK-NEXT:    addi a0, a0, -256
1058 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
1059 ; CHECK-NEXT:    vsrl.vi v10, v8, 24, v0.t
1060 ; CHECK-NEXT:    vor.vv v9, v9, v10, v0.t
1061 ; CHECK-NEXT:    vand.vx v10, v8, a0, v0.t
1062 ; CHECK-NEXT:    vsll.vi v10, v10, 8, v0.t
1063 ; CHECK-NEXT:    vsll.vi v8, v8, 24, v0.t
1064 ; CHECK-NEXT:    vor.vv v8, v8, v10, v0.t
1065 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
1066 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
1067 ; CHECK-NEXT:    lui a0, 61681
1068 ; CHECK-NEXT:    addi a0, a0, -241
1069 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
1070 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1071 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
1072 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
1073 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
1074 ; CHECK-NEXT:    lui a0, 209715
1075 ; CHECK-NEXT:    addi a0, a0, 819
1076 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
1077 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1078 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
1079 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
1080 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
1081 ; CHECK-NEXT:    lui a0, 349525
1082 ; CHECK-NEXT:    addi a0, a0, 1365
1083 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
1084 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1085 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
1086 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
1087 ; CHECK-NEXT:    ret
1088 ;
1089 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i32:
1090 ; CHECK-ZVBB:       # %bb.0:
1091 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m1, ta, ma
1092 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1093 ; CHECK-ZVBB-NEXT:    ret
1094   %v = call <vscale x 2 x i32> @llvm.vp.bitreverse.nxv2i32(<vscale x 2 x i32> %va, <vscale x 2 x i1> %m, i32 %evl)
1095   ret <vscale x 2 x i32> %v
1096 }
1097
1098 define <vscale x 2 x i32> @vp_bitreverse_nxv2i32_unmasked(<vscale x 2 x i32> %va, i32 zeroext %evl) {
1099 ; CHECK-LABEL: vp_bitreverse_nxv2i32_unmasked:
1100 ; CHECK:       # %bb.0:
1101 ; CHECK-NEXT:    vsetvli zero, a0, e32, m1, ta, ma
1102 ; CHECK-NEXT:    vsrl.vi v9, v8, 8
1103 ; CHECK-NEXT:    lui a0, 16
1104 ; CHECK-NEXT:    addi a0, a0, -256
1105 ; CHECK-NEXT:    vand.vx v9, v9, a0
1106 ; CHECK-NEXT:    vsrl.vi v10, v8, 24
1107 ; CHECK-NEXT:    vor.vv v9, v9, v10
1108 ; CHECK-NEXT:    vand.vx v10, v8, a0
1109 ; CHECK-NEXT:    vsll.vi v10, v10, 8
1110 ; CHECK-NEXT:    vsll.vi v8, v8, 24
1111 ; CHECK-NEXT:    vor.vv v8, v8, v10
1112 ; CHECK-NEXT:    vor.vv v8, v8, v9
1113 ; CHECK-NEXT:    vsrl.vi v9, v8, 4
1114 ; CHECK-NEXT:    lui a0, 61681
1115 ; CHECK-NEXT:    addi a0, a0, -241
1116 ; CHECK-NEXT:    vand.vx v9, v9, a0
1117 ; CHECK-NEXT:    vand.vx v8, v8, a0
1118 ; CHECK-NEXT:    vsll.vi v8, v8, 4
1119 ; CHECK-NEXT:    vor.vv v8, v9, v8
1120 ; CHECK-NEXT:    vsrl.vi v9, v8, 2
1121 ; CHECK-NEXT:    lui a0, 209715
1122 ; CHECK-NEXT:    addi a0, a0, 819
1123 ; CHECK-NEXT:    vand.vx v9, v9, a0
1124 ; CHECK-NEXT:    vand.vx v8, v8, a0
1125 ; CHECK-NEXT:    vsll.vi v8, v8, 2
1126 ; CHECK-NEXT:    vor.vv v8, v9, v8
1127 ; CHECK-NEXT:    vsrl.vi v9, v8, 1
1128 ; CHECK-NEXT:    lui a0, 349525
1129 ; CHECK-NEXT:    addi a0, a0, 1365
1130 ; CHECK-NEXT:    vand.vx v9, v9, a0
1131 ; CHECK-NEXT:    vand.vx v8, v8, a0
1132 ; CHECK-NEXT:    vadd.vv v8, v8, v8
1133 ; CHECK-NEXT:    vor.vv v8, v9, v8
1134 ; CHECK-NEXT:    ret
1135 ;
1136 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i32_unmasked:
1137 ; CHECK-ZVBB:       # %bb.0:
1138 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m1, ta, ma
1139 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1140 ; CHECK-ZVBB-NEXT:    ret
1141   %v = call <vscale x 2 x i32> @llvm.vp.bitreverse.nxv2i32(<vscale x 2 x i32> %va, <vscale x 2 x i1> splat (i1 true), i32 %evl)
1142   ret <vscale x 2 x i32> %v
1143 }
1144
1145 declare <vscale x 4 x i32> @llvm.vp.bitreverse.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, i32)
1146
1147 define <vscale x 4 x i32> @vp_bitreverse_nxv4i32(<vscale x 4 x i32> %va, <vscale x 4 x i1> %m, i32 zeroext %evl) {
1148 ; CHECK-LABEL: vp_bitreverse_nxv4i32:
1149 ; CHECK:       # %bb.0:
1150 ; CHECK-NEXT:    vsetvli zero, a0, e32, m2, ta, ma
1151 ; CHECK-NEXT:    vsrl.vi v10, v8, 8, v0.t
1152 ; CHECK-NEXT:    lui a0, 16
1153 ; CHECK-NEXT:    addi a0, a0, -256
1154 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
1155 ; CHECK-NEXT:    vsrl.vi v12, v8, 24, v0.t
1156 ; CHECK-NEXT:    vor.vv v10, v10, v12, v0.t
1157 ; CHECK-NEXT:    vand.vx v12, v8, a0, v0.t
1158 ; CHECK-NEXT:    vsll.vi v12, v12, 8, v0.t
1159 ; CHECK-NEXT:    vsll.vi v8, v8, 24, v0.t
1160 ; CHECK-NEXT:    vor.vv v8, v8, v12, v0.t
1161 ; CHECK-NEXT:    vor.vv v8, v8, v10, v0.t
1162 ; CHECK-NEXT:    vsrl.vi v10, v8, 4, v0.t
1163 ; CHECK-NEXT:    lui a0, 61681
1164 ; CHECK-NEXT:    addi a0, a0, -241
1165 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
1166 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1167 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
1168 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
1169 ; CHECK-NEXT:    vsrl.vi v10, v8, 2, v0.t
1170 ; CHECK-NEXT:    lui a0, 209715
1171 ; CHECK-NEXT:    addi a0, a0, 819
1172 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
1173 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1174 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
1175 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
1176 ; CHECK-NEXT:    vsrl.vi v10, v8, 1, v0.t
1177 ; CHECK-NEXT:    lui a0, 349525
1178 ; CHECK-NEXT:    addi a0, a0, 1365
1179 ; CHECK-NEXT:    vand.vx v10, v10, a0, v0.t
1180 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1181 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
1182 ; CHECK-NEXT:    vor.vv v8, v10, v8, v0.t
1183 ; CHECK-NEXT:    ret
1184 ;
1185 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i32:
1186 ; CHECK-ZVBB:       # %bb.0:
1187 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m2, ta, ma
1188 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1189 ; CHECK-ZVBB-NEXT:    ret
1190   %v = call <vscale x 4 x i32> @llvm.vp.bitreverse.nxv4i32(<vscale x 4 x i32> %va, <vscale x 4 x i1> %m, i32 %evl)
1191   ret <vscale x 4 x i32> %v
1192 }
1193
1194 define <vscale x 4 x i32> @vp_bitreverse_nxv4i32_unmasked(<vscale x 4 x i32> %va, i32 zeroext %evl) {
1195 ; CHECK-LABEL: vp_bitreverse_nxv4i32_unmasked:
1196 ; CHECK:       # %bb.0:
1197 ; CHECK-NEXT:    vsetvli zero, a0, e32, m2, ta, ma
1198 ; CHECK-NEXT:    vsrl.vi v10, v8, 8
1199 ; CHECK-NEXT:    lui a0, 16
1200 ; CHECK-NEXT:    addi a0, a0, -256
1201 ; CHECK-NEXT:    vand.vx v10, v10, a0
1202 ; CHECK-NEXT:    vsrl.vi v12, v8, 24
1203 ; CHECK-NEXT:    vor.vv v10, v10, v12
1204 ; CHECK-NEXT:    vand.vx v12, v8, a0
1205 ; CHECK-NEXT:    vsll.vi v12, v12, 8
1206 ; CHECK-NEXT:    vsll.vi v8, v8, 24
1207 ; CHECK-NEXT:    vor.vv v8, v8, v12
1208 ; CHECK-NEXT:    vor.vv v8, v8, v10
1209 ; CHECK-NEXT:    vsrl.vi v10, v8, 4
1210 ; CHECK-NEXT:    lui a0, 61681
1211 ; CHECK-NEXT:    addi a0, a0, -241
1212 ; CHECK-NEXT:    vand.vx v10, v10, a0
1213 ; CHECK-NEXT:    vand.vx v8, v8, a0
1214 ; CHECK-NEXT:    vsll.vi v8, v8, 4
1215 ; CHECK-NEXT:    vor.vv v8, v10, v8
1216 ; CHECK-NEXT:    vsrl.vi v10, v8, 2
1217 ; CHECK-NEXT:    lui a0, 209715
1218 ; CHECK-NEXT:    addi a0, a0, 819
1219 ; CHECK-NEXT:    vand.vx v10, v10, a0
1220 ; CHECK-NEXT:    vand.vx v8, v8, a0
1221 ; CHECK-NEXT:    vsll.vi v8, v8, 2
1222 ; CHECK-NEXT:    vor.vv v8, v10, v8
1223 ; CHECK-NEXT:    vsrl.vi v10, v8, 1
1224 ; CHECK-NEXT:    lui a0, 349525
1225 ; CHECK-NEXT:    addi a0, a0, 1365
1226 ; CHECK-NEXT:    vand.vx v10, v10, a0
1227 ; CHECK-NEXT:    vand.vx v8, v8, a0
1228 ; CHECK-NEXT:    vadd.vv v8, v8, v8
1229 ; CHECK-NEXT:    vor.vv v8, v10, v8
1230 ; CHECK-NEXT:    ret
1231 ;
1232 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i32_unmasked:
1233 ; CHECK-ZVBB:       # %bb.0:
1234 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m2, ta, ma
1235 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1236 ; CHECK-ZVBB-NEXT:    ret
1237   %v = call <vscale x 4 x i32> @llvm.vp.bitreverse.nxv4i32(<vscale x 4 x i32> %va, <vscale x 4 x i1> splat (i1 true), i32 %evl)
1238   ret <vscale x 4 x i32> %v
1239 }
1240
1241 declare <vscale x 8 x i32> @llvm.vp.bitreverse.nxv8i32(<vscale x 8 x i32>, <vscale x 8 x i1>, i32)
1242
1243 define <vscale x 8 x i32> @vp_bitreverse_nxv8i32(<vscale x 8 x i32> %va, <vscale x 8 x i1> %m, i32 zeroext %evl) {
1244 ; CHECK-LABEL: vp_bitreverse_nxv8i32:
1245 ; CHECK:       # %bb.0:
1246 ; CHECK-NEXT:    vsetvli zero, a0, e32, m4, ta, ma
1247 ; CHECK-NEXT:    vsrl.vi v12, v8, 8, v0.t
1248 ; CHECK-NEXT:    lui a0, 16
1249 ; CHECK-NEXT:    addi a0, a0, -256
1250 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
1251 ; CHECK-NEXT:    vsrl.vi v16, v8, 24, v0.t
1252 ; CHECK-NEXT:    vor.vv v12, v12, v16, v0.t
1253 ; CHECK-NEXT:    vand.vx v16, v8, a0, v0.t
1254 ; CHECK-NEXT:    vsll.vi v16, v16, 8, v0.t
1255 ; CHECK-NEXT:    vsll.vi v8, v8, 24, v0.t
1256 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
1257 ; CHECK-NEXT:    vor.vv v8, v8, v12, v0.t
1258 ; CHECK-NEXT:    vsrl.vi v12, v8, 4, v0.t
1259 ; CHECK-NEXT:    lui a0, 61681
1260 ; CHECK-NEXT:    addi a0, a0, -241
1261 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
1262 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1263 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
1264 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
1265 ; CHECK-NEXT:    vsrl.vi v12, v8, 2, v0.t
1266 ; CHECK-NEXT:    lui a0, 209715
1267 ; CHECK-NEXT:    addi a0, a0, 819
1268 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
1269 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1270 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
1271 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
1272 ; CHECK-NEXT:    vsrl.vi v12, v8, 1, v0.t
1273 ; CHECK-NEXT:    lui a0, 349525
1274 ; CHECK-NEXT:    addi a0, a0, 1365
1275 ; CHECK-NEXT:    vand.vx v12, v12, a0, v0.t
1276 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1277 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
1278 ; CHECK-NEXT:    vor.vv v8, v12, v8, v0.t
1279 ; CHECK-NEXT:    ret
1280 ;
1281 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i32:
1282 ; CHECK-ZVBB:       # %bb.0:
1283 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m4, ta, ma
1284 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1285 ; CHECK-ZVBB-NEXT:    ret
1286   %v = call <vscale x 8 x i32> @llvm.vp.bitreverse.nxv8i32(<vscale x 8 x i32> %va, <vscale x 8 x i1> %m, i32 %evl)
1287   ret <vscale x 8 x i32> %v
1288 }
1289
1290 define <vscale x 8 x i32> @vp_bitreverse_nxv8i32_unmasked(<vscale x 8 x i32> %va, i32 zeroext %evl) {
1291 ; CHECK-LABEL: vp_bitreverse_nxv8i32_unmasked:
1292 ; CHECK:       # %bb.0:
1293 ; CHECK-NEXT:    vsetvli zero, a0, e32, m4, ta, ma
1294 ; CHECK-NEXT:    vsrl.vi v12, v8, 8
1295 ; CHECK-NEXT:    lui a0, 16
1296 ; CHECK-NEXT:    addi a0, a0, -256
1297 ; CHECK-NEXT:    vand.vx v12, v12, a0
1298 ; CHECK-NEXT:    vsrl.vi v16, v8, 24
1299 ; CHECK-NEXT:    vor.vv v12, v12, v16
1300 ; CHECK-NEXT:    vand.vx v16, v8, a0
1301 ; CHECK-NEXT:    vsll.vi v16, v16, 8
1302 ; CHECK-NEXT:    vsll.vi v8, v8, 24
1303 ; CHECK-NEXT:    vor.vv v8, v8, v16
1304 ; CHECK-NEXT:    vor.vv v8, v8, v12
1305 ; CHECK-NEXT:    vsrl.vi v12, v8, 4
1306 ; CHECK-NEXT:    lui a0, 61681
1307 ; CHECK-NEXT:    addi a0, a0, -241
1308 ; CHECK-NEXT:    vand.vx v12, v12, a0
1309 ; CHECK-NEXT:    vand.vx v8, v8, a0
1310 ; CHECK-NEXT:    vsll.vi v8, v8, 4
1311 ; CHECK-NEXT:    vor.vv v8, v12, v8
1312 ; CHECK-NEXT:    vsrl.vi v12, v8, 2
1313 ; CHECK-NEXT:    lui a0, 209715
1314 ; CHECK-NEXT:    addi a0, a0, 819
1315 ; CHECK-NEXT:    vand.vx v12, v12, a0
1316 ; CHECK-NEXT:    vand.vx v8, v8, a0
1317 ; CHECK-NEXT:    vsll.vi v8, v8, 2
1318 ; CHECK-NEXT:    vor.vv v8, v12, v8
1319 ; CHECK-NEXT:    vsrl.vi v12, v8, 1
1320 ; CHECK-NEXT:    lui a0, 349525
1321 ; CHECK-NEXT:    addi a0, a0, 1365
1322 ; CHECK-NEXT:    vand.vx v12, v12, a0
1323 ; CHECK-NEXT:    vand.vx v8, v8, a0
1324 ; CHECK-NEXT:    vadd.vv v8, v8, v8
1325 ; CHECK-NEXT:    vor.vv v8, v12, v8
1326 ; CHECK-NEXT:    ret
1327 ;
1328 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i32_unmasked:
1329 ; CHECK-ZVBB:       # %bb.0:
1330 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m4, ta, ma
1331 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1332 ; CHECK-ZVBB-NEXT:    ret
1333   %v = call <vscale x 8 x i32> @llvm.vp.bitreverse.nxv8i32(<vscale x 8 x i32> %va, <vscale x 8 x i1> splat (i1 true), i32 %evl)
1334   ret <vscale x 8 x i32> %v
1335 }
1336
1337 declare <vscale x 16 x i32> @llvm.vp.bitreverse.nxv16i32(<vscale x 16 x i32>, <vscale x 16 x i1>, i32)
1338
1339 define <vscale x 16 x i32> @vp_bitreverse_nxv16i32(<vscale x 16 x i32> %va, <vscale x 16 x i1> %m, i32 zeroext %evl) {
1340 ; CHECK-LABEL: vp_bitreverse_nxv16i32:
1341 ; CHECK:       # %bb.0:
1342 ; CHECK-NEXT:    vsetvli zero, a0, e32, m8, ta, ma
1343 ; CHECK-NEXT:    vsrl.vi v16, v8, 8, v0.t
1344 ; CHECK-NEXT:    lui a0, 16
1345 ; CHECK-NEXT:    addi a0, a0, -256
1346 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
1347 ; CHECK-NEXT:    vsrl.vi v24, v8, 24, v0.t
1348 ; CHECK-NEXT:    vor.vv v16, v16, v24, v0.t
1349 ; CHECK-NEXT:    vand.vx v24, v8, a0, v0.t
1350 ; CHECK-NEXT:    vsll.vi v24, v24, 8, v0.t
1351 ; CHECK-NEXT:    vsll.vi v8, v8, 24, v0.t
1352 ; CHECK-NEXT:    vor.vv v8, v8, v24, v0.t
1353 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
1354 ; CHECK-NEXT:    vsrl.vi v16, v8, 4, v0.t
1355 ; CHECK-NEXT:    lui a0, 61681
1356 ; CHECK-NEXT:    addi a0, a0, -241
1357 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
1358 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1359 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
1360 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
1361 ; CHECK-NEXT:    vsrl.vi v16, v8, 2, v0.t
1362 ; CHECK-NEXT:    lui a0, 209715
1363 ; CHECK-NEXT:    addi a0, a0, 819
1364 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
1365 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1366 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
1367 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
1368 ; CHECK-NEXT:    vsrl.vi v16, v8, 1, v0.t
1369 ; CHECK-NEXT:    lui a0, 349525
1370 ; CHECK-NEXT:    addi a0, a0, 1365
1371 ; CHECK-NEXT:    vand.vx v16, v16, a0, v0.t
1372 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
1373 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
1374 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
1375 ; CHECK-NEXT:    ret
1376 ;
1377 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i32:
1378 ; CHECK-ZVBB:       # %bb.0:
1379 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m8, ta, ma
1380 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1381 ; CHECK-ZVBB-NEXT:    ret
1382   %v = call <vscale x 16 x i32> @llvm.vp.bitreverse.nxv16i32(<vscale x 16 x i32> %va, <vscale x 16 x i1> %m, i32 %evl)
1383   ret <vscale x 16 x i32> %v
1384 }
1385
1386 define <vscale x 16 x i32> @vp_bitreverse_nxv16i32_unmasked(<vscale x 16 x i32> %va, i32 zeroext %evl) {
1387 ; CHECK-LABEL: vp_bitreverse_nxv16i32_unmasked:
1388 ; CHECK:       # %bb.0:
1389 ; CHECK-NEXT:    vsetvli zero, a0, e32, m8, ta, ma
1390 ; CHECK-NEXT:    vsrl.vi v16, v8, 8
1391 ; CHECK-NEXT:    lui a0, 16
1392 ; CHECK-NEXT:    addi a0, a0, -256
1393 ; CHECK-NEXT:    vand.vx v16, v16, a0
1394 ; CHECK-NEXT:    vsrl.vi v24, v8, 24
1395 ; CHECK-NEXT:    vor.vv v16, v16, v24
1396 ; CHECK-NEXT:    vand.vx v24, v8, a0
1397 ; CHECK-NEXT:    vsll.vi v24, v24, 8
1398 ; CHECK-NEXT:    vsll.vi v8, v8, 24
1399 ; CHECK-NEXT:    vor.vv v8, v8, v24
1400 ; CHECK-NEXT:    vor.vv v8, v8, v16
1401 ; CHECK-NEXT:    vsrl.vi v16, v8, 4
1402 ; CHECK-NEXT:    lui a0, 61681
1403 ; CHECK-NEXT:    addi a0, a0, -241
1404 ; CHECK-NEXT:    vand.vx v16, v16, a0
1405 ; CHECK-NEXT:    vand.vx v8, v8, a0
1406 ; CHECK-NEXT:    vsll.vi v8, v8, 4
1407 ; CHECK-NEXT:    vor.vv v8, v16, v8
1408 ; CHECK-NEXT:    vsrl.vi v16, v8, 2
1409 ; CHECK-NEXT:    lui a0, 209715
1410 ; CHECK-NEXT:    addi a0, a0, 819
1411 ; CHECK-NEXT:    vand.vx v16, v16, a0
1412 ; CHECK-NEXT:    vand.vx v8, v8, a0
1413 ; CHECK-NEXT:    vsll.vi v8, v8, 2
1414 ; CHECK-NEXT:    vor.vv v8, v16, v8
1415 ; CHECK-NEXT:    vsrl.vi v16, v8, 1
1416 ; CHECK-NEXT:    lui a0, 349525
1417 ; CHECK-NEXT:    addi a0, a0, 1365
1418 ; CHECK-NEXT:    vand.vx v16, v16, a0
1419 ; CHECK-NEXT:    vand.vx v8, v8, a0
1420 ; CHECK-NEXT:    vadd.vv v8, v8, v8
1421 ; CHECK-NEXT:    vor.vv v8, v16, v8
1422 ; CHECK-NEXT:    ret
1423 ;
1424 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv16i32_unmasked:
1425 ; CHECK-ZVBB:       # %bb.0:
1426 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e32, m8, ta, ma
1427 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1428 ; CHECK-ZVBB-NEXT:    ret
1429   %v = call <vscale x 16 x i32> @llvm.vp.bitreverse.nxv16i32(<vscale x 16 x i32> %va, <vscale x 16 x i1> splat (i1 true), i32 %evl)
1430   ret <vscale x 16 x i32> %v
1431 }
1432
1433 declare <vscale x 1 x i64> @llvm.vp.bitreverse.nxv1i64(<vscale x 1 x i64>, <vscale x 1 x i1>, i32)
1434
1435 define <vscale x 1 x i64> @vp_bitreverse_nxv1i64(<vscale x 1 x i64> %va, <vscale x 1 x i1> %m, i32 zeroext %evl) {
1436 ; RV32-LABEL: vp_bitreverse_nxv1i64:
1437 ; RV32:       # %bb.0:
1438 ; RV32-NEXT:    addi sp, sp, -16
1439 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1440 ; RV32-NEXT:    sw zero, 12(sp)
1441 ; RV32-NEXT:    lui a1, 1044480
1442 ; RV32-NEXT:    sw a1, 8(sp)
1443 ; RV32-NEXT:    li a1, 56
1444 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1445 ; RV32-NEXT:    vsll.vx v9, v8, a1, v0.t
1446 ; RV32-NEXT:    lui a2, 16
1447 ; RV32-NEXT:    addi a2, a2, -256
1448 ; RV32-NEXT:    vand.vx v10, v8, a2, v0.t
1449 ; RV32-NEXT:    li a3, 40
1450 ; RV32-NEXT:    vsll.vx v10, v10, a3, v0.t
1451 ; RV32-NEXT:    vor.vv v9, v9, v10, v0.t
1452 ; RV32-NEXT:    addi a4, sp, 8
1453 ; RV32-NEXT:    vsetvli a5, zero, e64, m1, ta, ma
1454 ; RV32-NEXT:    vlse64.v v10, (a4), zero
1455 ; RV32-NEXT:    lui a4, 4080
1456 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1457 ; RV32-NEXT:    vand.vx v11, v8, a4, v0.t
1458 ; RV32-NEXT:    vsll.vi v11, v11, 24, v0.t
1459 ; RV32-NEXT:    vand.vv v12, v8, v10, v0.t
1460 ; RV32-NEXT:    vsll.vi v12, v12, 8, v0.t
1461 ; RV32-NEXT:    vor.vv v11, v11, v12, v0.t
1462 ; RV32-NEXT:    vor.vv v9, v9, v11, v0.t
1463 ; RV32-NEXT:    vsrl.vx v11, v8, a1, v0.t
1464 ; RV32-NEXT:    vsrl.vx v12, v8, a3, v0.t
1465 ; RV32-NEXT:    vand.vx v12, v12, a2, v0.t
1466 ; RV32-NEXT:    vor.vv v11, v12, v11, v0.t
1467 ; RV32-NEXT:    vsrl.vi v12, v8, 24, v0.t
1468 ; RV32-NEXT:    vand.vx v12, v12, a4, v0.t
1469 ; RV32-NEXT:    vsrl.vi v8, v8, 8, v0.t
1470 ; RV32-NEXT:    vand.vv v8, v8, v10, v0.t
1471 ; RV32-NEXT:    vor.vv v8, v8, v12, v0.t
1472 ; RV32-NEXT:    vor.vv v8, v8, v11, v0.t
1473 ; RV32-NEXT:    vor.vv v8, v9, v8, v0.t
1474 ; RV32-NEXT:    vsrl.vi v9, v8, 4, v0.t
1475 ; RV32-NEXT:    lui a1, 61681
1476 ; RV32-NEXT:    addi a1, a1, -241
1477 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1478 ; RV32-NEXT:    vmv.v.x v10, a1
1479 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1480 ; RV32-NEXT:    vand.vv v9, v9, v10, v0.t
1481 ; RV32-NEXT:    vand.vv v8, v8, v10, v0.t
1482 ; RV32-NEXT:    vsll.vi v8, v8, 4, v0.t
1483 ; RV32-NEXT:    vor.vv v8, v9, v8, v0.t
1484 ; RV32-NEXT:    vsrl.vi v9, v8, 2, v0.t
1485 ; RV32-NEXT:    lui a1, 209715
1486 ; RV32-NEXT:    addi a1, a1, 819
1487 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1488 ; RV32-NEXT:    vmv.v.x v10, a1
1489 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1490 ; RV32-NEXT:    vand.vv v9, v9, v10, v0.t
1491 ; RV32-NEXT:    vand.vv v8, v8, v10, v0.t
1492 ; RV32-NEXT:    vsll.vi v8, v8, 2, v0.t
1493 ; RV32-NEXT:    vor.vv v8, v9, v8, v0.t
1494 ; RV32-NEXT:    vsrl.vi v9, v8, 1, v0.t
1495 ; RV32-NEXT:    lui a1, 349525
1496 ; RV32-NEXT:    addi a1, a1, 1365
1497 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1498 ; RV32-NEXT:    vmv.v.x v10, a1
1499 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1500 ; RV32-NEXT:    vand.vv v9, v9, v10, v0.t
1501 ; RV32-NEXT:    vand.vv v8, v8, v10, v0.t
1502 ; RV32-NEXT:    vsll.vi v8, v8, 1, v0.t
1503 ; RV32-NEXT:    vor.vv v8, v9, v8, v0.t
1504 ; RV32-NEXT:    addi sp, sp, 16
1505 ; RV32-NEXT:    ret
1506 ;
1507 ; RV64-LABEL: vp_bitreverse_nxv1i64:
1508 ; RV64:       # %bb.0:
1509 ; RV64-NEXT:    lui a1, 4080
1510 ; RV64-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1511 ; RV64-NEXT:    vand.vx v9, v8, a1, v0.t
1512 ; RV64-NEXT:    vsll.vi v9, v9, 24, v0.t
1513 ; RV64-NEXT:    li a0, 255
1514 ; RV64-NEXT:    slli a0, a0, 24
1515 ; RV64-NEXT:    vand.vx v10, v8, a0, v0.t
1516 ; RV64-NEXT:    vsll.vi v10, v10, 8, v0.t
1517 ; RV64-NEXT:    vor.vv v9, v9, v10, v0.t
1518 ; RV64-NEXT:    li a2, 56
1519 ; RV64-NEXT:    vsll.vx v10, v8, a2, v0.t
1520 ; RV64-NEXT:    lui a3, 16
1521 ; RV64-NEXT:    addiw a3, a3, -256
1522 ; RV64-NEXT:    vand.vx v11, v8, a3, v0.t
1523 ; RV64-NEXT:    li a4, 40
1524 ; RV64-NEXT:    vsll.vx v11, v11, a4, v0.t
1525 ; RV64-NEXT:    vor.vv v10, v10, v11, v0.t
1526 ; RV64-NEXT:    vor.vv v9, v10, v9, v0.t
1527 ; RV64-NEXT:    vsrl.vx v10, v8, a2, v0.t
1528 ; RV64-NEXT:    vsrl.vx v11, v8, a4, v0.t
1529 ; RV64-NEXT:    vand.vx v11, v11, a3, v0.t
1530 ; RV64-NEXT:    vor.vv v10, v11, v10, v0.t
1531 ; RV64-NEXT:    vsrl.vi v11, v8, 24, v0.t
1532 ; RV64-NEXT:    vand.vx v11, v11, a1, v0.t
1533 ; RV64-NEXT:    vsrl.vi v8, v8, 8, v0.t
1534 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1535 ; RV64-NEXT:    vor.vv v8, v8, v11, v0.t
1536 ; RV64-NEXT:    vor.vv v8, v8, v10, v0.t
1537 ; RV64-NEXT:    vor.vv v8, v9, v8, v0.t
1538 ; RV64-NEXT:    vsrl.vi v9, v8, 4, v0.t
1539 ; RV64-NEXT:    lui a0, 61681
1540 ; RV64-NEXT:    addiw a0, a0, -241
1541 ; RV64-NEXT:    slli a1, a0, 32
1542 ; RV64-NEXT:    add a0, a0, a1
1543 ; RV64-NEXT:    vand.vx v9, v9, a0, v0.t
1544 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1545 ; RV64-NEXT:    vsll.vi v8, v8, 4, v0.t
1546 ; RV64-NEXT:    vor.vv v8, v9, v8, v0.t
1547 ; RV64-NEXT:    vsrl.vi v9, v8, 2, v0.t
1548 ; RV64-NEXT:    lui a0, 209715
1549 ; RV64-NEXT:    addiw a0, a0, 819
1550 ; RV64-NEXT:    slli a1, a0, 32
1551 ; RV64-NEXT:    add a0, a0, a1
1552 ; RV64-NEXT:    vand.vx v9, v9, a0, v0.t
1553 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1554 ; RV64-NEXT:    vsll.vi v8, v8, 2, v0.t
1555 ; RV64-NEXT:    vor.vv v8, v9, v8, v0.t
1556 ; RV64-NEXT:    vsrl.vi v9, v8, 1, v0.t
1557 ; RV64-NEXT:    lui a0, 349525
1558 ; RV64-NEXT:    addiw a0, a0, 1365
1559 ; RV64-NEXT:    slli a1, a0, 32
1560 ; RV64-NEXT:    add a0, a0, a1
1561 ; RV64-NEXT:    vand.vx v9, v9, a0, v0.t
1562 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1563 ; RV64-NEXT:    vsll.vi v8, v8, 1, v0.t
1564 ; RV64-NEXT:    vor.vv v8, v9, v8, v0.t
1565 ; RV64-NEXT:    ret
1566 ;
1567 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i64:
1568 ; CHECK-ZVBB:       # %bb.0:
1569 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1570 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1571 ; CHECK-ZVBB-NEXT:    ret
1572   %v = call <vscale x 1 x i64> @llvm.vp.bitreverse.nxv1i64(<vscale x 1 x i64> %va, <vscale x 1 x i1> %m, i32 %evl)
1573   ret <vscale x 1 x i64> %v
1574 }
1575
1576 define <vscale x 1 x i64> @vp_bitreverse_nxv1i64_unmasked(<vscale x 1 x i64> %va, i32 zeroext %evl) {
1577 ; RV32-LABEL: vp_bitreverse_nxv1i64_unmasked:
1578 ; RV32:       # %bb.0:
1579 ; RV32-NEXT:    addi sp, sp, -16
1580 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1581 ; RV32-NEXT:    sw zero, 12(sp)
1582 ; RV32-NEXT:    lui a1, 1044480
1583 ; RV32-NEXT:    sw a1, 8(sp)
1584 ; RV32-NEXT:    li a1, 56
1585 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1586 ; RV32-NEXT:    vsll.vx v9, v8, a1
1587 ; RV32-NEXT:    lui a2, 16
1588 ; RV32-NEXT:    addi a2, a2, -256
1589 ; RV32-NEXT:    vand.vx v10, v8, a2
1590 ; RV32-NEXT:    li a3, 40
1591 ; RV32-NEXT:    vsll.vx v10, v10, a3
1592 ; RV32-NEXT:    vor.vv v9, v9, v10
1593 ; RV32-NEXT:    addi a4, sp, 8
1594 ; RV32-NEXT:    vsetvli a5, zero, e64, m1, ta, ma
1595 ; RV32-NEXT:    vlse64.v v10, (a4), zero
1596 ; RV32-NEXT:    lui a4, 4080
1597 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1598 ; RV32-NEXT:    vand.vx v11, v8, a4
1599 ; RV32-NEXT:    vsll.vi v11, v11, 24
1600 ; RV32-NEXT:    vand.vv v12, v8, v10
1601 ; RV32-NEXT:    vsll.vi v12, v12, 8
1602 ; RV32-NEXT:    vor.vv v11, v11, v12
1603 ; RV32-NEXT:    vor.vv v9, v9, v11
1604 ; RV32-NEXT:    vsrl.vx v11, v8, a1
1605 ; RV32-NEXT:    vsrl.vx v12, v8, a3
1606 ; RV32-NEXT:    vand.vx v12, v12, a2
1607 ; RV32-NEXT:    vor.vv v11, v12, v11
1608 ; RV32-NEXT:    vsrl.vi v12, v8, 24
1609 ; RV32-NEXT:    vand.vx v12, v12, a4
1610 ; RV32-NEXT:    vsrl.vi v8, v8, 8
1611 ; RV32-NEXT:    vand.vv v8, v8, v10
1612 ; RV32-NEXT:    vor.vv v8, v8, v12
1613 ; RV32-NEXT:    vor.vv v8, v8, v11
1614 ; RV32-NEXT:    vor.vv v8, v9, v8
1615 ; RV32-NEXT:    vsrl.vi v9, v8, 4
1616 ; RV32-NEXT:    lui a1, 61681
1617 ; RV32-NEXT:    addi a1, a1, -241
1618 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1619 ; RV32-NEXT:    vmv.v.x v10, a1
1620 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1621 ; RV32-NEXT:    vand.vv v9, v9, v10
1622 ; RV32-NEXT:    vand.vv v8, v8, v10
1623 ; RV32-NEXT:    vsll.vi v8, v8, 4
1624 ; RV32-NEXT:    vor.vv v8, v9, v8
1625 ; RV32-NEXT:    vsrl.vi v9, v8, 2
1626 ; RV32-NEXT:    lui a1, 209715
1627 ; RV32-NEXT:    addi a1, a1, 819
1628 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1629 ; RV32-NEXT:    vmv.v.x v10, a1
1630 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1631 ; RV32-NEXT:    vand.vv v9, v9, v10
1632 ; RV32-NEXT:    vand.vv v8, v8, v10
1633 ; RV32-NEXT:    vsll.vi v8, v8, 2
1634 ; RV32-NEXT:    vor.vv v8, v9, v8
1635 ; RV32-NEXT:    vsrl.vi v9, v8, 1
1636 ; RV32-NEXT:    lui a1, 349525
1637 ; RV32-NEXT:    addi a1, a1, 1365
1638 ; RV32-NEXT:    vsetvli a2, zero, e32, m1, ta, ma
1639 ; RV32-NEXT:    vmv.v.x v10, a1
1640 ; RV32-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1641 ; RV32-NEXT:    vand.vv v9, v9, v10
1642 ; RV32-NEXT:    vand.vv v8, v8, v10
1643 ; RV32-NEXT:    vadd.vv v8, v8, v8
1644 ; RV32-NEXT:    vor.vv v8, v9, v8
1645 ; RV32-NEXT:    addi sp, sp, 16
1646 ; RV32-NEXT:    ret
1647 ;
1648 ; RV64-LABEL: vp_bitreverse_nxv1i64_unmasked:
1649 ; RV64:       # %bb.0:
1650 ; RV64-NEXT:    lui a1, 4080
1651 ; RV64-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1652 ; RV64-NEXT:    vand.vx v9, v8, a1
1653 ; RV64-NEXT:    vsll.vi v9, v9, 24
1654 ; RV64-NEXT:    li a0, 255
1655 ; RV64-NEXT:    slli a0, a0, 24
1656 ; RV64-NEXT:    vand.vx v10, v8, a0
1657 ; RV64-NEXT:    vsll.vi v10, v10, 8
1658 ; RV64-NEXT:    vor.vv v9, v9, v10
1659 ; RV64-NEXT:    li a2, 56
1660 ; RV64-NEXT:    vsll.vx v10, v8, a2
1661 ; RV64-NEXT:    lui a3, 16
1662 ; RV64-NEXT:    addiw a3, a3, -256
1663 ; RV64-NEXT:    vand.vx v11, v8, a3
1664 ; RV64-NEXT:    li a4, 40
1665 ; RV64-NEXT:    vsll.vx v11, v11, a4
1666 ; RV64-NEXT:    vor.vv v10, v10, v11
1667 ; RV64-NEXT:    vor.vv v9, v10, v9
1668 ; RV64-NEXT:    vsrl.vx v10, v8, a2
1669 ; RV64-NEXT:    vsrl.vx v11, v8, a4
1670 ; RV64-NEXT:    vand.vx v11, v11, a3
1671 ; RV64-NEXT:    vor.vv v10, v11, v10
1672 ; RV64-NEXT:    vsrl.vi v11, v8, 24
1673 ; RV64-NEXT:    vand.vx v11, v11, a1
1674 ; RV64-NEXT:    vsrl.vi v8, v8, 8
1675 ; RV64-NEXT:    vand.vx v8, v8, a0
1676 ; RV64-NEXT:    vor.vv v8, v8, v11
1677 ; RV64-NEXT:    vor.vv v8, v8, v10
1678 ; RV64-NEXT:    vor.vv v8, v9, v8
1679 ; RV64-NEXT:    vsrl.vi v9, v8, 4
1680 ; RV64-NEXT:    lui a0, 61681
1681 ; RV64-NEXT:    addiw a0, a0, -241
1682 ; RV64-NEXT:    slli a1, a0, 32
1683 ; RV64-NEXT:    add a0, a0, a1
1684 ; RV64-NEXT:    vand.vx v9, v9, a0
1685 ; RV64-NEXT:    vand.vx v8, v8, a0
1686 ; RV64-NEXT:    vsll.vi v8, v8, 4
1687 ; RV64-NEXT:    vor.vv v8, v9, v8
1688 ; RV64-NEXT:    vsrl.vi v9, v8, 2
1689 ; RV64-NEXT:    lui a0, 209715
1690 ; RV64-NEXT:    addiw a0, a0, 819
1691 ; RV64-NEXT:    slli a1, a0, 32
1692 ; RV64-NEXT:    add a0, a0, a1
1693 ; RV64-NEXT:    vand.vx v9, v9, a0
1694 ; RV64-NEXT:    vand.vx v8, v8, a0
1695 ; RV64-NEXT:    vsll.vi v8, v8, 2
1696 ; RV64-NEXT:    vor.vv v8, v9, v8
1697 ; RV64-NEXT:    vsrl.vi v9, v8, 1
1698 ; RV64-NEXT:    lui a0, 349525
1699 ; RV64-NEXT:    addiw a0, a0, 1365
1700 ; RV64-NEXT:    slli a1, a0, 32
1701 ; RV64-NEXT:    add a0, a0, a1
1702 ; RV64-NEXT:    vand.vx v9, v9, a0
1703 ; RV64-NEXT:    vand.vx v8, v8, a0
1704 ; RV64-NEXT:    vadd.vv v8, v8, v8
1705 ; RV64-NEXT:    vor.vv v8, v9, v8
1706 ; RV64-NEXT:    ret
1707 ;
1708 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i64_unmasked:
1709 ; CHECK-ZVBB:       # %bb.0:
1710 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m1, ta, ma
1711 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1712 ; CHECK-ZVBB-NEXT:    ret
1713   %v = call <vscale x 1 x i64> @llvm.vp.bitreverse.nxv1i64(<vscale x 1 x i64> %va, <vscale x 1 x i1> splat (i1 true), i32 %evl)
1714   ret <vscale x 1 x i64> %v
1715 }
1716
1717 declare <vscale x 2 x i64> @llvm.vp.bitreverse.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, i32)
1718
1719 define <vscale x 2 x i64> @vp_bitreverse_nxv2i64(<vscale x 2 x i64> %va, <vscale x 2 x i1> %m, i32 zeroext %evl) {
1720 ; RV32-LABEL: vp_bitreverse_nxv2i64:
1721 ; RV32:       # %bb.0:
1722 ; RV32-NEXT:    addi sp, sp, -16
1723 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1724 ; RV32-NEXT:    sw zero, 12(sp)
1725 ; RV32-NEXT:    lui a1, 1044480
1726 ; RV32-NEXT:    sw a1, 8(sp)
1727 ; RV32-NEXT:    li a1, 56
1728 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1729 ; RV32-NEXT:    vsll.vx v10, v8, a1, v0.t
1730 ; RV32-NEXT:    lui a2, 16
1731 ; RV32-NEXT:    addi a2, a2, -256
1732 ; RV32-NEXT:    vand.vx v12, v8, a2, v0.t
1733 ; RV32-NEXT:    li a3, 40
1734 ; RV32-NEXT:    vsll.vx v12, v12, a3, v0.t
1735 ; RV32-NEXT:    vor.vv v10, v10, v12, v0.t
1736 ; RV32-NEXT:    addi a4, sp, 8
1737 ; RV32-NEXT:    vsetvli a5, zero, e64, m2, ta, ma
1738 ; RV32-NEXT:    vlse64.v v12, (a4), zero
1739 ; RV32-NEXT:    lui a4, 4080
1740 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1741 ; RV32-NEXT:    vand.vx v14, v8, a4, v0.t
1742 ; RV32-NEXT:    vsll.vi v14, v14, 24, v0.t
1743 ; RV32-NEXT:    vand.vv v16, v8, v12, v0.t
1744 ; RV32-NEXT:    vsll.vi v16, v16, 8, v0.t
1745 ; RV32-NEXT:    vor.vv v14, v14, v16, v0.t
1746 ; RV32-NEXT:    vor.vv v10, v10, v14, v0.t
1747 ; RV32-NEXT:    vsrl.vx v14, v8, a1, v0.t
1748 ; RV32-NEXT:    vsrl.vx v16, v8, a3, v0.t
1749 ; RV32-NEXT:    vand.vx v16, v16, a2, v0.t
1750 ; RV32-NEXT:    vor.vv v14, v16, v14, v0.t
1751 ; RV32-NEXT:    vsrl.vi v16, v8, 24, v0.t
1752 ; RV32-NEXT:    vand.vx v16, v16, a4, v0.t
1753 ; RV32-NEXT:    vsrl.vi v8, v8, 8, v0.t
1754 ; RV32-NEXT:    vand.vv v8, v8, v12, v0.t
1755 ; RV32-NEXT:    vor.vv v8, v8, v16, v0.t
1756 ; RV32-NEXT:    vor.vv v8, v8, v14, v0.t
1757 ; RV32-NEXT:    vor.vv v8, v10, v8, v0.t
1758 ; RV32-NEXT:    vsrl.vi v10, v8, 4, v0.t
1759 ; RV32-NEXT:    lui a1, 61681
1760 ; RV32-NEXT:    addi a1, a1, -241
1761 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1762 ; RV32-NEXT:    vmv.v.x v12, a1
1763 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1764 ; RV32-NEXT:    vand.vv v10, v10, v12, v0.t
1765 ; RV32-NEXT:    vand.vv v8, v8, v12, v0.t
1766 ; RV32-NEXT:    vsll.vi v8, v8, 4, v0.t
1767 ; RV32-NEXT:    vor.vv v8, v10, v8, v0.t
1768 ; RV32-NEXT:    vsrl.vi v10, v8, 2, v0.t
1769 ; RV32-NEXT:    lui a1, 209715
1770 ; RV32-NEXT:    addi a1, a1, 819
1771 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1772 ; RV32-NEXT:    vmv.v.x v12, a1
1773 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1774 ; RV32-NEXT:    vand.vv v10, v10, v12, v0.t
1775 ; RV32-NEXT:    vand.vv v8, v8, v12, v0.t
1776 ; RV32-NEXT:    vsll.vi v8, v8, 2, v0.t
1777 ; RV32-NEXT:    vor.vv v8, v10, v8, v0.t
1778 ; RV32-NEXT:    vsrl.vi v10, v8, 1, v0.t
1779 ; RV32-NEXT:    lui a1, 349525
1780 ; RV32-NEXT:    addi a1, a1, 1365
1781 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1782 ; RV32-NEXT:    vmv.v.x v12, a1
1783 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1784 ; RV32-NEXT:    vand.vv v10, v10, v12, v0.t
1785 ; RV32-NEXT:    vand.vv v8, v8, v12, v0.t
1786 ; RV32-NEXT:    vsll.vi v8, v8, 1, v0.t
1787 ; RV32-NEXT:    vor.vv v8, v10, v8, v0.t
1788 ; RV32-NEXT:    addi sp, sp, 16
1789 ; RV32-NEXT:    ret
1790 ;
1791 ; RV64-LABEL: vp_bitreverse_nxv2i64:
1792 ; RV64:       # %bb.0:
1793 ; RV64-NEXT:    lui a1, 4080
1794 ; RV64-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1795 ; RV64-NEXT:    vand.vx v10, v8, a1, v0.t
1796 ; RV64-NEXT:    vsll.vi v10, v10, 24, v0.t
1797 ; RV64-NEXT:    li a0, 255
1798 ; RV64-NEXT:    slli a0, a0, 24
1799 ; RV64-NEXT:    vand.vx v12, v8, a0, v0.t
1800 ; RV64-NEXT:    vsll.vi v12, v12, 8, v0.t
1801 ; RV64-NEXT:    vor.vv v10, v10, v12, v0.t
1802 ; RV64-NEXT:    li a2, 56
1803 ; RV64-NEXT:    vsll.vx v12, v8, a2, v0.t
1804 ; RV64-NEXT:    lui a3, 16
1805 ; RV64-NEXT:    addiw a3, a3, -256
1806 ; RV64-NEXT:    vand.vx v14, v8, a3, v0.t
1807 ; RV64-NEXT:    li a4, 40
1808 ; RV64-NEXT:    vsll.vx v14, v14, a4, v0.t
1809 ; RV64-NEXT:    vor.vv v12, v12, v14, v0.t
1810 ; RV64-NEXT:    vor.vv v10, v12, v10, v0.t
1811 ; RV64-NEXT:    vsrl.vx v12, v8, a2, v0.t
1812 ; RV64-NEXT:    vsrl.vx v14, v8, a4, v0.t
1813 ; RV64-NEXT:    vand.vx v14, v14, a3, v0.t
1814 ; RV64-NEXT:    vor.vv v12, v14, v12, v0.t
1815 ; RV64-NEXT:    vsrl.vi v14, v8, 24, v0.t
1816 ; RV64-NEXT:    vand.vx v14, v14, a1, v0.t
1817 ; RV64-NEXT:    vsrl.vi v8, v8, 8, v0.t
1818 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1819 ; RV64-NEXT:    vor.vv v8, v8, v14, v0.t
1820 ; RV64-NEXT:    vor.vv v8, v8, v12, v0.t
1821 ; RV64-NEXT:    vor.vv v8, v10, v8, v0.t
1822 ; RV64-NEXT:    vsrl.vi v10, v8, 4, v0.t
1823 ; RV64-NEXT:    lui a0, 61681
1824 ; RV64-NEXT:    addiw a0, a0, -241
1825 ; RV64-NEXT:    slli a1, a0, 32
1826 ; RV64-NEXT:    add a0, a0, a1
1827 ; RV64-NEXT:    vand.vx v10, v10, a0, v0.t
1828 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1829 ; RV64-NEXT:    vsll.vi v8, v8, 4, v0.t
1830 ; RV64-NEXT:    vor.vv v8, v10, v8, v0.t
1831 ; RV64-NEXT:    vsrl.vi v10, v8, 2, v0.t
1832 ; RV64-NEXT:    lui a0, 209715
1833 ; RV64-NEXT:    addiw a0, a0, 819
1834 ; RV64-NEXT:    slli a1, a0, 32
1835 ; RV64-NEXT:    add a0, a0, a1
1836 ; RV64-NEXT:    vand.vx v10, v10, a0, v0.t
1837 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1838 ; RV64-NEXT:    vsll.vi v8, v8, 2, v0.t
1839 ; RV64-NEXT:    vor.vv v8, v10, v8, v0.t
1840 ; RV64-NEXT:    vsrl.vi v10, v8, 1, v0.t
1841 ; RV64-NEXT:    lui a0, 349525
1842 ; RV64-NEXT:    addiw a0, a0, 1365
1843 ; RV64-NEXT:    slli a1, a0, 32
1844 ; RV64-NEXT:    add a0, a0, a1
1845 ; RV64-NEXT:    vand.vx v10, v10, a0, v0.t
1846 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
1847 ; RV64-NEXT:    vsll.vi v8, v8, 1, v0.t
1848 ; RV64-NEXT:    vor.vv v8, v10, v8, v0.t
1849 ; RV64-NEXT:    ret
1850 ;
1851 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i64:
1852 ; CHECK-ZVBB:       # %bb.0:
1853 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1854 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
1855 ; CHECK-ZVBB-NEXT:    ret
1856   %v = call <vscale x 2 x i64> @llvm.vp.bitreverse.nxv2i64(<vscale x 2 x i64> %va, <vscale x 2 x i1> %m, i32 %evl)
1857   ret <vscale x 2 x i64> %v
1858 }
1859
1860 define <vscale x 2 x i64> @vp_bitreverse_nxv2i64_unmasked(<vscale x 2 x i64> %va, i32 zeroext %evl) {
1861 ; RV32-LABEL: vp_bitreverse_nxv2i64_unmasked:
1862 ; RV32:       # %bb.0:
1863 ; RV32-NEXT:    addi sp, sp, -16
1864 ; RV32-NEXT:    .cfi_def_cfa_offset 16
1865 ; RV32-NEXT:    sw zero, 12(sp)
1866 ; RV32-NEXT:    lui a1, 1044480
1867 ; RV32-NEXT:    sw a1, 8(sp)
1868 ; RV32-NEXT:    li a1, 56
1869 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1870 ; RV32-NEXT:    vsll.vx v10, v8, a1
1871 ; RV32-NEXT:    lui a2, 16
1872 ; RV32-NEXT:    addi a2, a2, -256
1873 ; RV32-NEXT:    vand.vx v12, v8, a2
1874 ; RV32-NEXT:    li a3, 40
1875 ; RV32-NEXT:    vsll.vx v12, v12, a3
1876 ; RV32-NEXT:    vor.vv v10, v10, v12
1877 ; RV32-NEXT:    addi a4, sp, 8
1878 ; RV32-NEXT:    vsetvli a5, zero, e64, m2, ta, ma
1879 ; RV32-NEXT:    vlse64.v v12, (a4), zero
1880 ; RV32-NEXT:    lui a4, 4080
1881 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1882 ; RV32-NEXT:    vand.vx v14, v8, a4
1883 ; RV32-NEXT:    vsll.vi v14, v14, 24
1884 ; RV32-NEXT:    vand.vv v16, v8, v12
1885 ; RV32-NEXT:    vsll.vi v16, v16, 8
1886 ; RV32-NEXT:    vor.vv v14, v14, v16
1887 ; RV32-NEXT:    vor.vv v10, v10, v14
1888 ; RV32-NEXT:    vsrl.vx v14, v8, a1
1889 ; RV32-NEXT:    vsrl.vx v16, v8, a3
1890 ; RV32-NEXT:    vand.vx v16, v16, a2
1891 ; RV32-NEXT:    vor.vv v14, v16, v14
1892 ; RV32-NEXT:    vsrl.vi v16, v8, 24
1893 ; RV32-NEXT:    vand.vx v16, v16, a4
1894 ; RV32-NEXT:    vsrl.vi v8, v8, 8
1895 ; RV32-NEXT:    vand.vv v8, v8, v12
1896 ; RV32-NEXT:    vor.vv v8, v8, v16
1897 ; RV32-NEXT:    vor.vv v8, v8, v14
1898 ; RV32-NEXT:    vor.vv v8, v10, v8
1899 ; RV32-NEXT:    vsrl.vi v10, v8, 4
1900 ; RV32-NEXT:    lui a1, 61681
1901 ; RV32-NEXT:    addi a1, a1, -241
1902 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1903 ; RV32-NEXT:    vmv.v.x v12, a1
1904 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1905 ; RV32-NEXT:    vand.vv v10, v10, v12
1906 ; RV32-NEXT:    vand.vv v8, v8, v12
1907 ; RV32-NEXT:    vsll.vi v8, v8, 4
1908 ; RV32-NEXT:    vor.vv v8, v10, v8
1909 ; RV32-NEXT:    vsrl.vi v10, v8, 2
1910 ; RV32-NEXT:    lui a1, 209715
1911 ; RV32-NEXT:    addi a1, a1, 819
1912 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1913 ; RV32-NEXT:    vmv.v.x v12, a1
1914 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1915 ; RV32-NEXT:    vand.vv v10, v10, v12
1916 ; RV32-NEXT:    vand.vv v8, v8, v12
1917 ; RV32-NEXT:    vsll.vi v8, v8, 2
1918 ; RV32-NEXT:    vor.vv v8, v10, v8
1919 ; RV32-NEXT:    vsrl.vi v10, v8, 1
1920 ; RV32-NEXT:    lui a1, 349525
1921 ; RV32-NEXT:    addi a1, a1, 1365
1922 ; RV32-NEXT:    vsetvli a2, zero, e32, m2, ta, ma
1923 ; RV32-NEXT:    vmv.v.x v12, a1
1924 ; RV32-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1925 ; RV32-NEXT:    vand.vv v10, v10, v12
1926 ; RV32-NEXT:    vand.vv v8, v8, v12
1927 ; RV32-NEXT:    vadd.vv v8, v8, v8
1928 ; RV32-NEXT:    vor.vv v8, v10, v8
1929 ; RV32-NEXT:    addi sp, sp, 16
1930 ; RV32-NEXT:    ret
1931 ;
1932 ; RV64-LABEL: vp_bitreverse_nxv2i64_unmasked:
1933 ; RV64:       # %bb.0:
1934 ; RV64-NEXT:    lui a1, 4080
1935 ; RV64-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1936 ; RV64-NEXT:    vand.vx v10, v8, a1
1937 ; RV64-NEXT:    vsll.vi v10, v10, 24
1938 ; RV64-NEXT:    li a0, 255
1939 ; RV64-NEXT:    slli a0, a0, 24
1940 ; RV64-NEXT:    vand.vx v12, v8, a0
1941 ; RV64-NEXT:    vsll.vi v12, v12, 8
1942 ; RV64-NEXT:    vor.vv v10, v10, v12
1943 ; RV64-NEXT:    li a2, 56
1944 ; RV64-NEXT:    vsll.vx v12, v8, a2
1945 ; RV64-NEXT:    lui a3, 16
1946 ; RV64-NEXT:    addiw a3, a3, -256
1947 ; RV64-NEXT:    vand.vx v14, v8, a3
1948 ; RV64-NEXT:    li a4, 40
1949 ; RV64-NEXT:    vsll.vx v14, v14, a4
1950 ; RV64-NEXT:    vor.vv v12, v12, v14
1951 ; RV64-NEXT:    vor.vv v10, v12, v10
1952 ; RV64-NEXT:    vsrl.vx v12, v8, a2
1953 ; RV64-NEXT:    vsrl.vx v14, v8, a4
1954 ; RV64-NEXT:    vand.vx v14, v14, a3
1955 ; RV64-NEXT:    vor.vv v12, v14, v12
1956 ; RV64-NEXT:    vsrl.vi v14, v8, 24
1957 ; RV64-NEXT:    vand.vx v14, v14, a1
1958 ; RV64-NEXT:    vsrl.vi v8, v8, 8
1959 ; RV64-NEXT:    vand.vx v8, v8, a0
1960 ; RV64-NEXT:    vor.vv v8, v8, v14
1961 ; RV64-NEXT:    vor.vv v8, v8, v12
1962 ; RV64-NEXT:    vor.vv v8, v10, v8
1963 ; RV64-NEXT:    vsrl.vi v10, v8, 4
1964 ; RV64-NEXT:    lui a0, 61681
1965 ; RV64-NEXT:    addiw a0, a0, -241
1966 ; RV64-NEXT:    slli a1, a0, 32
1967 ; RV64-NEXT:    add a0, a0, a1
1968 ; RV64-NEXT:    vand.vx v10, v10, a0
1969 ; RV64-NEXT:    vand.vx v8, v8, a0
1970 ; RV64-NEXT:    vsll.vi v8, v8, 4
1971 ; RV64-NEXT:    vor.vv v8, v10, v8
1972 ; RV64-NEXT:    vsrl.vi v10, v8, 2
1973 ; RV64-NEXT:    lui a0, 209715
1974 ; RV64-NEXT:    addiw a0, a0, 819
1975 ; RV64-NEXT:    slli a1, a0, 32
1976 ; RV64-NEXT:    add a0, a0, a1
1977 ; RV64-NEXT:    vand.vx v10, v10, a0
1978 ; RV64-NEXT:    vand.vx v8, v8, a0
1979 ; RV64-NEXT:    vsll.vi v8, v8, 2
1980 ; RV64-NEXT:    vor.vv v8, v10, v8
1981 ; RV64-NEXT:    vsrl.vi v10, v8, 1
1982 ; RV64-NEXT:    lui a0, 349525
1983 ; RV64-NEXT:    addiw a0, a0, 1365
1984 ; RV64-NEXT:    slli a1, a0, 32
1985 ; RV64-NEXT:    add a0, a0, a1
1986 ; RV64-NEXT:    vand.vx v10, v10, a0
1987 ; RV64-NEXT:    vand.vx v8, v8, a0
1988 ; RV64-NEXT:    vadd.vv v8, v8, v8
1989 ; RV64-NEXT:    vor.vv v8, v10, v8
1990 ; RV64-NEXT:    ret
1991 ;
1992 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv2i64_unmasked:
1993 ; CHECK-ZVBB:       # %bb.0:
1994 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m2, ta, ma
1995 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
1996 ; CHECK-ZVBB-NEXT:    ret
1997   %v = call <vscale x 2 x i64> @llvm.vp.bitreverse.nxv2i64(<vscale x 2 x i64> %va, <vscale x 2 x i1> splat (i1 true), i32 %evl)
1998   ret <vscale x 2 x i64> %v
1999 }
2000
2001 declare <vscale x 4 x i64> @llvm.vp.bitreverse.nxv4i64(<vscale x 4 x i64>, <vscale x 4 x i1>, i32)
2002
2003 define <vscale x 4 x i64> @vp_bitreverse_nxv4i64(<vscale x 4 x i64> %va, <vscale x 4 x i1> %m, i32 zeroext %evl) {
2004 ; RV32-LABEL: vp_bitreverse_nxv4i64:
2005 ; RV32:       # %bb.0:
2006 ; RV32-NEXT:    addi sp, sp, -16
2007 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2008 ; RV32-NEXT:    sw zero, 12(sp)
2009 ; RV32-NEXT:    lui a1, 1044480
2010 ; RV32-NEXT:    sw a1, 8(sp)
2011 ; RV32-NEXT:    li a1, 56
2012 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2013 ; RV32-NEXT:    vsll.vx v12, v8, a1, v0.t
2014 ; RV32-NEXT:    lui a2, 16
2015 ; RV32-NEXT:    addi a2, a2, -256
2016 ; RV32-NEXT:    vand.vx v16, v8, a2, v0.t
2017 ; RV32-NEXT:    li a3, 40
2018 ; RV32-NEXT:    vsll.vx v16, v16, a3, v0.t
2019 ; RV32-NEXT:    vor.vv v16, v12, v16, v0.t
2020 ; RV32-NEXT:    addi a4, sp, 8
2021 ; RV32-NEXT:    vsetvli a5, zero, e64, m4, ta, ma
2022 ; RV32-NEXT:    vlse64.v v12, (a4), zero
2023 ; RV32-NEXT:    lui a4, 4080
2024 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2025 ; RV32-NEXT:    vand.vx v20, v8, a4, v0.t
2026 ; RV32-NEXT:    vsll.vi v20, v20, 24, v0.t
2027 ; RV32-NEXT:    vand.vv v24, v8, v12, v0.t
2028 ; RV32-NEXT:    vsll.vi v24, v24, 8, v0.t
2029 ; RV32-NEXT:    vor.vv v20, v20, v24, v0.t
2030 ; RV32-NEXT:    vor.vv v16, v16, v20, v0.t
2031 ; RV32-NEXT:    vsrl.vx v20, v8, a1, v0.t
2032 ; RV32-NEXT:    vsrl.vx v24, v8, a3, v0.t
2033 ; RV32-NEXT:    vand.vx v24, v24, a2, v0.t
2034 ; RV32-NEXT:    vor.vv v20, v24, v20, v0.t
2035 ; RV32-NEXT:    vsrl.vi v24, v8, 24, v0.t
2036 ; RV32-NEXT:    vand.vx v24, v24, a4, v0.t
2037 ; RV32-NEXT:    vsrl.vi v8, v8, 8, v0.t
2038 ; RV32-NEXT:    vand.vv v8, v8, v12, v0.t
2039 ; RV32-NEXT:    vor.vv v8, v8, v24, v0.t
2040 ; RV32-NEXT:    vor.vv v8, v8, v20, v0.t
2041 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2042 ; RV32-NEXT:    vsrl.vi v12, v8, 4, v0.t
2043 ; RV32-NEXT:    lui a1, 61681
2044 ; RV32-NEXT:    addi a1, a1, -241
2045 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2046 ; RV32-NEXT:    vmv.v.x v16, a1
2047 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2048 ; RV32-NEXT:    vand.vv v12, v12, v16, v0.t
2049 ; RV32-NEXT:    vand.vv v8, v8, v16, v0.t
2050 ; RV32-NEXT:    vsll.vi v8, v8, 4, v0.t
2051 ; RV32-NEXT:    vor.vv v8, v12, v8, v0.t
2052 ; RV32-NEXT:    vsrl.vi v12, v8, 2, v0.t
2053 ; RV32-NEXT:    lui a1, 209715
2054 ; RV32-NEXT:    addi a1, a1, 819
2055 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2056 ; RV32-NEXT:    vmv.v.x v16, a1
2057 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2058 ; RV32-NEXT:    vand.vv v12, v12, v16, v0.t
2059 ; RV32-NEXT:    vand.vv v8, v8, v16, v0.t
2060 ; RV32-NEXT:    vsll.vi v8, v8, 2, v0.t
2061 ; RV32-NEXT:    vor.vv v8, v12, v8, v0.t
2062 ; RV32-NEXT:    vsrl.vi v12, v8, 1, v0.t
2063 ; RV32-NEXT:    lui a1, 349525
2064 ; RV32-NEXT:    addi a1, a1, 1365
2065 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2066 ; RV32-NEXT:    vmv.v.x v16, a1
2067 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2068 ; RV32-NEXT:    vand.vv v12, v12, v16, v0.t
2069 ; RV32-NEXT:    vand.vv v8, v8, v16, v0.t
2070 ; RV32-NEXT:    vsll.vi v8, v8, 1, v0.t
2071 ; RV32-NEXT:    vor.vv v8, v12, v8, v0.t
2072 ; RV32-NEXT:    addi sp, sp, 16
2073 ; RV32-NEXT:    ret
2074 ;
2075 ; RV64-LABEL: vp_bitreverse_nxv4i64:
2076 ; RV64:       # %bb.0:
2077 ; RV64-NEXT:    lui a1, 4080
2078 ; RV64-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2079 ; RV64-NEXT:    vand.vx v12, v8, a1, v0.t
2080 ; RV64-NEXT:    vsll.vi v12, v12, 24, v0.t
2081 ; RV64-NEXT:    li a0, 255
2082 ; RV64-NEXT:    slli a0, a0, 24
2083 ; RV64-NEXT:    vand.vx v16, v8, a0, v0.t
2084 ; RV64-NEXT:    vsll.vi v16, v16, 8, v0.t
2085 ; RV64-NEXT:    vor.vv v12, v12, v16, v0.t
2086 ; RV64-NEXT:    li a2, 56
2087 ; RV64-NEXT:    vsll.vx v16, v8, a2, v0.t
2088 ; RV64-NEXT:    lui a3, 16
2089 ; RV64-NEXT:    addiw a3, a3, -256
2090 ; RV64-NEXT:    vand.vx v20, v8, a3, v0.t
2091 ; RV64-NEXT:    li a4, 40
2092 ; RV64-NEXT:    vsll.vx v20, v20, a4, v0.t
2093 ; RV64-NEXT:    vor.vv v16, v16, v20, v0.t
2094 ; RV64-NEXT:    vor.vv v12, v16, v12, v0.t
2095 ; RV64-NEXT:    vsrl.vx v16, v8, a2, v0.t
2096 ; RV64-NEXT:    vsrl.vx v20, v8, a4, v0.t
2097 ; RV64-NEXT:    vand.vx v20, v20, a3, v0.t
2098 ; RV64-NEXT:    vor.vv v16, v20, v16, v0.t
2099 ; RV64-NEXT:    vsrl.vi v20, v8, 24, v0.t
2100 ; RV64-NEXT:    vand.vx v20, v20, a1, v0.t
2101 ; RV64-NEXT:    vsrl.vi v8, v8, 8, v0.t
2102 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2103 ; RV64-NEXT:    vor.vv v8, v8, v20, v0.t
2104 ; RV64-NEXT:    vor.vv v8, v8, v16, v0.t
2105 ; RV64-NEXT:    vor.vv v8, v12, v8, v0.t
2106 ; RV64-NEXT:    vsrl.vi v12, v8, 4, v0.t
2107 ; RV64-NEXT:    lui a0, 61681
2108 ; RV64-NEXT:    addiw a0, a0, -241
2109 ; RV64-NEXT:    slli a1, a0, 32
2110 ; RV64-NEXT:    add a0, a0, a1
2111 ; RV64-NEXT:    vand.vx v12, v12, a0, v0.t
2112 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2113 ; RV64-NEXT:    vsll.vi v8, v8, 4, v0.t
2114 ; RV64-NEXT:    vor.vv v8, v12, v8, v0.t
2115 ; RV64-NEXT:    vsrl.vi v12, v8, 2, v0.t
2116 ; RV64-NEXT:    lui a0, 209715
2117 ; RV64-NEXT:    addiw a0, a0, 819
2118 ; RV64-NEXT:    slli a1, a0, 32
2119 ; RV64-NEXT:    add a0, a0, a1
2120 ; RV64-NEXT:    vand.vx v12, v12, a0, v0.t
2121 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2122 ; RV64-NEXT:    vsll.vi v8, v8, 2, v0.t
2123 ; RV64-NEXT:    vor.vv v8, v12, v8, v0.t
2124 ; RV64-NEXT:    vsrl.vi v12, v8, 1, v0.t
2125 ; RV64-NEXT:    lui a0, 349525
2126 ; RV64-NEXT:    addiw a0, a0, 1365
2127 ; RV64-NEXT:    slli a1, a0, 32
2128 ; RV64-NEXT:    add a0, a0, a1
2129 ; RV64-NEXT:    vand.vx v12, v12, a0, v0.t
2130 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2131 ; RV64-NEXT:    vsll.vi v8, v8, 1, v0.t
2132 ; RV64-NEXT:    vor.vv v8, v12, v8, v0.t
2133 ; RV64-NEXT:    ret
2134 ;
2135 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i64:
2136 ; CHECK-ZVBB:       # %bb.0:
2137 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2138 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
2139 ; CHECK-ZVBB-NEXT:    ret
2140   %v = call <vscale x 4 x i64> @llvm.vp.bitreverse.nxv4i64(<vscale x 4 x i64> %va, <vscale x 4 x i1> %m, i32 %evl)
2141   ret <vscale x 4 x i64> %v
2142 }
2143
2144 define <vscale x 4 x i64> @vp_bitreverse_nxv4i64_unmasked(<vscale x 4 x i64> %va, i32 zeroext %evl) {
2145 ; RV32-LABEL: vp_bitreverse_nxv4i64_unmasked:
2146 ; RV32:       # %bb.0:
2147 ; RV32-NEXT:    addi sp, sp, -16
2148 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2149 ; RV32-NEXT:    sw zero, 12(sp)
2150 ; RV32-NEXT:    lui a1, 1044480
2151 ; RV32-NEXT:    sw a1, 8(sp)
2152 ; RV32-NEXT:    li a1, 56
2153 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2154 ; RV32-NEXT:    vsll.vx v12, v8, a1
2155 ; RV32-NEXT:    lui a2, 16
2156 ; RV32-NEXT:    addi a2, a2, -256
2157 ; RV32-NEXT:    vand.vx v16, v8, a2
2158 ; RV32-NEXT:    li a3, 40
2159 ; RV32-NEXT:    vsll.vx v16, v16, a3
2160 ; RV32-NEXT:    vor.vv v12, v12, v16
2161 ; RV32-NEXT:    addi a4, sp, 8
2162 ; RV32-NEXT:    vsetvli a5, zero, e64, m4, ta, ma
2163 ; RV32-NEXT:    vlse64.v v16, (a4), zero
2164 ; RV32-NEXT:    lui a4, 4080
2165 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2166 ; RV32-NEXT:    vand.vx v20, v8, a4
2167 ; RV32-NEXT:    vsll.vi v20, v20, 24
2168 ; RV32-NEXT:    vand.vv v24, v8, v16
2169 ; RV32-NEXT:    vsll.vi v24, v24, 8
2170 ; RV32-NEXT:    vor.vv v20, v20, v24
2171 ; RV32-NEXT:    vor.vv v12, v12, v20
2172 ; RV32-NEXT:    vsrl.vx v20, v8, a1
2173 ; RV32-NEXT:    vsrl.vx v24, v8, a3
2174 ; RV32-NEXT:    vand.vx v24, v24, a2
2175 ; RV32-NEXT:    vor.vv v20, v24, v20
2176 ; RV32-NEXT:    vsrl.vi v24, v8, 24
2177 ; RV32-NEXT:    vand.vx v24, v24, a4
2178 ; RV32-NEXT:    vsrl.vi v8, v8, 8
2179 ; RV32-NEXT:    vand.vv v8, v8, v16
2180 ; RV32-NEXT:    vor.vv v8, v8, v24
2181 ; RV32-NEXT:    vor.vv v8, v8, v20
2182 ; RV32-NEXT:    vor.vv v8, v12, v8
2183 ; RV32-NEXT:    vsrl.vi v12, v8, 4
2184 ; RV32-NEXT:    lui a1, 61681
2185 ; RV32-NEXT:    addi a1, a1, -241
2186 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2187 ; RV32-NEXT:    vmv.v.x v16, a1
2188 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2189 ; RV32-NEXT:    vand.vv v12, v12, v16
2190 ; RV32-NEXT:    vand.vv v8, v8, v16
2191 ; RV32-NEXT:    vsll.vi v8, v8, 4
2192 ; RV32-NEXT:    vor.vv v8, v12, v8
2193 ; RV32-NEXT:    vsrl.vi v12, v8, 2
2194 ; RV32-NEXT:    lui a1, 209715
2195 ; RV32-NEXT:    addi a1, a1, 819
2196 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2197 ; RV32-NEXT:    vmv.v.x v16, a1
2198 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2199 ; RV32-NEXT:    vand.vv v12, v12, v16
2200 ; RV32-NEXT:    vand.vv v8, v8, v16
2201 ; RV32-NEXT:    vsll.vi v8, v8, 2
2202 ; RV32-NEXT:    vor.vv v8, v12, v8
2203 ; RV32-NEXT:    vsrl.vi v12, v8, 1
2204 ; RV32-NEXT:    lui a1, 349525
2205 ; RV32-NEXT:    addi a1, a1, 1365
2206 ; RV32-NEXT:    vsetvli a2, zero, e32, m4, ta, ma
2207 ; RV32-NEXT:    vmv.v.x v16, a1
2208 ; RV32-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2209 ; RV32-NEXT:    vand.vv v12, v12, v16
2210 ; RV32-NEXT:    vand.vv v8, v8, v16
2211 ; RV32-NEXT:    vadd.vv v8, v8, v8
2212 ; RV32-NEXT:    vor.vv v8, v12, v8
2213 ; RV32-NEXT:    addi sp, sp, 16
2214 ; RV32-NEXT:    ret
2215 ;
2216 ; RV64-LABEL: vp_bitreverse_nxv4i64_unmasked:
2217 ; RV64:       # %bb.0:
2218 ; RV64-NEXT:    lui a1, 4080
2219 ; RV64-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2220 ; RV64-NEXT:    vand.vx v12, v8, a1
2221 ; RV64-NEXT:    vsll.vi v12, v12, 24
2222 ; RV64-NEXT:    li a0, 255
2223 ; RV64-NEXT:    slli a0, a0, 24
2224 ; RV64-NEXT:    vand.vx v16, v8, a0
2225 ; RV64-NEXT:    vsll.vi v16, v16, 8
2226 ; RV64-NEXT:    vor.vv v12, v12, v16
2227 ; RV64-NEXT:    li a2, 56
2228 ; RV64-NEXT:    vsll.vx v16, v8, a2
2229 ; RV64-NEXT:    lui a3, 16
2230 ; RV64-NEXT:    addiw a3, a3, -256
2231 ; RV64-NEXT:    vand.vx v20, v8, a3
2232 ; RV64-NEXT:    li a4, 40
2233 ; RV64-NEXT:    vsll.vx v20, v20, a4
2234 ; RV64-NEXT:    vor.vv v16, v16, v20
2235 ; RV64-NEXT:    vor.vv v12, v16, v12
2236 ; RV64-NEXT:    vsrl.vx v16, v8, a2
2237 ; RV64-NEXT:    vsrl.vx v20, v8, a4
2238 ; RV64-NEXT:    vand.vx v20, v20, a3
2239 ; RV64-NEXT:    vor.vv v16, v20, v16
2240 ; RV64-NEXT:    vsrl.vi v20, v8, 24
2241 ; RV64-NEXT:    vand.vx v20, v20, a1
2242 ; RV64-NEXT:    vsrl.vi v8, v8, 8
2243 ; RV64-NEXT:    vand.vx v8, v8, a0
2244 ; RV64-NEXT:    vor.vv v8, v8, v20
2245 ; RV64-NEXT:    vor.vv v8, v8, v16
2246 ; RV64-NEXT:    vor.vv v8, v12, v8
2247 ; RV64-NEXT:    vsrl.vi v12, v8, 4
2248 ; RV64-NEXT:    lui a0, 61681
2249 ; RV64-NEXT:    addiw a0, a0, -241
2250 ; RV64-NEXT:    slli a1, a0, 32
2251 ; RV64-NEXT:    add a0, a0, a1
2252 ; RV64-NEXT:    vand.vx v12, v12, a0
2253 ; RV64-NEXT:    vand.vx v8, v8, a0
2254 ; RV64-NEXT:    vsll.vi v8, v8, 4
2255 ; RV64-NEXT:    vor.vv v8, v12, v8
2256 ; RV64-NEXT:    vsrl.vi v12, v8, 2
2257 ; RV64-NEXT:    lui a0, 209715
2258 ; RV64-NEXT:    addiw a0, a0, 819
2259 ; RV64-NEXT:    slli a1, a0, 32
2260 ; RV64-NEXT:    add a0, a0, a1
2261 ; RV64-NEXT:    vand.vx v12, v12, a0
2262 ; RV64-NEXT:    vand.vx v8, v8, a0
2263 ; RV64-NEXT:    vsll.vi v8, v8, 2
2264 ; RV64-NEXT:    vor.vv v8, v12, v8
2265 ; RV64-NEXT:    vsrl.vi v12, v8, 1
2266 ; RV64-NEXT:    lui a0, 349525
2267 ; RV64-NEXT:    addiw a0, a0, 1365
2268 ; RV64-NEXT:    slli a1, a0, 32
2269 ; RV64-NEXT:    add a0, a0, a1
2270 ; RV64-NEXT:    vand.vx v12, v12, a0
2271 ; RV64-NEXT:    vand.vx v8, v8, a0
2272 ; RV64-NEXT:    vadd.vv v8, v8, v8
2273 ; RV64-NEXT:    vor.vv v8, v12, v8
2274 ; RV64-NEXT:    ret
2275 ;
2276 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv4i64_unmasked:
2277 ; CHECK-ZVBB:       # %bb.0:
2278 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m4, ta, ma
2279 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
2280 ; CHECK-ZVBB-NEXT:    ret
2281   %v = call <vscale x 4 x i64> @llvm.vp.bitreverse.nxv4i64(<vscale x 4 x i64> %va, <vscale x 4 x i1> splat (i1 true), i32 %evl)
2282   ret <vscale x 4 x i64> %v
2283 }
2284
2285 declare <vscale x 7 x i64> @llvm.vp.bitreverse.nxv7i64(<vscale x 7 x i64>, <vscale x 7 x i1>, i32)
2286
2287 define <vscale x 7 x i64> @vp_bitreverse_nxv7i64(<vscale x 7 x i64> %va, <vscale x 7 x i1> %m, i32 zeroext %evl) {
2288 ; RV32-LABEL: vp_bitreverse_nxv7i64:
2289 ; RV32:       # %bb.0:
2290 ; RV32-NEXT:    addi sp, sp, -16
2291 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2292 ; RV32-NEXT:    csrr a1, vlenb
2293 ; RV32-NEXT:    li a2, 24
2294 ; RV32-NEXT:    mul a1, a1, a2
2295 ; RV32-NEXT:    sub sp, sp, a1
2296 ; RV32-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 24 * vlenb
2297 ; RV32-NEXT:    sw zero, 12(sp)
2298 ; RV32-NEXT:    lui a1, 1044480
2299 ; RV32-NEXT:    sw a1, 8(sp)
2300 ; RV32-NEXT:    li a1, 56
2301 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2302 ; RV32-NEXT:    vsll.vx v16, v8, a1, v0.t
2303 ; RV32-NEXT:    lui a2, 16
2304 ; RV32-NEXT:    addi a2, a2, -256
2305 ; RV32-NEXT:    vand.vx v24, v8, a2, v0.t
2306 ; RV32-NEXT:    li a3, 40
2307 ; RV32-NEXT:    vsll.vx v24, v24, a3, v0.t
2308 ; RV32-NEXT:    vor.vv v16, v16, v24, v0.t
2309 ; RV32-NEXT:    csrr a4, vlenb
2310 ; RV32-NEXT:    slli a4, a4, 4
2311 ; RV32-NEXT:    add a4, sp, a4
2312 ; RV32-NEXT:    addi a4, a4, 16
2313 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2314 ; RV32-NEXT:    addi a4, sp, 8
2315 ; RV32-NEXT:    vsetvli a5, zero, e64, m8, ta, ma
2316 ; RV32-NEXT:    vlse64.v v16, (a4), zero
2317 ; RV32-NEXT:    csrr a4, vlenb
2318 ; RV32-NEXT:    slli a4, a4, 3
2319 ; RV32-NEXT:    add a4, sp, a4
2320 ; RV32-NEXT:    addi a4, a4, 16
2321 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2322 ; RV32-NEXT:    lui a4, 4080
2323 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2324 ; RV32-NEXT:    vand.vx v24, v8, a4, v0.t
2325 ; RV32-NEXT:    vsll.vi v24, v24, 24, v0.t
2326 ; RV32-NEXT:    addi a5, sp, 16
2327 ; RV32-NEXT:    vs8r.v v24, (a5) # Unknown-size Folded Spill
2328 ; RV32-NEXT:    vand.vv v24, v8, v16, v0.t
2329 ; RV32-NEXT:    vsll.vi v16, v24, 8, v0.t
2330 ; RV32-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2331 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2332 ; RV32-NEXT:    csrr a5, vlenb
2333 ; RV32-NEXT:    slli a5, a5, 4
2334 ; RV32-NEXT:    add a5, sp, a5
2335 ; RV32-NEXT:    addi a5, a5, 16
2336 ; RV32-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2337 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2338 ; RV32-NEXT:    csrr a5, vlenb
2339 ; RV32-NEXT:    slli a5, a5, 4
2340 ; RV32-NEXT:    add a5, sp, a5
2341 ; RV32-NEXT:    addi a5, a5, 16
2342 ; RV32-NEXT:    vs8r.v v16, (a5) # Unknown-size Folded Spill
2343 ; RV32-NEXT:    vsrl.vx v16, v8, a1, v0.t
2344 ; RV32-NEXT:    vsrl.vx v24, v8, a3, v0.t
2345 ; RV32-NEXT:    vand.vx v24, v24, a2, v0.t
2346 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2347 ; RV32-NEXT:    addi a1, sp, 16
2348 ; RV32-NEXT:    vs8r.v v16, (a1) # Unknown-size Folded Spill
2349 ; RV32-NEXT:    vsrl.vi v24, v8, 24, v0.t
2350 ; RV32-NEXT:    vand.vx v24, v24, a4, v0.t
2351 ; RV32-NEXT:    vsrl.vi v8, v8, 8, v0.t
2352 ; RV32-NEXT:    csrr a1, vlenb
2353 ; RV32-NEXT:    slli a1, a1, 3
2354 ; RV32-NEXT:    add a1, sp, a1
2355 ; RV32-NEXT:    addi a1, a1, 16
2356 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2357 ; RV32-NEXT:    vand.vv v8, v8, v16, v0.t
2358 ; RV32-NEXT:    vor.vv v8, v8, v24, v0.t
2359 ; RV32-NEXT:    addi a1, sp, 16
2360 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2361 ; RV32-NEXT:    vor.vv v8, v8, v16, v0.t
2362 ; RV32-NEXT:    csrr a1, vlenb
2363 ; RV32-NEXT:    slli a1, a1, 4
2364 ; RV32-NEXT:    add a1, sp, a1
2365 ; RV32-NEXT:    addi a1, a1, 16
2366 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2367 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2368 ; RV32-NEXT:    vsrl.vi v16, v8, 4, v0.t
2369 ; RV32-NEXT:    lui a1, 61681
2370 ; RV32-NEXT:    addi a1, a1, -241
2371 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2372 ; RV32-NEXT:    vmv.v.x v24, a1
2373 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2374 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2375 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2376 ; RV32-NEXT:    vsll.vi v8, v8, 4, v0.t
2377 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2378 ; RV32-NEXT:    vsrl.vi v16, v8, 2, v0.t
2379 ; RV32-NEXT:    lui a1, 209715
2380 ; RV32-NEXT:    addi a1, a1, 819
2381 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2382 ; RV32-NEXT:    vmv.v.x v24, a1
2383 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2384 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2385 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2386 ; RV32-NEXT:    vsll.vi v8, v8, 2, v0.t
2387 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2388 ; RV32-NEXT:    vsrl.vi v16, v8, 1, v0.t
2389 ; RV32-NEXT:    lui a1, 349525
2390 ; RV32-NEXT:    addi a1, a1, 1365
2391 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2392 ; RV32-NEXT:    vmv.v.x v24, a1
2393 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2394 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2395 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2396 ; RV32-NEXT:    vsll.vi v8, v8, 1, v0.t
2397 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2398 ; RV32-NEXT:    csrr a0, vlenb
2399 ; RV32-NEXT:    li a1, 24
2400 ; RV32-NEXT:    mul a0, a0, a1
2401 ; RV32-NEXT:    add sp, sp, a0
2402 ; RV32-NEXT:    addi sp, sp, 16
2403 ; RV32-NEXT:    ret
2404 ;
2405 ; RV64-LABEL: vp_bitreverse_nxv7i64:
2406 ; RV64:       # %bb.0:
2407 ; RV64-NEXT:    addi sp, sp, -16
2408 ; RV64-NEXT:    .cfi_def_cfa_offset 16
2409 ; RV64-NEXT:    csrr a1, vlenb
2410 ; RV64-NEXT:    slli a1, a1, 3
2411 ; RV64-NEXT:    sub sp, sp, a1
2412 ; RV64-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
2413 ; RV64-NEXT:    lui a1, 4080
2414 ; RV64-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2415 ; RV64-NEXT:    vand.vx v16, v8, a1, v0.t
2416 ; RV64-NEXT:    vsll.vi v16, v16, 24, v0.t
2417 ; RV64-NEXT:    li a0, 255
2418 ; RV64-NEXT:    slli a0, a0, 24
2419 ; RV64-NEXT:    vand.vx v24, v8, a0, v0.t
2420 ; RV64-NEXT:    vsll.vi v24, v24, 8, v0.t
2421 ; RV64-NEXT:    vor.vv v16, v16, v24, v0.t
2422 ; RV64-NEXT:    addi a2, sp, 16
2423 ; RV64-NEXT:    vs8r.v v16, (a2) # Unknown-size Folded Spill
2424 ; RV64-NEXT:    li a2, 56
2425 ; RV64-NEXT:    vsll.vx v24, v8, a2, v0.t
2426 ; RV64-NEXT:    lui a3, 16
2427 ; RV64-NEXT:    addiw a3, a3, -256
2428 ; RV64-NEXT:    li a4, 40
2429 ; RV64-NEXT:    vand.vx v16, v8, a3, v0.t
2430 ; RV64-NEXT:    vsll.vx v16, v16, a4, v0.t
2431 ; RV64-NEXT:    vor.vv v16, v24, v16, v0.t
2432 ; RV64-NEXT:    addi a5, sp, 16
2433 ; RV64-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2434 ; RV64-NEXT:    vor.vv v16, v16, v24, v0.t
2435 ; RV64-NEXT:    vs8r.v v16, (a5) # Unknown-size Folded Spill
2436 ; RV64-NEXT:    vsrl.vx v24, v8, a2, v0.t
2437 ; RV64-NEXT:    vsrl.vx v16, v8, a4, v0.t
2438 ; RV64-NEXT:    vand.vx v16, v16, a3, v0.t
2439 ; RV64-NEXT:    vor.vv v24, v16, v24, v0.t
2440 ; RV64-NEXT:    vsrl.vi v16, v8, 24, v0.t
2441 ; RV64-NEXT:    vand.vx v16, v16, a1, v0.t
2442 ; RV64-NEXT:    vsrl.vi v8, v8, 8, v0.t
2443 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2444 ; RV64-NEXT:    vor.vv v8, v8, v16, v0.t
2445 ; RV64-NEXT:    vor.vv v8, v8, v24, v0.t
2446 ; RV64-NEXT:    addi a0, sp, 16
2447 ; RV64-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
2448 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2449 ; RV64-NEXT:    vsrl.vi v16, v8, 4, v0.t
2450 ; RV64-NEXT:    lui a0, 61681
2451 ; RV64-NEXT:    addiw a0, a0, -241
2452 ; RV64-NEXT:    slli a1, a0, 32
2453 ; RV64-NEXT:    add a0, a0, a1
2454 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2455 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2456 ; RV64-NEXT:    vsll.vi v8, v8, 4, v0.t
2457 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2458 ; RV64-NEXT:    vsrl.vi v16, v8, 2, v0.t
2459 ; RV64-NEXT:    lui a0, 209715
2460 ; RV64-NEXT:    addiw a0, a0, 819
2461 ; RV64-NEXT:    slli a1, a0, 32
2462 ; RV64-NEXT:    add a0, a0, a1
2463 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2464 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2465 ; RV64-NEXT:    vsll.vi v8, v8, 2, v0.t
2466 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2467 ; RV64-NEXT:    vsrl.vi v16, v8, 1, v0.t
2468 ; RV64-NEXT:    lui a0, 349525
2469 ; RV64-NEXT:    addiw a0, a0, 1365
2470 ; RV64-NEXT:    slli a1, a0, 32
2471 ; RV64-NEXT:    add a0, a0, a1
2472 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2473 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2474 ; RV64-NEXT:    vsll.vi v8, v8, 1, v0.t
2475 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2476 ; RV64-NEXT:    csrr a0, vlenb
2477 ; RV64-NEXT:    slli a0, a0, 3
2478 ; RV64-NEXT:    add sp, sp, a0
2479 ; RV64-NEXT:    addi sp, sp, 16
2480 ; RV64-NEXT:    ret
2481 ;
2482 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv7i64:
2483 ; CHECK-ZVBB:       # %bb.0:
2484 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2485 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
2486 ; CHECK-ZVBB-NEXT:    ret
2487   %v = call <vscale x 7 x i64> @llvm.vp.bitreverse.nxv7i64(<vscale x 7 x i64> %va, <vscale x 7 x i1> %m, i32 %evl)
2488   ret <vscale x 7 x i64> %v
2489 }
2490
2491 define <vscale x 7 x i64> @vp_bitreverse_nxv7i64_unmasked(<vscale x 7 x i64> %va, i32 zeroext %evl) {
2492 ; RV32-LABEL: vp_bitreverse_nxv7i64_unmasked:
2493 ; RV32:       # %bb.0:
2494 ; RV32-NEXT:    addi sp, sp, -16
2495 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2496 ; RV32-NEXT:    csrr a1, vlenb
2497 ; RV32-NEXT:    slli a1, a1, 3
2498 ; RV32-NEXT:    sub sp, sp, a1
2499 ; RV32-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
2500 ; RV32-NEXT:    sw zero, 12(sp)
2501 ; RV32-NEXT:    lui a1, 1044480
2502 ; RV32-NEXT:    sw a1, 8(sp)
2503 ; RV32-NEXT:    li a1, 56
2504 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2505 ; RV32-NEXT:    vsll.vx v16, v8, a1
2506 ; RV32-NEXT:    lui a2, 16
2507 ; RV32-NEXT:    addi a2, a2, -256
2508 ; RV32-NEXT:    vand.vx v24, v8, a2
2509 ; RV32-NEXT:    li a3, 40
2510 ; RV32-NEXT:    vsll.vx v24, v24, a3
2511 ; RV32-NEXT:    vor.vv v16, v16, v24
2512 ; RV32-NEXT:    addi a4, sp, 16
2513 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2514 ; RV32-NEXT:    addi a4, sp, 8
2515 ; RV32-NEXT:    vsetvli a5, zero, e64, m8, ta, ma
2516 ; RV32-NEXT:    vlse64.v v16, (a4), zero
2517 ; RV32-NEXT:    lui a4, 4080
2518 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2519 ; RV32-NEXT:    vand.vx v0, v8, a4
2520 ; RV32-NEXT:    vsll.vi v0, v0, 24
2521 ; RV32-NEXT:    vand.vv v24, v8, v16
2522 ; RV32-NEXT:    vsll.vi v24, v24, 8
2523 ; RV32-NEXT:    vor.vv v24, v0, v24
2524 ; RV32-NEXT:    addi a5, sp, 16
2525 ; RV32-NEXT:    vl8r.v v0, (a5) # Unknown-size Folded Reload
2526 ; RV32-NEXT:    vor.vv v24, v0, v24
2527 ; RV32-NEXT:    vs8r.v v24, (a5) # Unknown-size Folded Spill
2528 ; RV32-NEXT:    vsrl.vx v0, v8, a3
2529 ; RV32-NEXT:    vand.vx v0, v0, a2
2530 ; RV32-NEXT:    vsrl.vx v24, v8, a1
2531 ; RV32-NEXT:    vor.vv v24, v0, v24
2532 ; RV32-NEXT:    vsrl.vi v0, v8, 8
2533 ; RV32-NEXT:    vand.vv v16, v0, v16
2534 ; RV32-NEXT:    vsrl.vi v8, v8, 24
2535 ; RV32-NEXT:    vand.vx v8, v8, a4
2536 ; RV32-NEXT:    vor.vv v8, v16, v8
2537 ; RV32-NEXT:    vor.vv v8, v8, v24
2538 ; RV32-NEXT:    addi a1, sp, 16
2539 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2540 ; RV32-NEXT:    vor.vv v8, v16, v8
2541 ; RV32-NEXT:    vsrl.vi v16, v8, 4
2542 ; RV32-NEXT:    lui a1, 61681
2543 ; RV32-NEXT:    addi a1, a1, -241
2544 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2545 ; RV32-NEXT:    vmv.v.x v24, a1
2546 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2547 ; RV32-NEXT:    vand.vv v16, v16, v24
2548 ; RV32-NEXT:    vand.vv v8, v8, v24
2549 ; RV32-NEXT:    vsll.vi v8, v8, 4
2550 ; RV32-NEXT:    vor.vv v8, v16, v8
2551 ; RV32-NEXT:    vsrl.vi v16, v8, 2
2552 ; RV32-NEXT:    lui a1, 209715
2553 ; RV32-NEXT:    addi a1, a1, 819
2554 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2555 ; RV32-NEXT:    vmv.v.x v24, a1
2556 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2557 ; RV32-NEXT:    vand.vv v16, v16, v24
2558 ; RV32-NEXT:    vand.vv v8, v8, v24
2559 ; RV32-NEXT:    vsll.vi v8, v8, 2
2560 ; RV32-NEXT:    vor.vv v8, v16, v8
2561 ; RV32-NEXT:    vsrl.vi v16, v8, 1
2562 ; RV32-NEXT:    lui a1, 349525
2563 ; RV32-NEXT:    addi a1, a1, 1365
2564 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2565 ; RV32-NEXT:    vmv.v.x v24, a1
2566 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2567 ; RV32-NEXT:    vand.vv v16, v16, v24
2568 ; RV32-NEXT:    vand.vv v8, v8, v24
2569 ; RV32-NEXT:    vadd.vv v8, v8, v8
2570 ; RV32-NEXT:    vor.vv v8, v16, v8
2571 ; RV32-NEXT:    csrr a0, vlenb
2572 ; RV32-NEXT:    slli a0, a0, 3
2573 ; RV32-NEXT:    add sp, sp, a0
2574 ; RV32-NEXT:    addi sp, sp, 16
2575 ; RV32-NEXT:    ret
2576 ;
2577 ; RV64-LABEL: vp_bitreverse_nxv7i64_unmasked:
2578 ; RV64:       # %bb.0:
2579 ; RV64-NEXT:    lui a1, 4080
2580 ; RV64-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2581 ; RV64-NEXT:    vand.vx v16, v8, a1
2582 ; RV64-NEXT:    vsll.vi v16, v16, 24
2583 ; RV64-NEXT:    li a0, 255
2584 ; RV64-NEXT:    slli a0, a0, 24
2585 ; RV64-NEXT:    vand.vx v24, v8, a0
2586 ; RV64-NEXT:    vsll.vi v24, v24, 8
2587 ; RV64-NEXT:    vor.vv v16, v16, v24
2588 ; RV64-NEXT:    li a2, 56
2589 ; RV64-NEXT:    vsll.vx v24, v8, a2
2590 ; RV64-NEXT:    lui a3, 16
2591 ; RV64-NEXT:    addiw a3, a3, -256
2592 ; RV64-NEXT:    vand.vx v0, v8, a3
2593 ; RV64-NEXT:    li a4, 40
2594 ; RV64-NEXT:    vsll.vx v0, v0, a4
2595 ; RV64-NEXT:    vor.vv v24, v24, v0
2596 ; RV64-NEXT:    vor.vv v16, v24, v16
2597 ; RV64-NEXT:    vsrl.vx v24, v8, a2
2598 ; RV64-NEXT:    vsrl.vx v0, v8, a4
2599 ; RV64-NEXT:    vand.vx v0, v0, a3
2600 ; RV64-NEXT:    vor.vv v24, v0, v24
2601 ; RV64-NEXT:    vsrl.vi v0, v8, 24
2602 ; RV64-NEXT:    vand.vx v0, v0, a1
2603 ; RV64-NEXT:    vsrl.vi v8, v8, 8
2604 ; RV64-NEXT:    vand.vx v8, v8, a0
2605 ; RV64-NEXT:    vor.vv v8, v8, v0
2606 ; RV64-NEXT:    vor.vv v8, v8, v24
2607 ; RV64-NEXT:    vor.vv v8, v16, v8
2608 ; RV64-NEXT:    vsrl.vi v16, v8, 4
2609 ; RV64-NEXT:    lui a0, 61681
2610 ; RV64-NEXT:    addiw a0, a0, -241
2611 ; RV64-NEXT:    slli a1, a0, 32
2612 ; RV64-NEXT:    add a0, a0, a1
2613 ; RV64-NEXT:    vand.vx v16, v16, a0
2614 ; RV64-NEXT:    vand.vx v8, v8, a0
2615 ; RV64-NEXT:    vsll.vi v8, v8, 4
2616 ; RV64-NEXT:    vor.vv v8, v16, v8
2617 ; RV64-NEXT:    vsrl.vi v16, v8, 2
2618 ; RV64-NEXT:    lui a0, 209715
2619 ; RV64-NEXT:    addiw a0, a0, 819
2620 ; RV64-NEXT:    slli a1, a0, 32
2621 ; RV64-NEXT:    add a0, a0, a1
2622 ; RV64-NEXT:    vand.vx v16, v16, a0
2623 ; RV64-NEXT:    vand.vx v8, v8, a0
2624 ; RV64-NEXT:    vsll.vi v8, v8, 2
2625 ; RV64-NEXT:    vor.vv v8, v16, v8
2626 ; RV64-NEXT:    vsrl.vi v16, v8, 1
2627 ; RV64-NEXT:    lui a0, 349525
2628 ; RV64-NEXT:    addiw a0, a0, 1365
2629 ; RV64-NEXT:    slli a1, a0, 32
2630 ; RV64-NEXT:    add a0, a0, a1
2631 ; RV64-NEXT:    vand.vx v16, v16, a0
2632 ; RV64-NEXT:    vand.vx v8, v8, a0
2633 ; RV64-NEXT:    vadd.vv v8, v8, v8
2634 ; RV64-NEXT:    vor.vv v8, v16, v8
2635 ; RV64-NEXT:    ret
2636 ;
2637 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv7i64_unmasked:
2638 ; CHECK-ZVBB:       # %bb.0:
2639 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2640 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
2641 ; CHECK-ZVBB-NEXT:    ret
2642   %v = call <vscale x 7 x i64> @llvm.vp.bitreverse.nxv7i64(<vscale x 7 x i64> %va, <vscale x 7 x i1> splat (i1 true), i32 %evl)
2643   ret <vscale x 7 x i64> %v
2644 }
2645
2646 declare <vscale x 8 x i64> @llvm.vp.bitreverse.nxv8i64(<vscale x 8 x i64>, <vscale x 8 x i1>, i32)
2647
2648 define <vscale x 8 x i64> @vp_bitreverse_nxv8i64(<vscale x 8 x i64> %va, <vscale x 8 x i1> %m, i32 zeroext %evl) {
2649 ; RV32-LABEL: vp_bitreverse_nxv8i64:
2650 ; RV32:       # %bb.0:
2651 ; RV32-NEXT:    addi sp, sp, -16
2652 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2653 ; RV32-NEXT:    csrr a1, vlenb
2654 ; RV32-NEXT:    li a2, 24
2655 ; RV32-NEXT:    mul a1, a1, a2
2656 ; RV32-NEXT:    sub sp, sp, a1
2657 ; RV32-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x18, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 24 * vlenb
2658 ; RV32-NEXT:    sw zero, 12(sp)
2659 ; RV32-NEXT:    lui a1, 1044480
2660 ; RV32-NEXT:    sw a1, 8(sp)
2661 ; RV32-NEXT:    li a1, 56
2662 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2663 ; RV32-NEXT:    vsll.vx v16, v8, a1, v0.t
2664 ; RV32-NEXT:    lui a2, 16
2665 ; RV32-NEXT:    addi a2, a2, -256
2666 ; RV32-NEXT:    vand.vx v24, v8, a2, v0.t
2667 ; RV32-NEXT:    li a3, 40
2668 ; RV32-NEXT:    vsll.vx v24, v24, a3, v0.t
2669 ; RV32-NEXT:    vor.vv v16, v16, v24, v0.t
2670 ; RV32-NEXT:    csrr a4, vlenb
2671 ; RV32-NEXT:    slli a4, a4, 4
2672 ; RV32-NEXT:    add a4, sp, a4
2673 ; RV32-NEXT:    addi a4, a4, 16
2674 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2675 ; RV32-NEXT:    addi a4, sp, 8
2676 ; RV32-NEXT:    vsetvli a5, zero, e64, m8, ta, ma
2677 ; RV32-NEXT:    vlse64.v v16, (a4), zero
2678 ; RV32-NEXT:    csrr a4, vlenb
2679 ; RV32-NEXT:    slli a4, a4, 3
2680 ; RV32-NEXT:    add a4, sp, a4
2681 ; RV32-NEXT:    addi a4, a4, 16
2682 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2683 ; RV32-NEXT:    lui a4, 4080
2684 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2685 ; RV32-NEXT:    vand.vx v24, v8, a4, v0.t
2686 ; RV32-NEXT:    vsll.vi v24, v24, 24, v0.t
2687 ; RV32-NEXT:    addi a5, sp, 16
2688 ; RV32-NEXT:    vs8r.v v24, (a5) # Unknown-size Folded Spill
2689 ; RV32-NEXT:    vand.vv v24, v8, v16, v0.t
2690 ; RV32-NEXT:    vsll.vi v16, v24, 8, v0.t
2691 ; RV32-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2692 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2693 ; RV32-NEXT:    csrr a5, vlenb
2694 ; RV32-NEXT:    slli a5, a5, 4
2695 ; RV32-NEXT:    add a5, sp, a5
2696 ; RV32-NEXT:    addi a5, a5, 16
2697 ; RV32-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2698 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2699 ; RV32-NEXT:    csrr a5, vlenb
2700 ; RV32-NEXT:    slli a5, a5, 4
2701 ; RV32-NEXT:    add a5, sp, a5
2702 ; RV32-NEXT:    addi a5, a5, 16
2703 ; RV32-NEXT:    vs8r.v v16, (a5) # Unknown-size Folded Spill
2704 ; RV32-NEXT:    vsrl.vx v16, v8, a1, v0.t
2705 ; RV32-NEXT:    vsrl.vx v24, v8, a3, v0.t
2706 ; RV32-NEXT:    vand.vx v24, v24, a2, v0.t
2707 ; RV32-NEXT:    vor.vv v16, v24, v16, v0.t
2708 ; RV32-NEXT:    addi a1, sp, 16
2709 ; RV32-NEXT:    vs8r.v v16, (a1) # Unknown-size Folded Spill
2710 ; RV32-NEXT:    vsrl.vi v24, v8, 24, v0.t
2711 ; RV32-NEXT:    vand.vx v24, v24, a4, v0.t
2712 ; RV32-NEXT:    vsrl.vi v8, v8, 8, v0.t
2713 ; RV32-NEXT:    csrr a1, vlenb
2714 ; RV32-NEXT:    slli a1, a1, 3
2715 ; RV32-NEXT:    add a1, sp, a1
2716 ; RV32-NEXT:    addi a1, a1, 16
2717 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2718 ; RV32-NEXT:    vand.vv v8, v8, v16, v0.t
2719 ; RV32-NEXT:    vor.vv v8, v8, v24, v0.t
2720 ; RV32-NEXT:    addi a1, sp, 16
2721 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2722 ; RV32-NEXT:    vor.vv v8, v8, v16, v0.t
2723 ; RV32-NEXT:    csrr a1, vlenb
2724 ; RV32-NEXT:    slli a1, a1, 4
2725 ; RV32-NEXT:    add a1, sp, a1
2726 ; RV32-NEXT:    addi a1, a1, 16
2727 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2728 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2729 ; RV32-NEXT:    vsrl.vi v16, v8, 4, v0.t
2730 ; RV32-NEXT:    lui a1, 61681
2731 ; RV32-NEXT:    addi a1, a1, -241
2732 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2733 ; RV32-NEXT:    vmv.v.x v24, a1
2734 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2735 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2736 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2737 ; RV32-NEXT:    vsll.vi v8, v8, 4, v0.t
2738 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2739 ; RV32-NEXT:    vsrl.vi v16, v8, 2, v0.t
2740 ; RV32-NEXT:    lui a1, 209715
2741 ; RV32-NEXT:    addi a1, a1, 819
2742 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2743 ; RV32-NEXT:    vmv.v.x v24, a1
2744 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2745 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2746 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2747 ; RV32-NEXT:    vsll.vi v8, v8, 2, v0.t
2748 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2749 ; RV32-NEXT:    vsrl.vi v16, v8, 1, v0.t
2750 ; RV32-NEXT:    lui a1, 349525
2751 ; RV32-NEXT:    addi a1, a1, 1365
2752 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2753 ; RV32-NEXT:    vmv.v.x v24, a1
2754 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2755 ; RV32-NEXT:    vand.vv v16, v16, v24, v0.t
2756 ; RV32-NEXT:    vand.vv v8, v8, v24, v0.t
2757 ; RV32-NEXT:    vsll.vi v8, v8, 1, v0.t
2758 ; RV32-NEXT:    vor.vv v8, v16, v8, v0.t
2759 ; RV32-NEXT:    csrr a0, vlenb
2760 ; RV32-NEXT:    li a1, 24
2761 ; RV32-NEXT:    mul a0, a0, a1
2762 ; RV32-NEXT:    add sp, sp, a0
2763 ; RV32-NEXT:    addi sp, sp, 16
2764 ; RV32-NEXT:    ret
2765 ;
2766 ; RV64-LABEL: vp_bitreverse_nxv8i64:
2767 ; RV64:       # %bb.0:
2768 ; RV64-NEXT:    addi sp, sp, -16
2769 ; RV64-NEXT:    .cfi_def_cfa_offset 16
2770 ; RV64-NEXT:    csrr a1, vlenb
2771 ; RV64-NEXT:    slli a1, a1, 3
2772 ; RV64-NEXT:    sub sp, sp, a1
2773 ; RV64-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
2774 ; RV64-NEXT:    lui a1, 4080
2775 ; RV64-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2776 ; RV64-NEXT:    vand.vx v16, v8, a1, v0.t
2777 ; RV64-NEXT:    vsll.vi v16, v16, 24, v0.t
2778 ; RV64-NEXT:    li a0, 255
2779 ; RV64-NEXT:    slli a0, a0, 24
2780 ; RV64-NEXT:    vand.vx v24, v8, a0, v0.t
2781 ; RV64-NEXT:    vsll.vi v24, v24, 8, v0.t
2782 ; RV64-NEXT:    vor.vv v16, v16, v24, v0.t
2783 ; RV64-NEXT:    addi a2, sp, 16
2784 ; RV64-NEXT:    vs8r.v v16, (a2) # Unknown-size Folded Spill
2785 ; RV64-NEXT:    li a2, 56
2786 ; RV64-NEXT:    vsll.vx v24, v8, a2, v0.t
2787 ; RV64-NEXT:    lui a3, 16
2788 ; RV64-NEXT:    addiw a3, a3, -256
2789 ; RV64-NEXT:    li a4, 40
2790 ; RV64-NEXT:    vand.vx v16, v8, a3, v0.t
2791 ; RV64-NEXT:    vsll.vx v16, v16, a4, v0.t
2792 ; RV64-NEXT:    vor.vv v16, v24, v16, v0.t
2793 ; RV64-NEXT:    addi a5, sp, 16
2794 ; RV64-NEXT:    vl8r.v v24, (a5) # Unknown-size Folded Reload
2795 ; RV64-NEXT:    vor.vv v16, v16, v24, v0.t
2796 ; RV64-NEXT:    vs8r.v v16, (a5) # Unknown-size Folded Spill
2797 ; RV64-NEXT:    vsrl.vx v24, v8, a2, v0.t
2798 ; RV64-NEXT:    vsrl.vx v16, v8, a4, v0.t
2799 ; RV64-NEXT:    vand.vx v16, v16, a3, v0.t
2800 ; RV64-NEXT:    vor.vv v24, v16, v24, v0.t
2801 ; RV64-NEXT:    vsrl.vi v16, v8, 24, v0.t
2802 ; RV64-NEXT:    vand.vx v16, v16, a1, v0.t
2803 ; RV64-NEXT:    vsrl.vi v8, v8, 8, v0.t
2804 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2805 ; RV64-NEXT:    vor.vv v8, v8, v16, v0.t
2806 ; RV64-NEXT:    vor.vv v8, v8, v24, v0.t
2807 ; RV64-NEXT:    addi a0, sp, 16
2808 ; RV64-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
2809 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2810 ; RV64-NEXT:    vsrl.vi v16, v8, 4, v0.t
2811 ; RV64-NEXT:    lui a0, 61681
2812 ; RV64-NEXT:    addiw a0, a0, -241
2813 ; RV64-NEXT:    slli a1, a0, 32
2814 ; RV64-NEXT:    add a0, a0, a1
2815 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2816 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2817 ; RV64-NEXT:    vsll.vi v8, v8, 4, v0.t
2818 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2819 ; RV64-NEXT:    vsrl.vi v16, v8, 2, v0.t
2820 ; RV64-NEXT:    lui a0, 209715
2821 ; RV64-NEXT:    addiw a0, a0, 819
2822 ; RV64-NEXT:    slli a1, a0, 32
2823 ; RV64-NEXT:    add a0, a0, a1
2824 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2825 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2826 ; RV64-NEXT:    vsll.vi v8, v8, 2, v0.t
2827 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2828 ; RV64-NEXT:    vsrl.vi v16, v8, 1, v0.t
2829 ; RV64-NEXT:    lui a0, 349525
2830 ; RV64-NEXT:    addiw a0, a0, 1365
2831 ; RV64-NEXT:    slli a1, a0, 32
2832 ; RV64-NEXT:    add a0, a0, a1
2833 ; RV64-NEXT:    vand.vx v16, v16, a0, v0.t
2834 ; RV64-NEXT:    vand.vx v8, v8, a0, v0.t
2835 ; RV64-NEXT:    vsll.vi v8, v8, 1, v0.t
2836 ; RV64-NEXT:    vor.vv v8, v16, v8, v0.t
2837 ; RV64-NEXT:    csrr a0, vlenb
2838 ; RV64-NEXT:    slli a0, a0, 3
2839 ; RV64-NEXT:    add sp, sp, a0
2840 ; RV64-NEXT:    addi sp, sp, 16
2841 ; RV64-NEXT:    ret
2842 ;
2843 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i64:
2844 ; CHECK-ZVBB:       # %bb.0:
2845 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2846 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
2847 ; CHECK-ZVBB-NEXT:    ret
2848   %v = call <vscale x 8 x i64> @llvm.vp.bitreverse.nxv8i64(<vscale x 8 x i64> %va, <vscale x 8 x i1> %m, i32 %evl)
2849   ret <vscale x 8 x i64> %v
2850 }
2851
2852 define <vscale x 8 x i64> @vp_bitreverse_nxv8i64_unmasked(<vscale x 8 x i64> %va, i32 zeroext %evl) {
2853 ; RV32-LABEL: vp_bitreverse_nxv8i64_unmasked:
2854 ; RV32:       # %bb.0:
2855 ; RV32-NEXT:    addi sp, sp, -16
2856 ; RV32-NEXT:    .cfi_def_cfa_offset 16
2857 ; RV32-NEXT:    csrr a1, vlenb
2858 ; RV32-NEXT:    slli a1, a1, 3
2859 ; RV32-NEXT:    sub sp, sp, a1
2860 ; RV32-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 8 * vlenb
2861 ; RV32-NEXT:    sw zero, 12(sp)
2862 ; RV32-NEXT:    lui a1, 1044480
2863 ; RV32-NEXT:    sw a1, 8(sp)
2864 ; RV32-NEXT:    li a1, 56
2865 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2866 ; RV32-NEXT:    vsll.vx v16, v8, a1
2867 ; RV32-NEXT:    lui a2, 16
2868 ; RV32-NEXT:    addi a2, a2, -256
2869 ; RV32-NEXT:    vand.vx v24, v8, a2
2870 ; RV32-NEXT:    li a3, 40
2871 ; RV32-NEXT:    vsll.vx v24, v24, a3
2872 ; RV32-NEXT:    vor.vv v16, v16, v24
2873 ; RV32-NEXT:    addi a4, sp, 16
2874 ; RV32-NEXT:    vs8r.v v16, (a4) # Unknown-size Folded Spill
2875 ; RV32-NEXT:    addi a4, sp, 8
2876 ; RV32-NEXT:    vsetvli a5, zero, e64, m8, ta, ma
2877 ; RV32-NEXT:    vlse64.v v16, (a4), zero
2878 ; RV32-NEXT:    lui a4, 4080
2879 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2880 ; RV32-NEXT:    vand.vx v0, v8, a4
2881 ; RV32-NEXT:    vsll.vi v0, v0, 24
2882 ; RV32-NEXT:    vand.vv v24, v8, v16
2883 ; RV32-NEXT:    vsll.vi v24, v24, 8
2884 ; RV32-NEXT:    vor.vv v24, v0, v24
2885 ; RV32-NEXT:    addi a5, sp, 16
2886 ; RV32-NEXT:    vl8r.v v0, (a5) # Unknown-size Folded Reload
2887 ; RV32-NEXT:    vor.vv v24, v0, v24
2888 ; RV32-NEXT:    vs8r.v v24, (a5) # Unknown-size Folded Spill
2889 ; RV32-NEXT:    vsrl.vx v0, v8, a3
2890 ; RV32-NEXT:    vand.vx v0, v0, a2
2891 ; RV32-NEXT:    vsrl.vx v24, v8, a1
2892 ; RV32-NEXT:    vor.vv v24, v0, v24
2893 ; RV32-NEXT:    vsrl.vi v0, v8, 8
2894 ; RV32-NEXT:    vand.vv v16, v0, v16
2895 ; RV32-NEXT:    vsrl.vi v8, v8, 24
2896 ; RV32-NEXT:    vand.vx v8, v8, a4
2897 ; RV32-NEXT:    vor.vv v8, v16, v8
2898 ; RV32-NEXT:    vor.vv v8, v8, v24
2899 ; RV32-NEXT:    addi a1, sp, 16
2900 ; RV32-NEXT:    vl8r.v v16, (a1) # Unknown-size Folded Reload
2901 ; RV32-NEXT:    vor.vv v8, v16, v8
2902 ; RV32-NEXT:    vsrl.vi v16, v8, 4
2903 ; RV32-NEXT:    lui a1, 61681
2904 ; RV32-NEXT:    addi a1, a1, -241
2905 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2906 ; RV32-NEXT:    vmv.v.x v24, a1
2907 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2908 ; RV32-NEXT:    vand.vv v16, v16, v24
2909 ; RV32-NEXT:    vand.vv v8, v8, v24
2910 ; RV32-NEXT:    vsll.vi v8, v8, 4
2911 ; RV32-NEXT:    vor.vv v8, v16, v8
2912 ; RV32-NEXT:    vsrl.vi v16, v8, 2
2913 ; RV32-NEXT:    lui a1, 209715
2914 ; RV32-NEXT:    addi a1, a1, 819
2915 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2916 ; RV32-NEXT:    vmv.v.x v24, a1
2917 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2918 ; RV32-NEXT:    vand.vv v16, v16, v24
2919 ; RV32-NEXT:    vand.vv v8, v8, v24
2920 ; RV32-NEXT:    vsll.vi v8, v8, 2
2921 ; RV32-NEXT:    vor.vv v8, v16, v8
2922 ; RV32-NEXT:    vsrl.vi v16, v8, 1
2923 ; RV32-NEXT:    lui a1, 349525
2924 ; RV32-NEXT:    addi a1, a1, 1365
2925 ; RV32-NEXT:    vsetvli a2, zero, e32, m8, ta, ma
2926 ; RV32-NEXT:    vmv.v.x v24, a1
2927 ; RV32-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2928 ; RV32-NEXT:    vand.vv v16, v16, v24
2929 ; RV32-NEXT:    vand.vv v8, v8, v24
2930 ; RV32-NEXT:    vadd.vv v8, v8, v8
2931 ; RV32-NEXT:    vor.vv v8, v16, v8
2932 ; RV32-NEXT:    csrr a0, vlenb
2933 ; RV32-NEXT:    slli a0, a0, 3
2934 ; RV32-NEXT:    add sp, sp, a0
2935 ; RV32-NEXT:    addi sp, sp, 16
2936 ; RV32-NEXT:    ret
2937 ;
2938 ; RV64-LABEL: vp_bitreverse_nxv8i64_unmasked:
2939 ; RV64:       # %bb.0:
2940 ; RV64-NEXT:    lui a1, 4080
2941 ; RV64-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
2942 ; RV64-NEXT:    vand.vx v16, v8, a1
2943 ; RV64-NEXT:    vsll.vi v16, v16, 24
2944 ; RV64-NEXT:    li a0, 255
2945 ; RV64-NEXT:    slli a0, a0, 24
2946 ; RV64-NEXT:    vand.vx v24, v8, a0
2947 ; RV64-NEXT:    vsll.vi v24, v24, 8
2948 ; RV64-NEXT:    vor.vv v16, v16, v24
2949 ; RV64-NEXT:    li a2, 56
2950 ; RV64-NEXT:    vsll.vx v24, v8, a2
2951 ; RV64-NEXT:    lui a3, 16
2952 ; RV64-NEXT:    addiw a3, a3, -256
2953 ; RV64-NEXT:    vand.vx v0, v8, a3
2954 ; RV64-NEXT:    li a4, 40
2955 ; RV64-NEXT:    vsll.vx v0, v0, a4
2956 ; RV64-NEXT:    vor.vv v24, v24, v0
2957 ; RV64-NEXT:    vor.vv v16, v24, v16
2958 ; RV64-NEXT:    vsrl.vx v24, v8, a2
2959 ; RV64-NEXT:    vsrl.vx v0, v8, a4
2960 ; RV64-NEXT:    vand.vx v0, v0, a3
2961 ; RV64-NEXT:    vor.vv v24, v0, v24
2962 ; RV64-NEXT:    vsrl.vi v0, v8, 24
2963 ; RV64-NEXT:    vand.vx v0, v0, a1
2964 ; RV64-NEXT:    vsrl.vi v8, v8, 8
2965 ; RV64-NEXT:    vand.vx v8, v8, a0
2966 ; RV64-NEXT:    vor.vv v8, v8, v0
2967 ; RV64-NEXT:    vor.vv v8, v8, v24
2968 ; RV64-NEXT:    vor.vv v8, v16, v8
2969 ; RV64-NEXT:    vsrl.vi v16, v8, 4
2970 ; RV64-NEXT:    lui a0, 61681
2971 ; RV64-NEXT:    addiw a0, a0, -241
2972 ; RV64-NEXT:    slli a1, a0, 32
2973 ; RV64-NEXT:    add a0, a0, a1
2974 ; RV64-NEXT:    vand.vx v16, v16, a0
2975 ; RV64-NEXT:    vand.vx v8, v8, a0
2976 ; RV64-NEXT:    vsll.vi v8, v8, 4
2977 ; RV64-NEXT:    vor.vv v8, v16, v8
2978 ; RV64-NEXT:    vsrl.vi v16, v8, 2
2979 ; RV64-NEXT:    lui a0, 209715
2980 ; RV64-NEXT:    addiw a0, a0, 819
2981 ; RV64-NEXT:    slli a1, a0, 32
2982 ; RV64-NEXT:    add a0, a0, a1
2983 ; RV64-NEXT:    vand.vx v16, v16, a0
2984 ; RV64-NEXT:    vand.vx v8, v8, a0
2985 ; RV64-NEXT:    vsll.vi v8, v8, 2
2986 ; RV64-NEXT:    vor.vv v8, v16, v8
2987 ; RV64-NEXT:    vsrl.vi v16, v8, 1
2988 ; RV64-NEXT:    lui a0, 349525
2989 ; RV64-NEXT:    addiw a0, a0, 1365
2990 ; RV64-NEXT:    slli a1, a0, 32
2991 ; RV64-NEXT:    add a0, a0, a1
2992 ; RV64-NEXT:    vand.vx v16, v16, a0
2993 ; RV64-NEXT:    vand.vx v8, v8, a0
2994 ; RV64-NEXT:    vadd.vv v8, v8, v8
2995 ; RV64-NEXT:    vor.vv v8, v16, v8
2996 ; RV64-NEXT:    ret
2997 ;
2998 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv8i64_unmasked:
2999 ; CHECK-ZVBB:       # %bb.0:
3000 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e64, m8, ta, ma
3001 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
3002 ; CHECK-ZVBB-NEXT:    ret
3003   %v = call <vscale x 8 x i64> @llvm.vp.bitreverse.nxv8i64(<vscale x 8 x i64> %va, <vscale x 8 x i1> splat (i1 true), i32 %evl)
3004   ret <vscale x 8 x i64> %v
3005 }
3006
3007 ; Test splitting. Use i16 version for easier check.
3008 declare <vscale x 64 x i16> @llvm.vp.bitreverse.nxv64i16(<vscale x 64 x i16>, <vscale x 64 x i1>, i32)
3009
3010 define <vscale x 64 x i16> @vp_bitreverse_nxv64i16(<vscale x 64 x i16> %va, <vscale x 64 x i1> %m, i32 zeroext %evl) {
3011 ; CHECK-LABEL: vp_bitreverse_nxv64i16:
3012 ; CHECK:       # %bb.0:
3013 ; CHECK-NEXT:    addi sp, sp, -16
3014 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
3015 ; CHECK-NEXT:    csrr a1, vlenb
3016 ; CHECK-NEXT:    slli a1, a1, 4
3017 ; CHECK-NEXT:    sub sp, sp, a1
3018 ; CHECK-NEXT:    .cfi_escape 0x0f, 0x0d, 0x72, 0x00, 0x11, 0x10, 0x22, 0x11, 0x10, 0x92, 0xa2, 0x38, 0x00, 0x1e, 0x22 # sp + 16 + 16 * vlenb
3019 ; CHECK-NEXT:    vmv1r.v v24, v0
3020 ; CHECK-NEXT:    csrr a1, vlenb
3021 ; CHECK-NEXT:    slli a1, a1, 3
3022 ; CHECK-NEXT:    add a1, sp, a1
3023 ; CHECK-NEXT:    addi a1, a1, 16
3024 ; CHECK-NEXT:    vs8r.v v8, (a1) # Unknown-size Folded Spill
3025 ; CHECK-NEXT:    csrr a2, vlenb
3026 ; CHECK-NEXT:    srli a1, a2, 1
3027 ; CHECK-NEXT:    vsetvli a3, zero, e8, m1, ta, ma
3028 ; CHECK-NEXT:    vslidedown.vx v0, v0, a1
3029 ; CHECK-NEXT:    slli a2, a2, 2
3030 ; CHECK-NEXT:    sub a1, a0, a2
3031 ; CHECK-NEXT:    sltu a3, a0, a1
3032 ; CHECK-NEXT:    addi a3, a3, -1
3033 ; CHECK-NEXT:    and a1, a3, a1
3034 ; CHECK-NEXT:    vsetvli zero, a1, e16, m8, ta, ma
3035 ; CHECK-NEXT:    vsrl.vi v8, v16, 8, v0.t
3036 ; CHECK-NEXT:    vsll.vi v16, v16, 8, v0.t
3037 ; CHECK-NEXT:    vor.vv v16, v16, v8, v0.t
3038 ; CHECK-NEXT:    vsrl.vi v8, v16, 4, v0.t
3039 ; CHECK-NEXT:    lui a1, 1
3040 ; CHECK-NEXT:    addi a1, a1, -241
3041 ; CHECK-NEXT:    vand.vx v8, v8, a1, v0.t
3042 ; CHECK-NEXT:    vand.vx v16, v16, a1, v0.t
3043 ; CHECK-NEXT:    vsll.vi v16, v16, 4, v0.t
3044 ; CHECK-NEXT:    vor.vv v16, v8, v16, v0.t
3045 ; CHECK-NEXT:    vsrl.vi v8, v16, 2, v0.t
3046 ; CHECK-NEXT:    lui a3, 3
3047 ; CHECK-NEXT:    addi a3, a3, 819
3048 ; CHECK-NEXT:    vand.vx v8, v8, a3, v0.t
3049 ; CHECK-NEXT:    vand.vx v16, v16, a3, v0.t
3050 ; CHECK-NEXT:    vsll.vi v16, v16, 2, v0.t
3051 ; CHECK-NEXT:    vor.vv v16, v8, v16, v0.t
3052 ; CHECK-NEXT:    vsrl.vi v8, v16, 1, v0.t
3053 ; CHECK-NEXT:    lui a4, 5
3054 ; CHECK-NEXT:    addi a4, a4, 1365
3055 ; CHECK-NEXT:    vand.vx v8, v8, a4, v0.t
3056 ; CHECK-NEXT:    vand.vx v16, v16, a4, v0.t
3057 ; CHECK-NEXT:    vsll.vi v16, v16, 1, v0.t
3058 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
3059 ; CHECK-NEXT:    addi a5, sp, 16
3060 ; CHECK-NEXT:    vs8r.v v8, (a5) # Unknown-size Folded Spill
3061 ; CHECK-NEXT:    bltu a0, a2, .LBB46_2
3062 ; CHECK-NEXT:  # %bb.1:
3063 ; CHECK-NEXT:    mv a0, a2
3064 ; CHECK-NEXT:  .LBB46_2:
3065 ; CHECK-NEXT:    vmv1r.v v0, v24
3066 ; CHECK-NEXT:    csrr a2, vlenb
3067 ; CHECK-NEXT:    slli a2, a2, 3
3068 ; CHECK-NEXT:    add a2, sp, a2
3069 ; CHECK-NEXT:    addi a2, a2, 16
3070 ; CHECK-NEXT:    vl8r.v v8, (a2) # Unknown-size Folded Reload
3071 ; CHECK-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
3072 ; CHECK-NEXT:    vsrl.vi v16, v8, 8, v0.t
3073 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
3074 ; CHECK-NEXT:    vor.vv v8, v8, v16, v0.t
3075 ; CHECK-NEXT:    vsrl.vi v16, v8, 4, v0.t
3076 ; CHECK-NEXT:    vand.vx v16, v16, a1, v0.t
3077 ; CHECK-NEXT:    vand.vx v8, v8, a1, v0.t
3078 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
3079 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
3080 ; CHECK-NEXT:    vsrl.vi v16, v8, 2, v0.t
3081 ; CHECK-NEXT:    vand.vx v16, v16, a3, v0.t
3082 ; CHECK-NEXT:    vand.vx v8, v8, a3, v0.t
3083 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
3084 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
3085 ; CHECK-NEXT:    vsrl.vi v16, v8, 1, v0.t
3086 ; CHECK-NEXT:    vand.vx v16, v16, a4, v0.t
3087 ; CHECK-NEXT:    vand.vx v8, v8, a4, v0.t
3088 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
3089 ; CHECK-NEXT:    vor.vv v8, v16, v8, v0.t
3090 ; CHECK-NEXT:    addi a0, sp, 16
3091 ; CHECK-NEXT:    vl8r.v v16, (a0) # Unknown-size Folded Reload
3092 ; CHECK-NEXT:    csrr a0, vlenb
3093 ; CHECK-NEXT:    slli a0, a0, 4
3094 ; CHECK-NEXT:    add sp, sp, a0
3095 ; CHECK-NEXT:    addi sp, sp, 16
3096 ; CHECK-NEXT:    ret
3097 ;
3098 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv64i16:
3099 ; CHECK-ZVBB:       # %bb.0:
3100 ; CHECK-ZVBB-NEXT:    vmv1r.v v24, v0
3101 ; CHECK-ZVBB-NEXT:    csrr a1, vlenb
3102 ; CHECK-ZVBB-NEXT:    srli a2, a1, 1
3103 ; CHECK-ZVBB-NEXT:    vsetvli a3, zero, e8, m1, ta, ma
3104 ; CHECK-ZVBB-NEXT:    vslidedown.vx v0, v0, a2
3105 ; CHECK-ZVBB-NEXT:    slli a1, a1, 2
3106 ; CHECK-ZVBB-NEXT:    sub a2, a0, a1
3107 ; CHECK-ZVBB-NEXT:    sltu a3, a0, a2
3108 ; CHECK-ZVBB-NEXT:    addi a3, a3, -1
3109 ; CHECK-ZVBB-NEXT:    and a2, a3, a2
3110 ; CHECK-ZVBB-NEXT:    vsetvli zero, a2, e16, m8, ta, ma
3111 ; CHECK-ZVBB-NEXT:    vbrev.v v16, v16, v0.t
3112 ; CHECK-ZVBB-NEXT:    bltu a0, a1, .LBB46_2
3113 ; CHECK-ZVBB-NEXT:  # %bb.1:
3114 ; CHECK-ZVBB-NEXT:    mv a0, a1
3115 ; CHECK-ZVBB-NEXT:  .LBB46_2:
3116 ; CHECK-ZVBB-NEXT:    vmv1r.v v0, v24
3117 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
3118 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
3119 ; CHECK-ZVBB-NEXT:    ret
3120   %v = call <vscale x 64 x i16> @llvm.vp.bitreverse.nxv64i16(<vscale x 64 x i16> %va, <vscale x 64 x i1> %m, i32 %evl)
3121   ret <vscale x 64 x i16> %v
3122 }
3123
3124 define <vscale x 64 x i16> @vp_bitreverse_nxv64i16_unmasked(<vscale x 64 x i16> %va, i32 zeroext %evl) {
3125 ; CHECK-LABEL: vp_bitreverse_nxv64i16_unmasked:
3126 ; CHECK:       # %bb.0:
3127 ; CHECK-NEXT:    csrr a1, vlenb
3128 ; CHECK-NEXT:    slli a1, a1, 2
3129 ; CHECK-NEXT:    sub a2, a0, a1
3130 ; CHECK-NEXT:    sltu a3, a0, a2
3131 ; CHECK-NEXT:    addi a3, a3, -1
3132 ; CHECK-NEXT:    and a2, a3, a2
3133 ; CHECK-NEXT:    vsetvli zero, a2, e16, m8, ta, ma
3134 ; CHECK-NEXT:    vsrl.vi v24, v16, 8
3135 ; CHECK-NEXT:    vsll.vi v16, v16, 8
3136 ; CHECK-NEXT:    vor.vv v16, v16, v24
3137 ; CHECK-NEXT:    vsrl.vi v24, v16, 4
3138 ; CHECK-NEXT:    lui a2, 1
3139 ; CHECK-NEXT:    addi a2, a2, -241
3140 ; CHECK-NEXT:    vand.vx v24, v24, a2
3141 ; CHECK-NEXT:    vand.vx v16, v16, a2
3142 ; CHECK-NEXT:    vsll.vi v16, v16, 4
3143 ; CHECK-NEXT:    vor.vv v16, v24, v16
3144 ; CHECK-NEXT:    vsrl.vi v24, v16, 2
3145 ; CHECK-NEXT:    lui a3, 3
3146 ; CHECK-NEXT:    addi a3, a3, 819
3147 ; CHECK-NEXT:    vand.vx v24, v24, a3
3148 ; CHECK-NEXT:    vand.vx v16, v16, a3
3149 ; CHECK-NEXT:    vsll.vi v16, v16, 2
3150 ; CHECK-NEXT:    vor.vv v16, v24, v16
3151 ; CHECK-NEXT:    vsrl.vi v24, v16, 1
3152 ; CHECK-NEXT:    lui a4, 5
3153 ; CHECK-NEXT:    addi a4, a4, 1365
3154 ; CHECK-NEXT:    vand.vx v24, v24, a4
3155 ; CHECK-NEXT:    vand.vx v16, v16, a4
3156 ; CHECK-NEXT:    vadd.vv v16, v16, v16
3157 ; CHECK-NEXT:    vor.vv v16, v24, v16
3158 ; CHECK-NEXT:    bltu a0, a1, .LBB47_2
3159 ; CHECK-NEXT:  # %bb.1:
3160 ; CHECK-NEXT:    mv a0, a1
3161 ; CHECK-NEXT:  .LBB47_2:
3162 ; CHECK-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
3163 ; CHECK-NEXT:    vsrl.vi v24, v8, 8
3164 ; CHECK-NEXT:    vsll.vi v8, v8, 8
3165 ; CHECK-NEXT:    vor.vv v8, v8, v24
3166 ; CHECK-NEXT:    vsrl.vi v24, v8, 4
3167 ; CHECK-NEXT:    vand.vx v24, v24, a2
3168 ; CHECK-NEXT:    vand.vx v8, v8, a2
3169 ; CHECK-NEXT:    vsll.vi v8, v8, 4
3170 ; CHECK-NEXT:    vor.vv v8, v24, v8
3171 ; CHECK-NEXT:    vsrl.vi v24, v8, 2
3172 ; CHECK-NEXT:    vand.vx v24, v24, a3
3173 ; CHECK-NEXT:    vand.vx v8, v8, a3
3174 ; CHECK-NEXT:    vsll.vi v8, v8, 2
3175 ; CHECK-NEXT:    vor.vv v8, v24, v8
3176 ; CHECK-NEXT:    vsrl.vi v24, v8, 1
3177 ; CHECK-NEXT:    vand.vx v24, v24, a4
3178 ; CHECK-NEXT:    vand.vx v8, v8, a4
3179 ; CHECK-NEXT:    vadd.vv v8, v8, v8
3180 ; CHECK-NEXT:    vor.vv v8, v24, v8
3181 ; CHECK-NEXT:    ret
3182 ;
3183 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv64i16_unmasked:
3184 ; CHECK-ZVBB:       # %bb.0:
3185 ; CHECK-ZVBB-NEXT:    csrr a1, vlenb
3186 ; CHECK-ZVBB-NEXT:    slli a1, a1, 2
3187 ; CHECK-ZVBB-NEXT:    sub a2, a0, a1
3188 ; CHECK-ZVBB-NEXT:    sltu a3, a0, a2
3189 ; CHECK-ZVBB-NEXT:    addi a3, a3, -1
3190 ; CHECK-ZVBB-NEXT:    and a2, a3, a2
3191 ; CHECK-ZVBB-NEXT:    vsetvli zero, a2, e16, m8, ta, ma
3192 ; CHECK-ZVBB-NEXT:    vbrev.v v16, v16
3193 ; CHECK-ZVBB-NEXT:    bltu a0, a1, .LBB47_2
3194 ; CHECK-ZVBB-NEXT:  # %bb.1:
3195 ; CHECK-ZVBB-NEXT:    mv a0, a1
3196 ; CHECK-ZVBB-NEXT:  .LBB47_2:
3197 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, m8, ta, ma
3198 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8
3199 ; CHECK-ZVBB-NEXT:    ret
3200   %v = call <vscale x 64 x i16> @llvm.vp.bitreverse.nxv64i16(<vscale x 64 x i16> %va, <vscale x 64 x i1> splat (i1 true), i32 %evl)
3201   ret <vscale x 64 x i16> %v
3202 }
3203
3204 ; Test promotion.
3205 declare <vscale x 1 x i9> @llvm.vp.bitreverse.nxv1i9(<vscale x 1 x i9>, <vscale x 1 x i1>, i32)
3206 define <vscale x 1 x i9> @vp_bitreverse_nxv1i9(<vscale x 1 x i9> %va, <vscale x 1 x i1> %m, i32 zeroext %evl) {
3207 ; CHECK-LABEL: vp_bitreverse_nxv1i9:
3208 ; CHECK:       # %bb.0:
3209 ; CHECK-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
3210 ; CHECK-NEXT:    vsrl.vi v9, v8, 8, v0.t
3211 ; CHECK-NEXT:    vsll.vi v8, v8, 8, v0.t
3212 ; CHECK-NEXT:    vor.vv v8, v8, v9, v0.t
3213 ; CHECK-NEXT:    vsrl.vi v9, v8, 4, v0.t
3214 ; CHECK-NEXT:    lui a0, 1
3215 ; CHECK-NEXT:    addi a0, a0, -241
3216 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
3217 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
3218 ; CHECK-NEXT:    vsll.vi v8, v8, 4, v0.t
3219 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
3220 ; CHECK-NEXT:    vsrl.vi v9, v8, 2, v0.t
3221 ; CHECK-NEXT:    lui a0, 3
3222 ; CHECK-NEXT:    addi a0, a0, 819
3223 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
3224 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
3225 ; CHECK-NEXT:    vsll.vi v8, v8, 2, v0.t
3226 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
3227 ; CHECK-NEXT:    vsrl.vi v9, v8, 1, v0.t
3228 ; CHECK-NEXT:    lui a0, 5
3229 ; CHECK-NEXT:    addi a0, a0, 1365
3230 ; CHECK-NEXT:    vand.vx v9, v9, a0, v0.t
3231 ; CHECK-NEXT:    vand.vx v8, v8, a0, v0.t
3232 ; CHECK-NEXT:    vsll.vi v8, v8, 1, v0.t
3233 ; CHECK-NEXT:    vor.vv v8, v9, v8, v0.t
3234 ; CHECK-NEXT:    vsrl.vi v8, v8, 7, v0.t
3235 ; CHECK-NEXT:    ret
3236 ;
3237 ; CHECK-ZVBB-LABEL: vp_bitreverse_nxv1i9:
3238 ; CHECK-ZVBB:       # %bb.0:
3239 ; CHECK-ZVBB-NEXT:    vsetvli zero, a0, e16, mf4, ta, ma
3240 ; CHECK-ZVBB-NEXT:    vbrev.v v8, v8, v0.t
3241 ; CHECK-ZVBB-NEXT:    vsrl.vi v8, v8, 7, v0.t
3242 ; CHECK-ZVBB-NEXT:    ret
3243   %v = call <vscale x 1 x i9> @llvm.vp.bitreverse.nxv1i9(<vscale x 1 x i9> %va, <vscale x 1 x i1> %m, i32 %evl)
3244   ret <vscale x 1 x i9> %v
3245 }