llvm/test/CodeGen/AArch64/sve-intrinsics-counting-elems.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve < %s | FileCheck %s
   3 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve -mattr=+use-scalar-inc-vl < %s | FileCheck %s -check-prefix=USE_SCALAR_INC
   4 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve2 < %s | FileCheck %s -check-prefix=USE_SCALAR_INC
   5 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sme < %s | FileCheck %s -check-prefix=USE_SCALAR_INC
   6
   7 ;
   8 ; CNTB
   9 ;
  10
  11 define i64 @cntb() {
  12 ; CHECK-LABEL: cntb:
  13 ; CHECK:       // %bb.0:
  14 ; CHECK-NEXT:    cntb x0, vl2
  15 ; CHECK-NEXT:    ret
  16 ;
  17 ; USE_SCALAR_INC-LABEL: cntb:
  18 ; USE_SCALAR_INC:       // %bb.0:
  19 ; USE_SCALAR_INC-NEXT:    cntb x0, vl2
  20 ; USE_SCALAR_INC-NEXT:    ret
  21   %out = call i64 @llvm.aarch64.sve.cntb(i32 2)
  22   ret i64 %out
  23 }
  24
  25 define i64 @cntb_mul3() {
  26 ; CHECK-LABEL: cntb_mul3:
  27 ; CHECK:       // %bb.0:
  28 ; CHECK-NEXT:    cntb x0, vl6, mul #3
  29 ; CHECK-NEXT:    ret
  30 ;
  31 ; USE_SCALAR_INC-LABEL: cntb_mul3:
  32 ; USE_SCALAR_INC:       // %bb.0:
  33 ; USE_SCALAR_INC-NEXT:    cntb x0, vl6, mul #3
  34 ; USE_SCALAR_INC-NEXT:    ret
  35   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 6)
  36   %out = mul i64 %cnt, 3
  37   ret i64 %out
  38 }
  39
  40 define i64 @cntb_mul4() {
  41 ; CHECK-LABEL: cntb_mul4:
  42 ; CHECK:       // %bb.0:
  43 ; CHECK-NEXT:    cntb x0, vl8, mul #4
  44 ; CHECK-NEXT:    ret
  45 ;
  46 ; USE_SCALAR_INC-LABEL: cntb_mul4:
  47 ; USE_SCALAR_INC:       // %bb.0:
  48 ; USE_SCALAR_INC-NEXT:    cntb x0, vl8, mul #4
  49 ; USE_SCALAR_INC-NEXT:    ret
  50   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 8)
  51   %out = mul i64 %cnt, 4
  52   ret i64 %out
  53 }
  54
  55 ;
  56 ; CNTH
  57 ;
  58
  59 define i64 @cnth() {
  60 ; CHECK-LABEL: cnth:
  61 ; CHECK:       // %bb.0:
  62 ; CHECK-NEXT:    cnth x0, vl3
  63 ; CHECK-NEXT:    ret
  64 ;
  65 ; USE_SCALAR_INC-LABEL: cnth:
  66 ; USE_SCALAR_INC:       // %bb.0:
  67 ; USE_SCALAR_INC-NEXT:    cnth x0, vl3
  68 ; USE_SCALAR_INC-NEXT:    ret
  69   %out = call i64 @llvm.aarch64.sve.cnth(i32 3)
  70   ret i64 %out
  71 }
  72
  73 define i64 @cnth_mul5() {
  74 ; CHECK-LABEL: cnth_mul5:
  75 ; CHECK:       // %bb.0:
  76 ; CHECK-NEXT:    cnth x0, vl7, mul #5
  77 ; CHECK-NEXT:    ret
  78 ;
  79 ; USE_SCALAR_INC-LABEL: cnth_mul5:
  80 ; USE_SCALAR_INC:       // %bb.0:
  81 ; USE_SCALAR_INC-NEXT:    cnth x0, vl7, mul #5
  82 ; USE_SCALAR_INC-NEXT:    ret
  83   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 7)
  84   %out = mul i64 %cnt, 5
  85   ret i64 %out
  86 }
  87
  88 define i64 @cnth_mul8() {
  89 ; CHECK-LABEL: cnth_mul8:
  90 ; CHECK:       // %bb.0:
  91 ; CHECK-NEXT:    cnth x0, vl5, mul #8
  92 ; CHECK-NEXT:    ret
  93 ;
  94 ; USE_SCALAR_INC-LABEL: cnth_mul8:
  95 ; USE_SCALAR_INC:       // %bb.0:
  96 ; USE_SCALAR_INC-NEXT:    cnth x0, vl5, mul #8
  97 ; USE_SCALAR_INC-NEXT:    ret
  98   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 5)
  99   %out = mul i64 %cnt, 8
 100   ret i64 %out
 101 }
 102
 103 ;
 104 ; CNTW
 105 ;
 106
 107 define i64 @cntw() {
 108 ; CHECK-LABEL: cntw:
 109 ; CHECK:       // %bb.0:
 110 ; CHECK-NEXT:    cntw x0, vl4
 111 ; CHECK-NEXT:    ret
 112 ;
 113 ; USE_SCALAR_INC-LABEL: cntw:
 114 ; USE_SCALAR_INC:       // %bb.0:
 115 ; USE_SCALAR_INC-NEXT:    cntw x0, vl4
 116 ; USE_SCALAR_INC-NEXT:    ret
 117   %out = call i64 @llvm.aarch64.sve.cntw(i32 4)
 118   ret i64 %out
 119 }
 120
 121 define i64 @cntw_mul11() {
 122 ; CHECK-LABEL: cntw_mul11:
 123 ; CHECK:       // %bb.0:
 124 ; CHECK-NEXT:    cntw x0, vl8, mul #11
 125 ; CHECK-NEXT:    ret
 126 ;
 127 ; USE_SCALAR_INC-LABEL: cntw_mul11:
 128 ; USE_SCALAR_INC:       // %bb.0:
 129 ; USE_SCALAR_INC-NEXT:    cntw x0, vl8, mul #11
 130 ; USE_SCALAR_INC-NEXT:    ret
 131   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 8)
 132   %out = mul i64 %cnt, 11
 133   ret i64 %out
 134 }
 135
 136 define i64 @cntw_mul2() {
 137 ; CHECK-LABEL: cntw_mul2:
 138 ; CHECK:       // %bb.0:
 139 ; CHECK-NEXT:    cntw x0, vl6, mul #2
 140 ; CHECK-NEXT:    ret
 141 ;
 142 ; USE_SCALAR_INC-LABEL: cntw_mul2:
 143 ; USE_SCALAR_INC:       // %bb.0:
 144 ; USE_SCALAR_INC-NEXT:    cntw x0, vl6, mul #2
 145 ; USE_SCALAR_INC-NEXT:    ret
 146   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 6)
 147   %out = mul i64 %cnt, 2
 148   ret i64 %out
 149 }
 150
 151 ;
 152 ; CNTD
 153 ;
 154
 155 define i64 @cntd() {
 156 ; CHECK-LABEL: cntd:
 157 ; CHECK:       // %bb.0:
 158 ; CHECK-NEXT:    cntd x0, vl5
 159 ; CHECK-NEXT:    ret
 160 ;
 161 ; USE_SCALAR_INC-LABEL: cntd:
 162 ; USE_SCALAR_INC:       // %bb.0:
 163 ; USE_SCALAR_INC-NEXT:    cntd x0, vl5
 164 ; USE_SCALAR_INC-NEXT:    ret
 165   %out = call i64 @llvm.aarch64.sve.cntd(i32 5)
 166   ret i64 %out
 167 }
 168
 169 define i64 @cntd_mul15() {
 170 ; CHECK-LABEL: cntd_mul15:
 171 ; CHECK:       // %bb.0:
 172 ; CHECK-NEXT:    cntd x0, vl16, mul #15
 173 ; CHECK-NEXT:    ret
 174 ;
 175 ; USE_SCALAR_INC-LABEL: cntd_mul15:
 176 ; USE_SCALAR_INC:       // %bb.0:
 177 ; USE_SCALAR_INC-NEXT:    cntd x0, vl16, mul #15
 178 ; USE_SCALAR_INC-NEXT:    ret
 179   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 9)
 180   %out = mul i64 %cnt, 15
 181   ret i64 %out
 182 }
 183
 184 define i64 @cntd_mul16() {
 185 ; CHECK-LABEL: cntd_mul16:
 186 ; CHECK:       // %bb.0:
 187 ; CHECK-NEXT:    cntd x0, vl32, mul #16
 188 ; CHECK-NEXT:    ret
 189 ;
 190 ; USE_SCALAR_INC-LABEL: cntd_mul16:
 191 ; USE_SCALAR_INC:       // %bb.0:
 192 ; USE_SCALAR_INC-NEXT:    cntd x0, vl32, mul #16
 193 ; USE_SCALAR_INC-NEXT:    ret
 194   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 10)
 195   %out = mul i64 %cnt, 16
 196   ret i64 %out
 197 }
 198
 199 ;
 200 ; CNTP
 201 ;
 202
 203 define i64 @cntp_b8(<vscale x 16 x i1> %pg, <vscale x 16 x i1> %a) {
 204 ; CHECK-LABEL: cntp_b8:
 205 ; CHECK:       // %bb.0:
 206 ; CHECK-NEXT:    cntp x0, p0, p1.b
 207 ; CHECK-NEXT:    ret
 208 ;
 209 ; USE_SCALAR_INC-LABEL: cntp_b8:
 210 ; USE_SCALAR_INC:       // %bb.0:
 211 ; USE_SCALAR_INC-NEXT:    cntp x0, p0, p1.b
 212 ; USE_SCALAR_INC-NEXT:    ret
 213   %out = call i64 @llvm.aarch64.sve.cntp.nxv16i1(<vscale x 16 x i1> %pg,
 214                                                  <vscale x 16 x i1> %a)
 215   ret i64 %out
 216 }
 217
 218 define i64 @cntp_b16(<vscale x 8 x i1> %pg, <vscale x 8 x i1> %a) {
 219 ; CHECK-LABEL: cntp_b16:
 220 ; CHECK:       // %bb.0:
 221 ; CHECK-NEXT:    cntp x0, p0, p1.h
 222 ; CHECK-NEXT:    ret
 223 ;
 224 ; USE_SCALAR_INC-LABEL: cntp_b16:
 225 ; USE_SCALAR_INC:       // %bb.0:
 226 ; USE_SCALAR_INC-NEXT:    cntp x0, p0, p1.h
 227 ; USE_SCALAR_INC-NEXT:    ret
 228   %out = call i64 @llvm.aarch64.sve.cntp.nxv8i1(<vscale x 8 x i1> %pg,
 229                                                 <vscale x 8 x i1> %a)
 230   ret i64 %out
 231 }
 232
 233 define i64 @cntp_b32(<vscale x 4 x i1> %pg, <vscale x 4 x i1> %a) {
 234 ; CHECK-LABEL: cntp_b32:
 235 ; CHECK:       // %bb.0:
 236 ; CHECK-NEXT:    cntp x0, p0, p1.s
 237 ; CHECK-NEXT:    ret
 238 ;
 239 ; USE_SCALAR_INC-LABEL: cntp_b32:
 240 ; USE_SCALAR_INC:       // %bb.0:
 241 ; USE_SCALAR_INC-NEXT:    cntp x0, p0, p1.s
 242 ; USE_SCALAR_INC-NEXT:    ret
 243   %out = call i64 @llvm.aarch64.sve.cntp.nxv4i1(<vscale x 4 x i1> %pg,
 244                                                 <vscale x 4 x i1> %a)
 245   ret i64 %out
 246 }
 247
 248 define i64 @cntp_b64(<vscale x 2 x i1> %pg, <vscale x 2 x i1> %a) {
 249 ; CHECK-LABEL: cntp_b64:
 250 ; CHECK:       // %bb.0:
 251 ; CHECK-NEXT:    cntp x0, p0, p1.d
 252 ; CHECK-NEXT:    ret
 253 ;
 254 ; USE_SCALAR_INC-LABEL: cntp_b64:
 255 ; USE_SCALAR_INC:       // %bb.0:
 256 ; USE_SCALAR_INC-NEXT:    cntp x0, p0, p1.d
 257 ; USE_SCALAR_INC-NEXT:    ret
 258   %out = call i64 @llvm.aarch64.sve.cntp.nxv2i1(<vscale x 2 x i1> %pg,
 259                                                 <vscale x 2 x i1> %a)
 260   ret i64 %out
 261 }
 262
 263 ;
 264 ; INCB
 265 ;
 266
 267 define i64 @incb(i64 %a) {
 268 ; CHECK-LABEL: incb:
 269 ; CHECK:       // %bb.0:
 270 ; CHECK-NEXT:    cntb x8, vl5
 271 ; CHECK-NEXT:    add x0, x8, x0
 272 ; CHECK-NEXT:    ret
 273 ;
 274 ; USE_SCALAR_INC-LABEL: incb:
 275 ; USE_SCALAR_INC:       // %bb.0:
 276 ; USE_SCALAR_INC-NEXT:    incb x0, vl5
 277 ; USE_SCALAR_INC-NEXT:    ret
 278   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 5)
 279   %out = add i64 %cnt, %a
 280   ret i64 %out
 281 }
 282
 283 define i64 @incb_mul(i64 %a) {
 284 ; CHECK-LABEL: incb_mul:
 285 ; CHECK:       // %bb.0:
 286 ; CHECK-NEXT:    cntb x8, vl4
 287 ; CHECK-NEXT:    add x0, x0, x8, lsl #2
 288 ; CHECK-NEXT:    ret
 289 ;
 290 ; USE_SCALAR_INC-LABEL: incb_mul:
 291 ; USE_SCALAR_INC:       // %bb.0:
 292 ; USE_SCALAR_INC-NEXT:    incb x0, vl4, mul #4
 293 ; USE_SCALAR_INC-NEXT:    ret
 294   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 4)
 295   %mul = mul i64 %cnt, 4
 296   %out = add i64 %mul, %a
 297   ret i64 %out
 298 }
 299
 300 ;
 301 ; DECB
 302 ;
 303
 304 define i64 @decb(i64 %a) {
 305 ; CHECK-LABEL: decb:
 306 ; CHECK:       // %bb.0:
 307 ; CHECK-NEXT:    cntb x8, vl6
 308 ; CHECK-NEXT:    sub x0, x0, x8
 309 ; CHECK-NEXT:    ret
 310 ;
 311 ; USE_SCALAR_INC-LABEL: decb:
 312 ; USE_SCALAR_INC:       // %bb.0:
 313 ; USE_SCALAR_INC-NEXT:    decb x0, vl6
 314 ; USE_SCALAR_INC-NEXT:    ret
 315   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 6)
 316   %out = sub i64 %a, %cnt
 317   ret i64 %out
 318 }
 319
 320 define i64 @decb_mul(i64 %a) {
 321 ; CHECK-LABEL: decb_mul:
 322 ; CHECK:       // %bb.0:
 323 ; CHECK-NEXT:    cntb x8, vl7
 324 ; CHECK-NEXT:    sub x0, x0, x8, lsl #3
 325 ; CHECK-NEXT:    ret
 326 ;
 327 ; USE_SCALAR_INC-LABEL: decb_mul:
 328 ; USE_SCALAR_INC:       // %bb.0:
 329 ; USE_SCALAR_INC-NEXT:    decb x0, vl7, mul #8
 330 ; USE_SCALAR_INC-NEXT:    ret
 331   %cnt = call i64 @llvm.aarch64.sve.cntb(i32 7)
 332   %mul = mul i64 %cnt, 8
 333   %out = sub i64 %a, %mul
 334   ret i64 %out
 335 }
 336
 337 ;
 338 ; INCH
 339 ;
 340
 341 define i64 @inch(i64 %a) {
 342 ; CHECK-LABEL: inch:
 343 ; CHECK:       // %bb.0:
 344 ; CHECK-NEXT:    cnth x8, vl4
 345 ; CHECK-NEXT:    add x0, x8, x0
 346 ; CHECK-NEXT:    ret
 347 ;
 348 ; USE_SCALAR_INC-LABEL: inch:
 349 ; USE_SCALAR_INC:       // %bb.0:
 350 ; USE_SCALAR_INC-NEXT:    inch x0, vl4
 351 ; USE_SCALAR_INC-NEXT:    ret
 352   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 4)
 353   %out = add i64 %cnt, %a
 354   ret i64 %out
 355 }
 356
 357 define i64 @inch_mul(i64 %a) {
 358 ; CHECK-LABEL: inch_mul:
 359 ; CHECK:       // %bb.0:
 360 ; CHECK-NEXT:    cnth x8, vl8, mul #5
 361 ; CHECK-NEXT:    add x0, x8, x0
 362 ; CHECK-NEXT:    ret
 363 ;
 364 ; USE_SCALAR_INC-LABEL: inch_mul:
 365 ; USE_SCALAR_INC:       // %bb.0:
 366 ; USE_SCALAR_INC-NEXT:    inch x0, vl8, mul #5
 367 ; USE_SCALAR_INC-NEXT:    ret
 368   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 8)
 369   %mul = mul i64 %cnt, 5
 370   %out = add i64 %mul, %a
 371   ret i64 %out
 372 }
 373
 374 ;
 375 ; DECH
 376 ;
 377
 378 define i64 @dech(i64 %a) {
 379 ; CHECK-LABEL: dech:
 380 ; CHECK:       // %bb.0:
 381 ; CHECK-NEXT:    cnth x8, vl1
 382 ; CHECK-NEXT:    sub x0, x0, x8
 383 ; CHECK-NEXT:    ret
 384 ;
 385 ; USE_SCALAR_INC-LABEL: dech:
 386 ; USE_SCALAR_INC:       // %bb.0:
 387 ; USE_SCALAR_INC-NEXT:    dech x0, vl1
 388 ; USE_SCALAR_INC-NEXT:    ret
 389   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 1)
 390   %out = sub i64 %a, %cnt
 391   ret i64 %out
 392 }
 393
 394 define i64 @dech_mul(i64 %a) {
 395 ; CHECK-LABEL: dech_mul:
 396 ; CHECK:       // %bb.0:
 397 ; CHECK-NEXT:    cnth x8, vl16, mul #7
 398 ; CHECK-NEXT:    sub x0, x0, x8
 399 ; CHECK-NEXT:    ret
 400 ;
 401 ; USE_SCALAR_INC-LABEL: dech_mul:
 402 ; USE_SCALAR_INC:       // %bb.0:
 403 ; USE_SCALAR_INC-NEXT:    dech x0, vl16, mul #7
 404 ; USE_SCALAR_INC-NEXT:    ret
 405   %cnt = call i64 @llvm.aarch64.sve.cnth(i32 9)
 406   %mul = mul i64 %cnt, 7
 407   %out = sub i64 %a, %mul
 408   ret i64 %out
 409 }
 410
 411 ;
 412 ; INCW
 413 ;
 414
 415 define i64 @incw(i64 %a) {
 416 ; CHECK-LABEL: incw:
 417 ; CHECK:       // %bb.0:
 418 ; CHECK-NEXT:    cntw x8, #16
 419 ; CHECK-NEXT:    add x0, x8, x0
 420 ; CHECK-NEXT:    ret
 421 ;
 422 ; USE_SCALAR_INC-LABEL: incw:
 423 ; USE_SCALAR_INC:       // %bb.0:
 424 ; USE_SCALAR_INC-NEXT:    incw x0, #16
 425 ; USE_SCALAR_INC-NEXT:    ret
 426   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 16)
 427   %out = add i64 %cnt, %a
 428   ret i64 %out
 429 }
 430
 431 define i64 @incw_mul(i64 %a) {
 432 ; CHECK-LABEL: incw_mul:
 433 ; CHECK:       // %bb.0:
 434 ; CHECK-NEXT:    cntw x8, vl32, mul #12
 435 ; CHECK-NEXT:    add x0, x8, x0
 436 ; CHECK-NEXT:    ret
 437 ;
 438 ; USE_SCALAR_INC-LABEL: incw_mul:
 439 ; USE_SCALAR_INC:       // %bb.0:
 440 ; USE_SCALAR_INC-NEXT:    incw x0, vl32, mul #12
 441 ; USE_SCALAR_INC-NEXT:    ret
 442   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 10)
 443   %mul = mul i64 %cnt, 12
 444   %out = add i64 %mul, %a
 445   ret i64 %out
 446 }
 447
 448 ;
 449 ; DECW
 450 ;
 451
 452 define i64 @decw(i64 %a) {
 453 ; CHECK-LABEL: decw:
 454 ; CHECK:       // %bb.0:
 455 ; CHECK-NEXT:    cntw x8
 456 ; CHECK-NEXT:    sub x0, x0, x8
 457 ; CHECK-NEXT:    ret
 458 ;
 459 ; USE_SCALAR_INC-LABEL: decw:
 460 ; USE_SCALAR_INC:       // %bb.0:
 461 ; USE_SCALAR_INC-NEXT:    decw x0
 462 ; USE_SCALAR_INC-NEXT:    ret
 463   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 31)
 464   %out = sub i64 %a, %cnt
 465   ret i64 %out
 466 }
 467
 468 define i64 @decw_mul(i64 %a) {
 469 ; CHECK-LABEL: decw_mul:
 470 ; CHECK:       // %bb.0:
 471 ; CHECK-NEXT:    cntw x8, vl128
 472 ; CHECK-NEXT:    sub x0, x0, x8, lsl #4
 473 ; CHECK-NEXT:    ret
 474 ;
 475 ; USE_SCALAR_INC-LABEL: decw_mul:
 476 ; USE_SCALAR_INC:       // %bb.0:
 477 ; USE_SCALAR_INC-NEXT:    decw x0, vl128, mul #16
 478 ; USE_SCALAR_INC-NEXT:    ret
 479   %cnt = call i64 @llvm.aarch64.sve.cntw(i32 12)
 480   %mul = mul i64 %cnt, 16
 481   %out = sub i64 %a, %mul
 482   ret i64 %out
 483 }
 484
 485 define i64 @incd(i64 %a) {
 486 ; CHECK-LABEL: incd:
 487 ; CHECK:       // %bb.0:
 488 ; CHECK-NEXT:    cntd x8, vl8
 489 ; CHECK-NEXT:    add x0, x8, x0
 490 ; CHECK-NEXT:    ret
 491 ;
 492 ; USE_SCALAR_INC-LABEL: incd:
 493 ; USE_SCALAR_INC:       // %bb.0:
 494 ; USE_SCALAR_INC-NEXT:    incd x0, vl8
 495 ; USE_SCALAR_INC-NEXT:    ret
 496   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 8)
 497   %out = add i64 %cnt, %a
 498   ret i64 %out
 499 }
 500
 501 define i64 @incd_mul(i64 %a) {
 502 ; CHECK-LABEL: incd_mul:
 503 ; CHECK:       // %bb.0:
 504 ; CHECK-NEXT:    cntd x8, all, mul #15
 505 ; CHECK-NEXT:    add x0, x8, x0
 506 ; CHECK-NEXT:    ret
 507 ;
 508 ; USE_SCALAR_INC-LABEL: incd_mul:
 509 ; USE_SCALAR_INC:       // %bb.0:
 510 ; USE_SCALAR_INC-NEXT:    incd x0, all, mul #15
 511 ; USE_SCALAR_INC-NEXT:    ret
 512   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 31)
 513   %mul = mul i64 %cnt, 15
 514   %out = add i64 %mul, %a
 515   ret i64 %out
 516 }
 517
 518 ;
 519 ; DECD
 520 ;
 521
 522 define i64 @decd(i64 %a) {
 523 ; CHECK-LABEL: decd:
 524 ; CHECK:       // %bb.0:
 525 ; CHECK-NEXT:    cntd x8, #16
 526 ; CHECK-NEXT:    sub x0, x0, x8
 527 ; CHECK-NEXT:    ret
 528 ;
 529 ; USE_SCALAR_INC-LABEL: decd:
 530 ; USE_SCALAR_INC:       // %bb.0:
 531 ; USE_SCALAR_INC-NEXT:    decd x0, #16
 532 ; USE_SCALAR_INC-NEXT:    ret
 533   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 16)
 534   %out = sub i64 %a, %cnt
 535   ret i64 %out
 536 }
 537
 538 define i64 @decd_mul(i64 %a) {
 539 ; CHECK-LABEL: decd_mul:
 540 ; CHECK:       // %bb.0:
 541 ; CHECK-NEXT:    cntd x8, vl2, mul #9
 542 ; CHECK-NEXT:    sub x0, x0, x8
 543 ; CHECK-NEXT:    ret
 544 ;
 545 ; USE_SCALAR_INC-LABEL: decd_mul:
 546 ; USE_SCALAR_INC:       // %bb.0:
 547 ; USE_SCALAR_INC-NEXT:    decd x0, vl2, mul #9
 548 ; USE_SCALAR_INC-NEXT:    ret
 549   %cnt = call i64 @llvm.aarch64.sve.cntd(i32 2)
 550   %mul = mul i64 %cnt, 9
 551   %out = sub i64 %a, %mul
 552   ret i64 %out
 553 }
 554
 555 declare i64 @llvm.aarch64.sve.cntb(i32 %pattern)
 556 declare i64 @llvm.aarch64.sve.cnth(i32 %pattern)
 557 declare i64 @llvm.aarch64.sve.cntw(i32 %pattern)
 558 declare i64 @llvm.aarch64.sve.cntd(i32 %pattern)
 559
 560 declare i64 @llvm.aarch64.sve.cntp.nxv16i1(<vscale x 16 x i1>, <vscale x 16 x i1>)
 561 declare i64 @llvm.aarch64.sve.cntp.nxv8i1(<vscale x 8 x i1>, <vscale x 8 x i1>)
 562 declare i64 @llvm.aarch64.sve.cntp.nxv4i1(<vscale x 4 x i1>, <vscale x 4 x i1>)
 563 declare i64 @llvm.aarch64.sve.cntp.nxv2i1(<vscale x 2 x i1>, <vscale x 2 x i1>)