llvm/test/CodeGen/AArch64/sve-extract-scalable-vector.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve,+bf16 < %s | FileCheck %s --check-prefixes=CHECK
   3
   4 ; Extracting illegal subvectors
   5
   6 define <vscale x 1 x i32> @extract_nxv1i32_nxv4i32(<vscale x 4 x i32> %vec) nounwind {
   7 ; CHECK-LABEL: extract_nxv1i32_nxv4i32:
   8 ; CHECK:       // %bb.0:
   9 ; CHECK-NEXT:    ret
  10   %retval = call <vscale x 1 x i32> @llvm.vector.extract.nxv1i32.nxv4i32(<vscale x 4 x i32> %vec, i64 0)
  11   ret <vscale x 1 x i32> %retval
  12 }
  13
  14 define <vscale x 1 x i16> @extract_nxv1i16_nxv6i16(<vscale x 6 x i16> %vec) nounwind {
  15 ; CHECK-LABEL: extract_nxv1i16_nxv6i16:
  16 ; CHECK:       // %bb.0:
  17 ; CHECK-NEXT:    ret
  18   %retval = call <vscale x 1 x i16> @llvm.vector.extract.nxv1i16.nxv6i16(<vscale x 6 x i16> %vec, i64 0)
  19   ret <vscale x 1 x i16> %retval
  20 }
  21
  22 declare <vscale x 1 x i32> @llvm.vector.extract.nxv1i32.nxv4i32(<vscale x 4 x i32>, i64)
  23 declare <vscale x 1 x i16> @llvm.vector.extract.nxv1i16.nxv6i16(<vscale x 6 x i16>, i64)
  24
  25 ;
  26 ; Extract half i1 vector that needs promotion from legal type.
  27 ;
  28 define <vscale x 8 x i1> @extract_nxv8i1_nxv16i1_0(<vscale x 16 x i1> %in) {
  29 ; CHECK-LABEL: extract_nxv8i1_nxv16i1_0:
  30 ; CHECK:       // %bb.0:
  31 ; CHECK-NEXT:    punpklo p0.h, p0.b
  32 ; CHECK-NEXT:    ret
  33   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv16i1(<vscale x 16 x i1> %in, i64 0)
  34   ret <vscale x 8 x i1> %res
  35 }
  36
  37 define <vscale x 8 x i1> @extract_nxv8i1_nxv16i1_8(<vscale x 16 x i1> %in) {
  38 ; CHECK-LABEL: extract_nxv8i1_nxv16i1_8:
  39 ; CHECK:       // %bb.0:
  40 ; CHECK-NEXT:    punpkhi p0.h, p0.b
  41 ; CHECK-NEXT:    ret
  42   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv16i1(<vscale x 16 x i1> %in, i64 8)
  43   ret <vscale x 8 x i1> %res
  44 }
  45
  46 declare <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv16i1(<vscale x 16 x i1>, i64)
  47
  48 ;
  49 ; Extract i1 vector that needs widening from one that needs widening.
  50 ;
  51 define <vscale x 14 x i1> @extract_nxv14i1_nxv28i1_0(<vscale x 28 x i1> %in) {
  52 ; CHECK-LABEL: extract_nxv14i1_nxv28i1_0:
  53 ; CHECK:       // %bb.0:
  54 ; CHECK-NEXT:    ret
  55   %res = call <vscale x 14 x i1> @llvm.vector.extract.nxv14i1.nxv28i1(<vscale x 28 x i1> %in, i64 0)
  56   ret <vscale x 14 x i1> %res
  57 }
  58
  59 define <vscale x 14 x i1> @extract_nxv14i1_nxv28i1_14(<vscale x 28 x i1> %in) uwtable {
  60 ; CHECK-LABEL: extract_nxv14i1_nxv28i1_14:
  61 ; CHECK:       // %bb.0:
  62 ; CHECK-NEXT:    str x29, [sp, #-16]! // 8-byte Folded Spill
  63 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
  64 ; CHECK-NEXT:    .cfi_offset w29, -16
  65 ; CHECK-NEXT:    addvl sp, sp, #-1
  66 ; CHECK-NEXT:    .cfi_escape 0x0f, 0x0c, 0x8f, 0x00, 0x11, 0x10, 0x22, 0x11, 0x08, 0x92, 0x2e, 0x00, 0x1e, 0x22 // sp + 16 + 8 * VG
  67 ; CHECK-NEXT:    punpkhi p2.h, p1.b
  68 ; CHECK-NEXT:    str p6, [sp, #5, mul vl] // 2-byte Folded Spill
  69 ; CHECK-NEXT:    punpklo p1.h, p1.b
  70 ; CHECK-NEXT:    str p5, [sp, #6, mul vl] // 2-byte Folded Spill
  71 ; CHECK-NEXT:    punpkhi p0.h, p0.b
  72 ; CHECK-NEXT:    str p4, [sp, #7, mul vl] // 2-byte Folded Spill
  73 ; CHECK-NEXT:    punpklo p2.h, p2.b
  74 ; CHECK-NEXT:    punpkhi p3.h, p1.b
  75 ; CHECK-NEXT:    punpklo p1.h, p1.b
  76 ; CHECK-NEXT:    punpkhi p0.h, p0.b
  77 ; CHECK-NEXT:    punpkhi p4.h, p2.b
  78 ; CHECK-NEXT:    punpklo p2.h, p2.b
  79 ; CHECK-NEXT:    punpkhi p5.h, p3.b
  80 ; CHECK-NEXT:    punpklo p3.h, p3.b
  81 ; CHECK-NEXT:    punpkhi p6.h, p1.b
  82 ; CHECK-NEXT:    punpklo p1.h, p1.b
  83 ; CHECK-NEXT:    punpkhi p0.h, p0.b
  84 ; CHECK-NEXT:    uzp1 p2.s, p5.s, p2.s
  85 ; CHECK-NEXT:    ldr p5, [sp, #6, mul vl] // 2-byte Folded Reload
  86 ; CHECK-NEXT:    uzp1 p3.s, p6.s, p3.s
  87 ; CHECK-NEXT:    ldr p6, [sp, #5, mul vl] // 2-byte Folded Reload
  88 ; CHECK-NEXT:    uzp1 p4.s, p4.s, p0.s
  89 ; CHECK-NEXT:    uzp1 p0.s, p0.s, p1.s
  90 ; CHECK-NEXT:    uzp1 p1.h, p2.h, p4.h
  91 ; CHECK-NEXT:    ldr p4, [sp, #7, mul vl] // 2-byte Folded Reload
  92 ; CHECK-NEXT:    uzp1 p0.h, p0.h, p3.h
  93 ; CHECK-NEXT:    uzp1 p0.b, p0.b, p1.b
  94 ; CHECK-NEXT:    addvl sp, sp, #1
  95 ; CHECK-NEXT:    .cfi_def_cfa wsp, 16
  96 ; CHECK-NEXT:    ldr x29, [sp], #16 // 8-byte Folded Reload
  97 ; CHECK-NEXT:    .cfi_def_cfa_offset 0
  98 ; CHECK-NEXT:    .cfi_restore w29
  99 ; CHECK-NEXT:    ret
 100   %res = call <vscale x 14 x i1> @llvm.vector.extract.nxv14i1.nxv28i1(<vscale x 28 x i1> %in, i64 14)
 101   ret <vscale x 14 x i1> %res
 102 }
 103
 104 declare <vscale x 14 x i1> @llvm.vector.extract.nxv14i1.nxv28i1(<vscale x 28 x i1>, i64)
 105
 106 ;
 107 ; Extract half i1 vector that needs promotion from one that needs splitting.
 108 ;
 109 define <vscale x 8 x i1> @extract_nxv8i1_nxv32i1_0(<vscale x 32 x i1> %in) {
 110 ; CHECK-LABEL: extract_nxv8i1_nxv32i1_0:
 111 ; CHECK:       // %bb.0:
 112 ; CHECK-NEXT:    punpklo p0.h, p0.b
 113 ; CHECK-NEXT:    ret
 114   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv32i1(<vscale x 32 x i1> %in, i64 0)
 115   ret <vscale x 8 x i1> %res
 116 }
 117
 118 define <vscale x 8 x i1> @extract_nxv8i1_nxv32i1_8(<vscale x 32 x i1> %in) {
 119 ; CHECK-LABEL: extract_nxv8i1_nxv32i1_8:
 120 ; CHECK:       // %bb.0:
 121 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 122 ; CHECK-NEXT:    ret
 123   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv32i1(<vscale x 32 x i1> %in, i64 8)
 124   ret <vscale x 8 x i1> %res
 125 }
 126
 127 define <vscale x 8 x i1> @extract_nxv8i1_nxv32i1_16(<vscale x 32 x i1> %in) {
 128 ; CHECK-LABEL: extract_nxv8i1_nxv32i1_16:
 129 ; CHECK:       // %bb.0:
 130 ; CHECK-NEXT:    punpklo p0.h, p1.b
 131 ; CHECK-NEXT:    ret
 132   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv32i1(<vscale x 32 x i1> %in, i64 16)
 133   ret <vscale x 8 x i1> %res
 134 }
 135
 136 define <vscale x 8 x i1> @extract_nxv8i1_nxv32i1_24(<vscale x 32 x i1> %in) {
 137 ; CHECK-LABEL: extract_nxv8i1_nxv32i1_24:
 138 ; CHECK:       // %bb.0:
 139 ; CHECK-NEXT:    punpkhi p0.h, p1.b
 140 ; CHECK-NEXT:    ret
 141   %res = call <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv32i1(<vscale x 32 x i1> %in, i64 24)
 142   ret <vscale x 8 x i1> %res
 143 }
 144
 145 declare <vscale x 8 x i1> @llvm.vector.extract.nxv8i1.nxv32i1(<vscale x 32 x i1>, i64)
 146
 147 ;
 148 ; Extract 1/4th i1 vector that needs promotion from legal type.
 149 ;
 150 define <vscale x 4 x i1> @extract_nxv4i1_nxv16i1_0(<vscale x 16 x i1> %in) {
 151 ; CHECK-LABEL: extract_nxv4i1_nxv16i1_0:
 152 ; CHECK:       // %bb.0:
 153 ; CHECK-NEXT:    punpklo p0.h, p0.b
 154 ; CHECK-NEXT:    punpklo p0.h, p0.b
 155 ; CHECK-NEXT:    ret
 156   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv16i1(<vscale x 16 x i1> %in, i64 0)
 157   ret <vscale x 4 x i1> %res
 158 }
 159
 160 define <vscale x 4 x i1> @extract_nxv4i1_nxv16i1_4(<vscale x 16 x i1> %in) {
 161 ; CHECK-LABEL: extract_nxv4i1_nxv16i1_4:
 162 ; CHECK:       // %bb.0:
 163 ; CHECK-NEXT:    punpklo p0.h, p0.b
 164 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 165 ; CHECK-NEXT:    ret
 166   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv16i1(<vscale x 16 x i1> %in, i64 4)
 167   ret <vscale x 4 x i1> %res
 168 }
 169
 170 define <vscale x 4 x i1> @extract_nxv4i1_nxv16i1_8(<vscale x 16 x i1> %in) {
 171 ; CHECK-LABEL: extract_nxv4i1_nxv16i1_8:
 172 ; CHECK:       // %bb.0:
 173 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 174 ; CHECK-NEXT:    punpklo p0.h, p0.b
 175 ; CHECK-NEXT:    ret
 176   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv16i1(<vscale x 16 x i1> %in, i64 8)
 177   ret <vscale x 4 x i1> %res
 178 }
 179
 180 define <vscale x 4 x i1> @extract_nxv4i1_nxv16i1_12(<vscale x 16 x i1> %in) {
 181 ; CHECK-LABEL: extract_nxv4i1_nxv16i1_12:
 182 ; CHECK:       // %bb.0:
 183 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 184 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 185 ; CHECK-NEXT:    ret
 186   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv16i1(<vscale x 16 x i1> %in, i64 12)
 187   ret <vscale x 4 x i1> %res
 188 }
 189
 190 declare <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv16i1(<vscale x 16 x i1>, i64)
 191
 192 ;
 193 ; Extract 1/8th i1 vector that needs promotion from legal type.
 194 ;
 195 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_0(<vscale x 16 x i1> %in) {
 196 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_0:
 197 ; CHECK:       // %bb.0:
 198 ; CHECK-NEXT:    punpklo p0.h, p0.b
 199 ; CHECK-NEXT:    punpklo p0.h, p0.b
 200 ; CHECK-NEXT:    punpklo p0.h, p0.b
 201 ; CHECK-NEXT:    ret
 202   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 0)
 203   ret <vscale x 2 x i1> %res
 204 }
 205
 206 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_2(<vscale x 16 x i1> %in) {
 207 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_2:
 208 ; CHECK:       // %bb.0:
 209 ; CHECK-NEXT:    punpklo p0.h, p0.b
 210 ; CHECK-NEXT:    punpklo p0.h, p0.b
 211 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 212 ; CHECK-NEXT:    ret
 213   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 2)
 214   ret <vscale x 2 x i1> %res
 215 }
 216
 217 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_4(<vscale x 16 x i1> %in) {
 218 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_4:
 219 ; CHECK:       // %bb.0:
 220 ; CHECK-NEXT:    punpklo p0.h, p0.b
 221 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 222 ; CHECK-NEXT:    punpklo p0.h, p0.b
 223 ; CHECK-NEXT:    ret
 224   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 4)
 225   ret <vscale x 2 x i1> %res
 226 }
 227
 228 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_6(<vscale x 16 x i1> %in) {
 229 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_6:
 230 ; CHECK:       // %bb.0:
 231 ; CHECK-NEXT:    punpklo p0.h, p0.b
 232 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 233 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 234 ; CHECK-NEXT:    ret
 235   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 6)
 236   ret <vscale x 2 x i1> %res
 237 }
 238
 239 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_8(<vscale x 16 x i1> %in) {
 240 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_8:
 241 ; CHECK:       // %bb.0:
 242 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 243 ; CHECK-NEXT:    punpklo p0.h, p0.b
 244 ; CHECK-NEXT:    punpklo p0.h, p0.b
 245 ; CHECK-NEXT:    ret
 246   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 8)
 247   ret <vscale x 2 x i1> %res
 248 }
 249
 250 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_10(<vscale x 16 x i1> %in) {
 251 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_10:
 252 ; CHECK:       // %bb.0:
 253 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 254 ; CHECK-NEXT:    punpklo p0.h, p0.b
 255 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 256 ; CHECK-NEXT:    ret
 257   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 10)
 258   ret <vscale x 2 x i1> %res
 259 }
 260
 261 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_12(<vscale x 16 x i1> %in) {
 262 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_12:
 263 ; CHECK:       // %bb.0:
 264 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 265 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 266 ; CHECK-NEXT:    punpklo p0.h, p0.b
 267 ; CHECK-NEXT:    ret
 268   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 12)
 269   ret <vscale x 2 x i1> %res
 270 }
 271
 272 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_14(<vscale x 16 x i1> %in) {
 273 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_14:
 274 ; CHECK:       // %bb.0:
 275 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 276 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 277 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 278 ; CHECK-NEXT:    ret
 279   %res = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %in, i64 14)
 280   ret <vscale x 2 x i1> %res
 281 }
 282
 283 declare <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1>, i64)
 284
 285 ;
 286 ; Extract i1 vector that needs promotion from one that needs widening.
 287 ;
 288 define <vscale x 4 x i1> @extract_nxv4i1_nxv12i1_0(<vscale x 12 x i1> %in) {
 289 ; CHECK-LABEL: extract_nxv4i1_nxv12i1_0:
 290 ; CHECK:       // %bb.0:
 291 ; CHECK-NEXT:    punpklo p0.h, p0.b
 292 ; CHECK-NEXT:    punpklo p0.h, p0.b
 293 ; CHECK-NEXT:    ret
 294   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv12i1(<vscale x 12 x i1> %in, i64 0)
 295   ret <vscale x 4 x i1> %res
 296 }
 297
 298 define <vscale x 4 x i1> @extract_nxv4i1_nxv12i1_4(<vscale x 12 x i1> %in) {
 299 ; CHECK-LABEL: extract_nxv4i1_nxv12i1_4:
 300 ; CHECK:       // %bb.0:
 301 ; CHECK-NEXT:    punpklo p0.h, p0.b
 302 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 303 ; CHECK-NEXT:    ret
 304   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv12i1(<vscale x 12 x i1> %in, i64 4)
 305   ret <vscale x 4 x i1> %res
 306 }
 307
 308 define <vscale x 4 x i1> @extract_nxv4i1_nxv12i1_8(<vscale x 12 x i1> %in) {
 309 ; CHECK-LABEL: extract_nxv4i1_nxv12i1_8:
 310 ; CHECK:       // %bb.0:
 311 ; CHECK-NEXT:    punpkhi p0.h, p0.b
 312 ; CHECK-NEXT:    punpklo p0.h, p0.b
 313 ; CHECK-NEXT:    ret
 314   %res = call <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv12i1(<vscale x 12 x i1> %in, i64 8)
 315   ret <vscale x 4 x i1> %res
 316 }
 317
 318 declare <vscale x 4 x i1> @llvm.vector.extract.nxv4i1.nxv12i1(<vscale x 12 x i1>, i64)
 319
 320 ;
 321 ; Extract 1/8th i8 vector that needs promotion from legal type.
 322 ;
 323 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_0(<vscale x 16 x i8> %in) {
 324 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_0:
 325 ; CHECK:       // %bb.0:
 326 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 327 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 328 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 329 ; CHECK-NEXT:    ret
 330   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 0)
 331   ret <vscale x 2 x i8> %res
 332 }
 333
 334 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_2(<vscale x 16 x i8> %in) {
 335 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_2:
 336 ; CHECK:       // %bb.0:
 337 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 338 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 339 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 340 ; CHECK-NEXT:    ret
 341   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 2)
 342   ret <vscale x 2 x i8> %res
 343 }
 344
 345 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_4(<vscale x 16 x i8> %in) {
 346 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_4:
 347 ; CHECK:       // %bb.0:
 348 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 349 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 350 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 351 ; CHECK-NEXT:    ret
 352   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 4)
 353   ret <vscale x 2 x i8> %res
 354 }
 355
 356 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_6(<vscale x 16 x i8> %in) {
 357 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_6:
 358 ; CHECK:       // %bb.0:
 359 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 360 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 361 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 362 ; CHECK-NEXT:    ret
 363   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 6)
 364   ret <vscale x 2 x i8> %res
 365 }
 366
 367 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_8(<vscale x 16 x i8> %in) {
 368 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_8:
 369 ; CHECK:       // %bb.0:
 370 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 371 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 372 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 373 ; CHECK-NEXT:    ret
 374   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 8)
 375   ret <vscale x 2 x i8> %res
 376 }
 377
 378 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_10(<vscale x 16 x i8> %in) {
 379 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_10:
 380 ; CHECK:       // %bb.0:
 381 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 382 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 383 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 384 ; CHECK-NEXT:    ret
 385   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 10)
 386   ret <vscale x 2 x i8> %res
 387 }
 388
 389 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_12(<vscale x 16 x i8> %in) {
 390 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_12:
 391 ; CHECK:       // %bb.0:
 392 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 393 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 394 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 395 ; CHECK-NEXT:    ret
 396   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 12)
 397   ret <vscale x 2 x i8> %res
 398 }
 399
 400 define <vscale x 2 x i8> @extract_nxv2i8_nxv16i8_14(<vscale x 16 x i8> %in) {
 401 ; CHECK-LABEL: extract_nxv2i8_nxv16i8_14:
 402 ; CHECK:       // %bb.0:
 403 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 404 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 405 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 406 ; CHECK-NEXT:    ret
 407   %res = call <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8> %in, i64 14)
 408   ret <vscale x 2 x i8> %res
 409 }
 410
 411 declare <vscale x 2 x i8> @llvm.vector.extract.nxv2i8.nxv16i8(<vscale x 16 x i8>, i64)
 412
 413 ;
 414 ; Extract i8 vector that needs promotion from one that needs widening.
 415 ;
 416 define <vscale x 4 x i8> @extract_nxv4i8_nxv12i8_0(<vscale x 12 x i8> %in) {
 417 ; CHECK-LABEL: extract_nxv4i8_nxv12i8_0:
 418 ; CHECK:       // %bb.0:
 419 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 420 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 421 ; CHECK-NEXT:    ret
 422   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv12i8(<vscale x 12 x i8> %in, i64 0)
 423   ret <vscale x 4 x i8> %res
 424 }
 425
 426 define <vscale x 4 x i8> @extract_nxv4i8_nxv12i8_4(<vscale x 12 x i8> %in) {
 427 ; CHECK-LABEL: extract_nxv4i8_nxv12i8_4:
 428 ; CHECK:       // %bb.0:
 429 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 430 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 431 ; CHECK-NEXT:    ret
 432   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv12i8(<vscale x 12 x i8> %in, i64 4)
 433   ret <vscale x 4 x i8> %res
 434 }
 435
 436 define <vscale x 4 x i8> @extract_nxv4i8_nxv12i8_8(<vscale x 12 x i8> %in) {
 437 ; CHECK-LABEL: extract_nxv4i8_nxv12i8_8:
 438 ; CHECK:       // %bb.0:
 439 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 440 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 441 ; CHECK-NEXT:    ret
 442   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv12i8(<vscale x 12 x i8> %in, i64 8)
 443   ret <vscale x 4 x i8> %res
 444 }
 445
 446 declare <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv12i8(<vscale x 12 x i8>, i64)
 447
 448 ;
 449 ; Extract i8 vector that needs both widening + promotion from one that needs widening.
 450 ; (nxv6i8 -> nxv8i8 -> nxv8i16)
 451 ;
 452 define <vscale x 6 x i8> @extract_nxv6i8_nxv12i8_0(<vscale x 12 x i8> %in) {
 453 ; CHECK-LABEL: extract_nxv6i8_nxv12i8_0:
 454 ; CHECK:       // %bb.0:
 455 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 456 ; CHECK-NEXT:    ret
 457   %res = call <vscale x 6 x i8> @llvm.vector.extract.nxv6i8.nxv12i8(<vscale x 12 x i8> %in, i64 0)
 458   ret <vscale x 6 x i8> %res
 459 }
 460
 461 define <vscale x 6 x i8> @extract_nxv6i8_nxv12i8_6(<vscale x 12 x i8> %in) {
 462 ; CHECK-LABEL: extract_nxv6i8_nxv12i8_6:
 463 ; CHECK:       // %bb.0:
 464 ; CHECK-NEXT:    uunpkhi z1.h, z0.b
 465 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 466 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 467 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 468 ; CHECK-NEXT:    uunpkhi z2.d, z1.s
 469 ; CHECK-NEXT:    uunpklo z1.d, z1.s
 470 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 471 ; CHECK-NEXT:    uzp1 z2.s, z2.s, z0.s
 472 ; CHECK-NEXT:    uzp1 z0.s, z0.s, z1.s
 473 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z2.h
 474 ; CHECK-NEXT:    ret
 475   %res = call <vscale x 6 x i8> @llvm.vector.extract.nxv6i8.nxv12i8(<vscale x 12 x i8> %in, i64 6)
 476   ret <vscale x 6 x i8> %res
 477 }
 478
 479 declare <vscale x 6 x i8> @llvm.vector.extract.nxv6i8.nxv12i8(<vscale x 12 x i8>, i64)
 480
 481 ;
 482 ; Extract half i8 vector that needs promotion from one that needs splitting.
 483 ;
 484 define <vscale x 8 x i8> @extract_nxv8i8_nxv32i8_0(<vscale x 32 x i8> %in) {
 485 ; CHECK-LABEL: extract_nxv8i8_nxv32i8_0:
 486 ; CHECK:       // %bb.0:
 487 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 488 ; CHECK-NEXT:    ret
 489   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv32i8(<vscale x 32 x i8> %in, i64 0)
 490   ret <vscale x 8 x i8> %res
 491 }
 492
 493 define <vscale x 8 x i8> @extract_nxv8i8_nxv32i8_8(<vscale x 32 x i8> %in) {
 494 ; CHECK-LABEL: extract_nxv8i8_nxv32i8_8:
 495 ; CHECK:       // %bb.0:
 496 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 497 ; CHECK-NEXT:    ret
 498   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv32i8(<vscale x 32 x i8> %in, i64 8)
 499   ret <vscale x 8 x i8> %res
 500 }
 501
 502 define <vscale x 8 x i8> @extract_nxv8i8_nxv32i8_16(<vscale x 32 x i8> %in) {
 503 ; CHECK-LABEL: extract_nxv8i8_nxv32i8_16:
 504 ; CHECK:       // %bb.0:
 505 ; CHECK-NEXT:    uunpklo z0.h, z1.b
 506 ; CHECK-NEXT:    ret
 507   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv32i8(<vscale x 32 x i8> %in, i64 16)
 508   ret <vscale x 8 x i8> %res
 509 }
 510
 511 define <vscale x 8 x i8> @extract_nxv8i8_nxv32i8_24(<vscale x 32 x i8> %in) {
 512 ; CHECK-LABEL: extract_nxv8i8_nxv32i8_24:
 513 ; CHECK:       // %bb.0:
 514 ; CHECK-NEXT:    uunpkhi z0.h, z1.b
 515 ; CHECK-NEXT:    ret
 516   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv32i8(<vscale x 32 x i8> %in, i64 24)
 517   ret <vscale x 8 x i8> %res
 518 }
 519
 520 declare <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv32i8(<vscale x 32 x i8>, i64)
 521
 522 ;
 523 ; Extract half i8 vector that needs promotion from legal type.
 524 ;
 525 define <vscale x 8 x i8> @extract_nxv8i8_nxv16i8_0(<vscale x 16 x i8> %in) {
 526 ; CHECK-LABEL: extract_nxv8i8_nxv16i8_0:
 527 ; CHECK:       // %bb.0:
 528 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 529 ; CHECK-NEXT:    ret
 530   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv16i8(<vscale x 16 x i8> %in, i64 0)
 531   ret <vscale x 8 x i8> %res
 532 }
 533
 534 define <vscale x 8 x i8> @extract_nxv8i8_nxv16i8_8(<vscale x 16 x i8> %in) {
 535 ; CHECK-LABEL: extract_nxv8i8_nxv16i8_8:
 536 ; CHECK:       // %bb.0:
 537 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 538 ; CHECK-NEXT:    ret
 539   %res = call <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv16i8(<vscale x 16 x i8> %in, i64 8)
 540   ret <vscale x 8 x i8> %res
 541 }
 542
 543 declare <vscale x 8 x i8> @llvm.vector.extract.nxv8i8.nxv16i8(<vscale x 16 x i8>, i64)
 544
 545 ;
 546 ; Extract i8 vector that needs widening from one that needs widening.
 547 ;
 548 define <vscale x 14 x i8> @extract_nxv14i8_nxv28i8_0(<vscale x 28 x i8> %in) {
 549 ; CHECK-LABEL: extract_nxv14i8_nxv28i8_0:
 550 ; CHECK:       // %bb.0:
 551 ; CHECK-NEXT:    ret
 552   %res = call <vscale x 14 x i8> @llvm.vector.extract.nxv14i8.nxv28i8(<vscale x 28 x i8> %in, i64 0)
 553   ret <vscale x 14 x i8> %res
 554 }
 555
 556 define <vscale x 14 x i8> @extract_nxv14i8_nxv28i8_14(<vscale x 28 x i8> %in) {
 557 ; CHECK-LABEL: extract_nxv14i8_nxv28i8_14:
 558 ; CHECK:       // %bb.0:
 559 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 560 ; CHECK-NEXT:    uunpklo z2.h, z1.b
 561 ; CHECK-NEXT:    uunpkhi z1.h, z1.b
 562 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 563 ; CHECK-NEXT:    uunpklo z4.s, z2.h
 564 ; CHECK-NEXT:    uunpkhi z2.s, z2.h
 565 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 566 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 567 ; CHECK-NEXT:    uunpklo z5.d, z4.s
 568 ; CHECK-NEXT:    uunpkhi z4.d, z4.s
 569 ; CHECK-NEXT:    uzp1 z0.s, z0.s, z0.s
 570 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z0.h
 571 ; CHECK-NEXT:    uzp1 z0.b, z0.b, z0.b
 572 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 573 ; CHECK-NEXT:    uunpklo z3.s, z0.h
 574 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 575 ; CHECK-NEXT:    uunpklo z3.d, z3.s
 576 ; CHECK-NEXT:    uzp1 z3.s, z3.s, z5.s
 577 ; CHECK-NEXT:    uzp1 z0.h, z3.h, z0.h
 578 ; CHECK-NEXT:    uzp1 z0.b, z0.b, z0.b
 579 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 580 ; CHECK-NEXT:    uunpkhi z3.s, z0.h
 581 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 582 ; CHECK-NEXT:    uunpkhi z3.d, z3.s
 583 ; CHECK-NEXT:    uzp1 z3.s, z4.s, z3.s
 584 ; CHECK-NEXT:    uunpklo z4.d, z2.s
 585 ; CHECK-NEXT:    uunpkhi z2.d, z2.s
 586 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z3.h
 587 ; CHECK-NEXT:    uzp1 z0.b, z0.b, z0.b
 588 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 589 ; CHECK-NEXT:    uunpkhi z3.s, z0.h
 590 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 591 ; CHECK-NEXT:    uunpklo z3.d, z3.s
 592 ; CHECK-NEXT:    uzp1 z3.s, z3.s, z4.s
 593 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z3.h
 594 ; CHECK-NEXT:    uzp1 z3.b, z0.b, z0.b
 595 ; CHECK-NEXT:    uunpkhi z3.h, z3.b
 596 ; CHECK-NEXT:    uunpklo z4.s, z3.h
 597 ; CHECK-NEXT:    uunpkhi z3.s, z3.h
 598 ; CHECK-NEXT:    uunpkhi z4.d, z4.s
 599 ; CHECK-NEXT:    uzp1 z2.s, z2.s, z4.s
 600 ; CHECK-NEXT:    uunpklo z4.d, z1.s
 601 ; CHECK-NEXT:    uunpkhi z1.d, z1.s
 602 ; CHECK-NEXT:    uzp1 z2.h, z2.h, z3.h
 603 ; CHECK-NEXT:    uzp1 z2.b, z0.b, z2.b
 604 ; CHECK-NEXT:    uunpkhi z2.h, z2.b
 605 ; CHECK-NEXT:    uunpklo z3.s, z2.h
 606 ; CHECK-NEXT:    uunpkhi z2.s, z2.h
 607 ; CHECK-NEXT:    uunpklo z3.d, z3.s
 608 ; CHECK-NEXT:    uzp1 z3.s, z3.s, z4.s
 609 ; CHECK-NEXT:    uzp1 z2.h, z3.h, z2.h
 610 ; CHECK-NEXT:    uzp1 z2.b, z0.b, z2.b
 611 ; CHECK-NEXT:    uunpkhi z2.h, z2.b
 612 ; CHECK-NEXT:    uunpkhi z3.s, z2.h
 613 ; CHECK-NEXT:    uunpklo z2.s, z2.h
 614 ; CHECK-NEXT:    uunpkhi z3.d, z3.s
 615 ; CHECK-NEXT:    uzp1 z1.s, z1.s, z3.s
 616 ; CHECK-NEXT:    uzp1 z1.h, z2.h, z1.h
 617 ; CHECK-NEXT:    uzp1 z1.b, z0.b, z1.b
 618 ; CHECK-NEXT:    uunpkhi z1.h, z1.b
 619 ; CHECK-NEXT:    uunpkhi z2.s, z1.h
 620 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 621 ; CHECK-NEXT:    uunpklo z2.d, z2.s
 622 ; CHECK-NEXT:    uzp1 z2.s, z2.s, z0.s
 623 ; CHECK-NEXT:    uzp1 z1.h, z1.h, z2.h
 624 ; CHECK-NEXT:    uzp1 z0.b, z0.b, z1.b
 625 ; CHECK-NEXT:    ret
 626   %res = call <vscale x 14 x i8> @llvm.vector.extract.nxv14i8.nxv28i8(<vscale x 28 x i8> %in, i64 14)
 627   ret <vscale x 14 x i8> %res
 628 }
 629
 630 declare <vscale x 14 x i8> @llvm.vector.extract.nxv14i8.nxv28i8(<vscale x 28 x i8>, i64)
 631
 632 ;
 633 ; Extract 1/4th i8 vector that needs promotion from legal type.
 634 ;
 635 define <vscale x 4 x i8> @extract_nxv4i8_nxv16i8_0(<vscale x 16 x i8> %in) {
 636 ; CHECK-LABEL: extract_nxv4i8_nxv16i8_0:
 637 ; CHECK:       // %bb.0:
 638 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 639 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 640 ; CHECK-NEXT:    ret
 641   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv16i8(<vscale x 16 x i8> %in, i64 0)
 642   ret <vscale x 4 x i8> %res
 643 }
 644
 645 define <vscale x 4 x i8> @extract_nxv4i8_nxv16i8_4(<vscale x 16 x i8> %in) {
 646 ; CHECK-LABEL: extract_nxv4i8_nxv16i8_4:
 647 ; CHECK:       // %bb.0:
 648 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 649 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 650 ; CHECK-NEXT:    ret
 651   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv16i8(<vscale x 16 x i8> %in, i64 4)
 652   ret <vscale x 4 x i8> %res
 653 }
 654
 655 define <vscale x 4 x i8> @extract_nxv4i8_nxv16i8_8(<vscale x 16 x i8> %in) {
 656 ; CHECK-LABEL: extract_nxv4i8_nxv16i8_8:
 657 ; CHECK:       // %bb.0:
 658 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 659 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 660 ; CHECK-NEXT:    ret
 661   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv16i8(<vscale x 16 x i8> %in, i64 8)
 662   ret <vscale x 4 x i8> %res
 663 }
 664
 665 define <vscale x 4 x i8> @extract_nxv4i8_nxv16i8_12(<vscale x 16 x i8> %in) {
 666 ; CHECK-LABEL: extract_nxv4i8_nxv16i8_12:
 667 ; CHECK:       // %bb.0:
 668 ; CHECK-NEXT:    uunpkhi z0.h, z0.b
 669 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 670 ; CHECK-NEXT:    ret
 671   %res = call <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv16i8(<vscale x 16 x i8> %in, i64 12)
 672   ret <vscale x 4 x i8> %res
 673 }
 674
 675 declare <vscale x 4 x i8> @llvm.vector.extract.nxv4i8.nxv16i8(<vscale x 16 x i8>, i64)
 676
 677 ;
 678 ; Extract f16 vector that needs promotion from one that needs widening.
 679 ;
 680 define <vscale x 2 x half> @extract_nxv2f16_nxv6f16_0(<vscale x 6 x half> %in) {
 681 ; CHECK-LABEL: extract_nxv2f16_nxv6f16_0:
 682 ; CHECK:       // %bb.0:
 683 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 684 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 685 ; CHECK-NEXT:    ret
 686   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv6f16(<vscale x 6 x half> %in, i64 0)
 687   ret <vscale x 2 x half> %res
 688 }
 689
 690 define <vscale x 2 x half> @extract_nxv2f16_nxv6f16_2(<vscale x 6 x half> %in) {
 691 ; CHECK-LABEL: extract_nxv2f16_nxv6f16_2:
 692 ; CHECK:       // %bb.0:
 693 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 694 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 695 ; CHECK-NEXT:    ret
 696   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv6f16(<vscale x 6 x half> %in, i64 2)
 697   ret <vscale x 2 x half> %res
 698 }
 699
 700 define <vscale x 2 x half> @extract_nxv2f16_nxv6f16_4(<vscale x 6 x half> %in) {
 701 ; CHECK-LABEL: extract_nxv2f16_nxv6f16_4:
 702 ; CHECK:       // %bb.0:
 703 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 704 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 705 ; CHECK-NEXT:    ret
 706   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv6f16(<vscale x 6 x half> %in, i64 4)
 707   ret <vscale x 2 x half> %res
 708 }
 709
 710 declare <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv6f16(<vscale x 6 x half>, i64)
 711
 712 ;
 713 ; Extract half f16 vector that needs promotion from legal type.
 714 ;
 715 define <vscale x 4 x half> @extract_nxv4f16_nxv8f16_0(<vscale x 8 x half> %in) {
 716 ; CHECK-LABEL: extract_nxv4f16_nxv8f16_0:
 717 ; CHECK:       // %bb.0:
 718 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 719 ; CHECK-NEXT:    ret
 720   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv8f16(<vscale x 8 x half> %in, i64 0)
 721   ret <vscale x 4 x half> %res
 722 }
 723
 724 define <vscale x 4 x half> @extract_nxv4f16_nxv8f16_4(<vscale x 8 x half> %in) {
 725 ; CHECK-LABEL: extract_nxv4f16_nxv8f16_4:
 726 ; CHECK:       // %bb.0:
 727 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 728 ; CHECK-NEXT:    ret
 729   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv8f16(<vscale x 8 x half> %in, i64 4)
 730   ret <vscale x 4 x half> %res
 731 }
 732
 733 declare <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv8f16(<vscale x 8 x half>, i64)
 734
 735 ;
 736 ; Extract f16 vector that needs widening from one that needs widening.
 737 ;
 738 define <vscale x 6 x half> @extract_nxv6f16_nxv12f16_0(<vscale x 12 x half> %in) {
 739 ; CHECK-LABEL: extract_nxv6f16_nxv12f16_0:
 740 ; CHECK:       // %bb.0:
 741 ; CHECK-NEXT:    ret
 742   %res = call <vscale x 6 x half> @llvm.vector.extract.nxv6f16.nxv12f16(<vscale x 12 x half> %in, i64 0)
 743   ret <vscale x 6 x half> %res
 744 }
 745
 746 define <vscale x 6 x half> @extract_nxv6f16_nxv12f16_6(<vscale x 12 x half> %in) {
 747 ; CHECK-LABEL: extract_nxv6f16_nxv12f16_6:
 748 ; CHECK:       // %bb.0:
 749 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 750 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 751 ; CHECK-NEXT:    uunpkhi z2.d, z1.s
 752 ; CHECK-NEXT:    uunpklo z1.d, z1.s
 753 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 754 ; CHECK-NEXT:    uzp1 z2.s, z2.s, z0.s
 755 ; CHECK-NEXT:    uzp1 z0.s, z0.s, z1.s
 756 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z2.h
 757 ; CHECK-NEXT:    ret
 758   %res = call <vscale x 6 x half> @llvm.vector.extract.nxv6f16.nxv12f16(<vscale x 12 x half> %in, i64 6)
 759   ret <vscale x 6 x half> %res
 760 }
 761
 762 declare <vscale x 6 x half> @llvm.vector.extract.nxv6f16.nxv12f16(<vscale x 12 x half>, i64)
 763
 764 ;
 765 ; Extract half f16 vector that needs promotion from one that needs splitting.
 766 ;
 767 define <vscale x 4 x half> @extract_nxv4f16_nxv16f16_0(<vscale x 16 x half> %in) {
 768 ; CHECK-LABEL: extract_nxv4f16_nxv16f16_0:
 769 ; CHECK:       // %bb.0:
 770 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 771 ; CHECK-NEXT:    ret
 772   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv16f16(<vscale x 16 x half> %in, i64 0)
 773   ret <vscale x 4 x half> %res
 774 }
 775
 776 define <vscale x 4 x half> @extract_nxv4f16_nxv16f16_4(<vscale x 16 x half> %in) {
 777 ; CHECK-LABEL: extract_nxv4f16_nxv16f16_4:
 778 ; CHECK:       // %bb.0:
 779 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 780 ; CHECK-NEXT:    ret
 781   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv16f16(<vscale x 16 x half> %in, i64 4)
 782   ret <vscale x 4 x half> %res
 783 }
 784
 785 define <vscale x 4 x half> @extract_nxv4f16_nxv16f16_8(<vscale x 16 x half> %in) {
 786 ; CHECK-LABEL: extract_nxv4f16_nxv16f16_8:
 787 ; CHECK:       // %bb.0:
 788 ; CHECK-NEXT:    uunpklo z0.s, z1.h
 789 ; CHECK-NEXT:    ret
 790   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv16f16(<vscale x 16 x half> %in, i64 8)
 791   ret <vscale x 4 x half> %res
 792 }
 793
 794 define <vscale x 4 x half> @extract_nxv4f16_nxv16f16_12(<vscale x 16 x half> %in) {
 795 ; CHECK-LABEL: extract_nxv4f16_nxv16f16_12:
 796 ; CHECK:       // %bb.0:
 797 ; CHECK-NEXT:    uunpkhi z0.s, z1.h
 798 ; CHECK-NEXT:    ret
 799   %res = call <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv16f16(<vscale x 16 x half> %in, i64 12)
 800   ret <vscale x 4 x half> %res
 801 }
 802
 803 declare <vscale x 4 x half> @llvm.vector.extract.nxv4f16.nxv16f16(<vscale x 16 x half>, i64)
 804
 805 ;
 806 ; Extract 1/4th f16 vector that needs promotion from legal type.
 807 ;
 808 define <vscale x 2 x half> @extract_nxv2f16_nxv8f16_0(<vscale x 8 x half> %in) {
 809 ; CHECK-LABEL: extract_nxv2f16_nxv8f16_0:
 810 ; CHECK:       // %bb.0:
 811 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 812 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 813 ; CHECK-NEXT:    ret
 814   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv8f16(<vscale x 8 x half> %in, i64 0)
 815   ret <vscale x 2 x half> %res
 816 }
 817
 818 define <vscale x 2 x half> @extract_nxv2f16_nxv8f16_2(<vscale x 8 x half> %in) {
 819 ; CHECK-LABEL: extract_nxv2f16_nxv8f16_2:
 820 ; CHECK:       // %bb.0:
 821 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 822 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 823 ; CHECK-NEXT:    ret
 824   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv8f16(<vscale x 8 x half> %in, i64 2)
 825   ret <vscale x 2 x half> %res
 826 }
 827
 828 define <vscale x 2 x half> @extract_nxv2f16_nxv8f16_4(<vscale x 8 x half> %in) {
 829 ; CHECK-LABEL: extract_nxv2f16_nxv8f16_4:
 830 ; CHECK:       // %bb.0:
 831 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 832 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 833 ; CHECK-NEXT:    ret
 834   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv8f16(<vscale x 8 x half> %in, i64 4)
 835   ret <vscale x 2 x half> %res
 836 }
 837
 838 define <vscale x 2 x half> @extract_nxv2f16_nxv8f16_6(<vscale x 8 x half> %in) {
 839 ; CHECK-LABEL: extract_nxv2f16_nxv8f16_6:
 840 ; CHECK:       // %bb.0:
 841 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 842 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 843 ; CHECK-NEXT:    ret
 844   %res = call <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv8f16(<vscale x 8 x half> %in, i64 6)
 845   ret <vscale x 2 x half> %res
 846 }
 847
 848 declare <vscale x 2 x half> @llvm.vector.extract.nxv2f16.nxv8f16(<vscale x 8 x half>, i64)
 849
 850 ;
 851 ; Extract half bf16 vector that needs promotion from legal type.
 852 ;
 853 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv8bf16_0(<vscale x 8 x bfloat> %in) {
 854 ; CHECK-LABEL: extract_nxv4bf16_nxv8bf16_0:
 855 ; CHECK:       // %bb.0:
 856 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 857 ; CHECK-NEXT:    ret
 858   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 0)
 859   ret <vscale x 4 x bfloat> %res
 860 }
 861
 862 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv8bf16_4(<vscale x 8 x bfloat> %in) {
 863 ; CHECK-LABEL: extract_nxv4bf16_nxv8bf16_4:
 864 ; CHECK:       // %bb.0:
 865 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 866 ; CHECK-NEXT:    ret
 867   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 4)
 868   ret <vscale x 4 x bfloat> %res
 869 }
 870
 871 declare <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv8bf16(<vscale x 8 x bfloat>, i64)
 872
 873 ;
 874 ; Extract bf16 vector that needs widening from one that needs widening.
 875 ;
 876 define <vscale x 6 x bfloat> @extract_nxv6bf16_nxv12bf16_0(<vscale x 12 x bfloat> %in) {
 877 ; CHECK-LABEL: extract_nxv6bf16_nxv12bf16_0:
 878 ; CHECK:       // %bb.0:
 879 ; CHECK-NEXT:    ret
 880   %res = call <vscale x 6 x bfloat> @llvm.vector.extract.nxv6bf16.nxv12bf16(<vscale x 12 x bfloat> %in, i64 0)
 881   ret <vscale x 6 x bfloat> %res
 882 }
 883
 884 define <vscale x 6 x bfloat> @extract_nxv6bf16_nxv12bf16_6(<vscale x 12 x bfloat> %in) {
 885 ; CHECK-LABEL: extract_nxv6bf16_nxv12bf16_6:
 886 ; CHECK:       // %bb.0:
 887 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 888 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 889 ; CHECK-NEXT:    uunpkhi z2.d, z1.s
 890 ; CHECK-NEXT:    uunpklo z1.d, z1.s
 891 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 892 ; CHECK-NEXT:    uzp1 z2.s, z2.s, z0.s
 893 ; CHECK-NEXT:    uzp1 z0.s, z0.s, z1.s
 894 ; CHECK-NEXT:    uzp1 z0.h, z0.h, z2.h
 895 ; CHECK-NEXT:    ret
 896   %res = call <vscale x 6 x bfloat> @llvm.vector.extract.nxv6bf16.nxv12bf16(<vscale x 12 x bfloat> %in, i64 6)
 897   ret <vscale x 6 x bfloat> %res
 898 }
 899
 900 declare <vscale x 6 x bfloat> @llvm.vector.extract.nxv6bf16.nxv12bf16(<vscale x 12 x bfloat>, i64)
 901
 902 ;
 903 ; Extract bf16 vector that needs promotion from one that needs widening.
 904 ;
 905 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv6bf16_0(<vscale x 6 x bfloat> %in) {
 906 ; CHECK-LABEL: extract_nxv2bf16_nxv6bf16_0:
 907 ; CHECK:       // %bb.0:
 908 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 909 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 910 ; CHECK-NEXT:    ret
 911   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv6bf16(<vscale x 6 x bfloat> %in, i64 0)
 912   ret <vscale x 2 x bfloat> %res
 913 }
 914
 915 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv6bf16_2(<vscale x 6 x bfloat> %in) {
 916 ; CHECK-LABEL: extract_nxv2bf16_nxv6bf16_2:
 917 ; CHECK:       // %bb.0:
 918 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 919 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 920 ; CHECK-NEXT:    ret
 921   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv6bf16(<vscale x 6 x bfloat> %in, i64 2)
 922   ret <vscale x 2 x bfloat> %res
 923 }
 924
 925 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv6bf16_4(<vscale x 6 x bfloat> %in) {
 926 ; CHECK-LABEL: extract_nxv2bf16_nxv6bf16_4:
 927 ; CHECK:       // %bb.0:
 928 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 929 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 930 ; CHECK-NEXT:    ret
 931   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv6bf16(<vscale x 6 x bfloat> %in, i64 4)
 932   ret <vscale x 2 x bfloat> %res
 933 }
 934
 935 declare <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv6bf16(<vscale x 6 x bfloat>, i64)
 936
 937 ;
 938 ; Extract 1/4th bf16 vector that needs promotion from legal type.
 939 ;
 940 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv8bf16_0(<vscale x 8 x bfloat> %in) {
 941 ; CHECK-LABEL: extract_nxv2bf16_nxv8bf16_0:
 942 ; CHECK:       // %bb.0:
 943 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 944 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 945 ; CHECK-NEXT:    ret
 946   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 0)
 947   ret <vscale x 2 x bfloat> %res
 948 }
 949
 950 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv8bf16_2(<vscale x 8 x bfloat> %in) {
 951 ; CHECK-LABEL: extract_nxv2bf16_nxv8bf16_2:
 952 ; CHECK:       // %bb.0:
 953 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 954 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 955 ; CHECK-NEXT:    ret
 956   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 2)
 957   ret <vscale x 2 x bfloat> %res
 958 }
 959
 960 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv8bf16_4(<vscale x 8 x bfloat> %in) {
 961 ; CHECK-LABEL: extract_nxv2bf16_nxv8bf16_4:
 962 ; CHECK:       // %bb.0:
 963 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 964 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 965 ; CHECK-NEXT:    ret
 966   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 4)
 967   ret <vscale x 2 x bfloat> %res
 968 }
 969
 970 define <vscale x 2 x bfloat> @extract_nxv2bf16_nxv8bf16_6(<vscale x 8 x bfloat> %in) {
 971 ; CHECK-LABEL: extract_nxv2bf16_nxv8bf16_6:
 972 ; CHECK:       // %bb.0:
 973 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 974 ; CHECK-NEXT:    uunpkhi z0.d, z0.s
 975 ; CHECK-NEXT:    ret
 976   %res = call <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv8bf16(<vscale x 8 x bfloat> %in, i64 6)
 977   ret <vscale x 2 x bfloat> %res
 978 }
 979
 980 declare <vscale x 2 x bfloat> @llvm.vector.extract.nxv2bf16.nxv8bf16(<vscale x 8 x bfloat>, i64)
 981
 982 ;
 983 ; Extract half bf16 vector that needs promotion from one that needs splitting.
 984 ;
 985 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv16bf16_0(<vscale x 16 x bfloat> %in) {
 986 ; CHECK-LABEL: extract_nxv4bf16_nxv16bf16_0:
 987 ; CHECK:       // %bb.0:
 988 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 989 ; CHECK-NEXT:    ret
 990   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv16bf16(<vscale x 16 x bfloat> %in, i64 0)
 991   ret <vscale x 4 x bfloat> %res
 992 }
 993
 994 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv16bf16_4(<vscale x 16 x bfloat> %in) {
 995 ; CHECK-LABEL: extract_nxv4bf16_nxv16bf16_4:
 996 ; CHECK:       // %bb.0:
 997 ; CHECK-NEXT:    uunpkhi z0.s, z0.h
 998 ; CHECK-NEXT:    ret
 999   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv16bf16(<vscale x 16 x bfloat> %in, i64 4)
1000   ret <vscale x 4 x bfloat> %res
1001 }
1002
1003 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv16bf16_8(<vscale x 16 x bfloat> %in) {
1004 ; CHECK-LABEL: extract_nxv4bf16_nxv16bf16_8:
1005 ; CHECK:       // %bb.0:
1006 ; CHECK-NEXT:    uunpklo z0.s, z1.h
1007 ; CHECK-NEXT:    ret
1008   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv16bf16(<vscale x 16 x bfloat> %in, i64 8)
1009   ret <vscale x 4 x bfloat> %res
1010 }
1011
1012 define <vscale x 4 x bfloat> @extract_nxv4bf16_nxv16bf16_12(<vscale x 16 x bfloat> %in) {
1013 ; CHECK-LABEL: extract_nxv4bf16_nxv16bf16_12:
1014 ; CHECK:       // %bb.0:
1015 ; CHECK-NEXT:    uunpkhi z0.s, z1.h
1016 ; CHECK-NEXT:    ret
1017   %res = call <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv16bf16(<vscale x 16 x bfloat> %in, i64 12)
1018   ret <vscale x 4 x bfloat> %res
1019 }
1020
1021 declare <vscale x 4 x bfloat> @llvm.vector.extract.nxv4bf16.nxv16bf16(<vscale x 16 x bfloat>, i64)
1022
1023
1024 ;
1025 ; Extract from a splat
1026 ;
1027 define <vscale x 2 x float> @extract_nxv2f32_nxv4f32_splat(float %f) {
1028 ; CHECK-LABEL: extract_nxv2f32_nxv4f32_splat:
1029 ; CHECK:       // %bb.0:
1030 ; CHECK-NEXT:    // kill: def $s0 killed $s0 def $z0
1031 ; CHECK-NEXT:    mov z0.s, s0
1032 ; CHECK-NEXT:    ret
1033   %ins = insertelement <vscale x 4 x float> poison, float %f, i32 0
1034   %splat = shufflevector <vscale x 4 x float> %ins, <vscale x 4 x float> poison, <vscale x 4 x i32> zeroinitializer
1035   %ext = call <vscale x 2 x float> @llvm.vector.extract.nxv2f32.nxv4f32(<vscale x 4 x float> %splat, i64 0)
1036   ret <vscale x 2 x float> %ext
1037 }
1038
1039 define <vscale x 2 x float> @extract_nxv2f32_nxv4f32_splat_const() {
1040 ; CHECK-LABEL: extract_nxv2f32_nxv4f32_splat_const:
1041 ; CHECK:       // %bb.0:
1042 ; CHECK-NEXT:    fmov z0.s, #1.00000000
1043 ; CHECK-NEXT:    ret
1044   %ins = insertelement <vscale x 4 x float> poison, float 1.0, i32 0
1045   %splat = shufflevector <vscale x 4 x float> %ins, <vscale x 4 x float> poison, <vscale x 4 x i32> zeroinitializer
1046   %ext = call <vscale x 2 x float> @llvm.vector.extract.nxv2f32.nxv4f32(<vscale x 4 x float> %splat, i64 0)
1047   ret <vscale x 2 x float> %ext
1048 }
1049
1050 define <vscale x 4 x i32> @extract_nxv4i32_nxv8i32_splat_const() {
1051 ; CHECK-LABEL: extract_nxv4i32_nxv8i32_splat_const:
1052 ; CHECK:       // %bb.0:
1053 ; CHECK-NEXT:    mov z0.s, #1 // =0x1
1054 ; CHECK-NEXT:    ret
1055   %ins = insertelement <vscale x 8 x i32> poison, i32 1, i32 0
1056   %splat = shufflevector <vscale x 8 x i32> %ins, <vscale x 8 x i32> poison, <vscale x 8 x i32> zeroinitializer
1057   %ext = call <vscale x 4 x i32> @llvm.vector.extract.nxv4i32.nxv8i32(<vscale x 8 x i32> %splat, i64 0)
1058   ret <vscale x 4 x i32> %ext
1059 }
1060
1061 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_all_ones() {
1062 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_all_ones:
1063 ; CHECK:       // %bb.0:
1064 ; CHECK-NEXT:    ptrue p0.d
1065 ; CHECK-NEXT:    ret
1066   %ins = insertelement <vscale x 16 x i1> poison, i1 1, i32 0
1067   %splat = shufflevector <vscale x 16 x i1> %ins, <vscale x 16 x i1> poison, <vscale x 16 x i32> zeroinitializer
1068   %ext = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> %splat, i64 0)
1069   ret <vscale x 2 x i1> %ext
1070 }
1071
1072 define <vscale x 2 x i1> @extract_nxv2i1_nxv16i1_all_zero() {
1073 ; CHECK-LABEL: extract_nxv2i1_nxv16i1_all_zero:
1074 ; CHECK:       // %bb.0:
1075 ; CHECK-NEXT:    pfalse p0.b
1076 ; CHECK-NEXT:    ret
1077   %ext = call <vscale x 2 x i1> @llvm.vector.extract.nxv2i1.nxv16i1(<vscale x 16 x i1> zeroinitializer, i64 0)
1078   ret <vscale x 2 x i1> %ext
1079 }
1080
1081 declare <vscale x 2 x float> @llvm.vector.extract.nxv2f32.nxv4f32(<vscale x 4 x float>, i64)
1082 declare <vscale x 4 x i32> @llvm.vector.extract.nxv4i32.nxv8i32(<vscale x 8 x i32>, i64)
1083
1084 ;
1085 ; Extract nxv1i1 type from: nxv2i1
1086 ;
1087
1088 define <vscale x 1 x i1> @extract_nxv1i1_nxv2i1_0(<vscale x 2 x i1> %in) {
1089 ; CHECK-LABEL: extract_nxv1i1_nxv2i1_0:
1090 ; CHECK:       // %bb.0:
1091 ; CHECK-NEXT:    punpklo p0.h, p0.b
1092 ; CHECK-NEXT:    ret
1093   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv2i1(<vscale x 2 x i1> %in, i64 0)
1094   ret <vscale x 1 x i1> %res
1095 }
1096
1097 define <vscale x 1 x i1> @extract_nxv1i1_nxv2i1_1(<vscale x 2 x i1> %in) {
1098 ; CHECK-LABEL: extract_nxv1i1_nxv2i1_1:
1099 ; CHECK:       // %bb.0:
1100 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1101 ; CHECK-NEXT:    ret
1102   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv2i1(<vscale x 2 x i1> %in, i64 1)
1103   ret <vscale x 1 x i1> %res
1104 }
1105
1106 ;
1107 ; Extract nxv1i1 type from: nxv4i1
1108 ;
1109
1110 define <vscale x 1 x i1> @extract_nxv1i1_nxv4i1_0(<vscale x 4 x i1> %in) {
1111 ; CHECK-LABEL: extract_nxv1i1_nxv4i1_0:
1112 ; CHECK:       // %bb.0:
1113 ; CHECK-NEXT:    punpklo p0.h, p0.b
1114 ; CHECK-NEXT:    punpklo p0.h, p0.b
1115 ; CHECK-NEXT:    ret
1116   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv4i1(<vscale x 4 x i1> %in, i64 0)
1117   ret <vscale x 1 x i1> %res
1118 }
1119
1120 define <vscale x 1 x i1> @extract_nxv1i1_nxv4i1_1(<vscale x 4 x i1> %in) {
1121 ; CHECK-LABEL: extract_nxv1i1_nxv4i1_1:
1122 ; CHECK:       // %bb.0:
1123 ; CHECK-NEXT:    punpklo p0.h, p0.b
1124 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1125 ; CHECK-NEXT:    ret
1126   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv4i1(<vscale x 4 x i1> %in, i64 1)
1127   ret <vscale x 1 x i1> %res
1128 }
1129
1130 define <vscale x 1 x i1> @extract_nxv1i1_nxv4i1_2(<vscale x 4 x i1> %in) {
1131 ; CHECK-LABEL: extract_nxv1i1_nxv4i1_2:
1132 ; CHECK:       // %bb.0:
1133 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1134 ; CHECK-NEXT:    punpklo p0.h, p0.b
1135 ; CHECK-NEXT:    ret
1136   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv4i1(<vscale x 4 x i1> %in, i64 2)
1137   ret <vscale x 1 x i1> %res
1138 }
1139
1140 define <vscale x 1 x i1> @extract_nxv1i1_nxv4i1_3(<vscale x 4 x i1> %in) {
1141 ; CHECK-LABEL: extract_nxv1i1_nxv4i1_3:
1142 ; CHECK:       // %bb.0:
1143 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1144 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1145 ; CHECK-NEXT:    ret
1146   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv4i1(<vscale x 4 x i1> %in, i64 3)
1147   ret <vscale x 1 x i1> %res
1148 }
1149
1150 ;
1151 ; Extract nxv1i1 type from: nxv8i1
1152 ;
1153
1154 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_0(<vscale x 8 x i1> %in) {
1155 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_0:
1156 ; CHECK:       // %bb.0:
1157 ; CHECK-NEXT:    punpklo p0.h, p0.b
1158 ; CHECK-NEXT:    punpklo p0.h, p0.b
1159 ; CHECK-NEXT:    punpklo p0.h, p0.b
1160 ; CHECK-NEXT:    ret
1161   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 0)
1162   ret <vscale x 1 x i1> %res
1163 }
1164
1165 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_1(<vscale x 8 x i1> %in) {
1166 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_1:
1167 ; CHECK:       // %bb.0:
1168 ; CHECK-NEXT:    punpklo p0.h, p0.b
1169 ; CHECK-NEXT:    punpklo p0.h, p0.b
1170 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1171 ; CHECK-NEXT:    ret
1172   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 1)
1173   ret <vscale x 1 x i1> %res
1174 }
1175
1176 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_2(<vscale x 8 x i1> %in) {
1177 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_2:
1178 ; CHECK:       // %bb.0:
1179 ; CHECK-NEXT:    punpklo p0.h, p0.b
1180 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1181 ; CHECK-NEXT:    punpklo p0.h, p0.b
1182 ; CHECK-NEXT:    ret
1183   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 2)
1184   ret <vscale x 1 x i1> %res
1185 }
1186
1187 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_3(<vscale x 8 x i1> %in) {
1188 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_3:
1189 ; CHECK:       // %bb.0:
1190 ; CHECK-NEXT:    punpklo p0.h, p0.b
1191 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1192 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1193 ; CHECK-NEXT:    ret
1194   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 3)
1195   ret <vscale x 1 x i1> %res
1196 }
1197
1198 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_4(<vscale x 8 x i1> %in) {
1199 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_4:
1200 ; CHECK:       // %bb.0:
1201 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1202 ; CHECK-NEXT:    punpklo p0.h, p0.b
1203 ; CHECK-NEXT:    punpklo p0.h, p0.b
1204 ; CHECK-NEXT:    ret
1205   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 4)
1206   ret <vscale x 1 x i1> %res
1207 }
1208
1209 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_5(<vscale x 8 x i1> %in) {
1210 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_5:
1211 ; CHECK:       // %bb.0:
1212 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1213 ; CHECK-NEXT:    punpklo p0.h, p0.b
1214 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1215 ; CHECK-NEXT:    ret
1216   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 5)
1217   ret <vscale x 1 x i1> %res
1218 }
1219
1220 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_6(<vscale x 8 x i1> %in) {
1221 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_6:
1222 ; CHECK:       // %bb.0:
1223 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1224 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1225 ; CHECK-NEXT:    punpklo p0.h, p0.b
1226 ; CHECK-NEXT:    ret
1227   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 6)
1228   ret <vscale x 1 x i1> %res
1229 }
1230
1231 define <vscale x 1 x i1> @extract_nxv1i1_nxv8i1_7(<vscale x 8 x i1> %in) {
1232 ; CHECK-LABEL: extract_nxv1i1_nxv8i1_7:
1233 ; CHECK:       // %bb.0:
1234 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1235 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1236 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1237 ; CHECK-NEXT:    ret
1238   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1> %in, i64 7)
1239   ret <vscale x 1 x i1> %res
1240 }
1241
1242
1243 ;
1244 ; Extract nxv1i1 type from: nxv16i1
1245 ;
1246
1247 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_0(<vscale x 16 x i1> %in) {
1248 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_0:
1249 ; CHECK:       // %bb.0:
1250 ; CHECK-NEXT:    punpklo p0.h, p0.b
1251 ; CHECK-NEXT:    punpklo p0.h, p0.b
1252 ; CHECK-NEXT:    punpklo p0.h, p0.b
1253 ; CHECK-NEXT:    punpklo p0.h, p0.b
1254 ; CHECK-NEXT:    ret
1255   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 0)
1256   ret <vscale x 1 x i1> %res
1257 }
1258
1259 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_1(<vscale x 16 x i1> %in) {
1260 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_1:
1261 ; CHECK:       // %bb.0:
1262 ; CHECK-NEXT:    punpklo p0.h, p0.b
1263 ; CHECK-NEXT:    punpklo p0.h, p0.b
1264 ; CHECK-NEXT:    punpklo p0.h, p0.b
1265 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1266 ; CHECK-NEXT:    ret
1267   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 1)
1268   ret <vscale x 1 x i1> %res
1269 }
1270
1271 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_2(<vscale x 16 x i1> %in) {
1272 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_2:
1273 ; CHECK:       // %bb.0:
1274 ; CHECK-NEXT:    punpklo p0.h, p0.b
1275 ; CHECK-NEXT:    punpklo p0.h, p0.b
1276 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1277 ; CHECK-NEXT:    punpklo p0.h, p0.b
1278 ; CHECK-NEXT:    ret
1279   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 2)
1280   ret <vscale x 1 x i1> %res
1281 }
1282
1283 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_3(<vscale x 16 x i1> %in) {
1284 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_3:
1285 ; CHECK:       // %bb.0:
1286 ; CHECK-NEXT:    punpklo p0.h, p0.b
1287 ; CHECK-NEXT:    punpklo p0.h, p0.b
1288 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1289 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1290 ; CHECK-NEXT:    ret
1291   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 3)
1292   ret <vscale x 1 x i1> %res
1293 }
1294
1295 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_4(<vscale x 16 x i1> %in) {
1296 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_4:
1297 ; CHECK:       // %bb.0:
1298 ; CHECK-NEXT:    punpklo p0.h, p0.b
1299 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1300 ; CHECK-NEXT:    punpklo p0.h, p0.b
1301 ; CHECK-NEXT:    punpklo p0.h, p0.b
1302 ; CHECK-NEXT:    ret
1303   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 4)
1304   ret <vscale x 1 x i1> %res
1305 }
1306
1307 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_5(<vscale x 16 x i1> %in) {
1308 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_5:
1309 ; CHECK:       // %bb.0:
1310 ; CHECK-NEXT:    punpklo p0.h, p0.b
1311 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1312 ; CHECK-NEXT:    punpklo p0.h, p0.b
1313 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1314 ; CHECK-NEXT:    ret
1315   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 5)
1316   ret <vscale x 1 x i1> %res
1317 }
1318
1319 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_6(<vscale x 16 x i1> %in) {
1320 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_6:
1321 ; CHECK:       // %bb.0:
1322 ; CHECK-NEXT:    punpklo p0.h, p0.b
1323 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1324 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1325 ; CHECK-NEXT:    punpklo p0.h, p0.b
1326 ; CHECK-NEXT:    ret
1327   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 6)
1328   ret <vscale x 1 x i1> %res
1329 }
1330
1331 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_7(<vscale x 16 x i1> %in) {
1332 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_7:
1333 ; CHECK:       // %bb.0:
1334 ; CHECK-NEXT:    punpklo p0.h, p0.b
1335 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1336 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1337 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1338 ; CHECK-NEXT:    ret
1339   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 7)
1340   ret <vscale x 1 x i1> %res
1341 }
1342
1343 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_8(<vscale x 16 x i1> %in) {
1344 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_8:
1345 ; CHECK:       // %bb.0:
1346 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1347 ; CHECK-NEXT:    punpklo p0.h, p0.b
1348 ; CHECK-NEXT:    punpklo p0.h, p0.b
1349 ; CHECK-NEXT:    punpklo p0.h, p0.b
1350 ; CHECK-NEXT:    ret
1351   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 8)
1352   ret <vscale x 1 x i1> %res
1353 }
1354
1355 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_9(<vscale x 16 x i1> %in) {
1356 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_9:
1357 ; CHECK:       // %bb.0:
1358 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1359 ; CHECK-NEXT:    punpklo p0.h, p0.b
1360 ; CHECK-NEXT:    punpklo p0.h, p0.b
1361 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1362 ; CHECK-NEXT:    ret
1363   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 9)
1364   ret <vscale x 1 x i1> %res
1365 }
1366
1367 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_10(<vscale x 16 x i1> %in) {
1368 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_10:
1369 ; CHECK:       // %bb.0:
1370 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1371 ; CHECK-NEXT:    punpklo p0.h, p0.b
1372 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1373 ; CHECK-NEXT:    punpklo p0.h, p0.b
1374 ; CHECK-NEXT:    ret
1375   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 10)
1376   ret <vscale x 1 x i1> %res
1377 }
1378
1379 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_11(<vscale x 16 x i1> %in) {
1380 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_11:
1381 ; CHECK:       // %bb.0:
1382 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1383 ; CHECK-NEXT:    punpklo p0.h, p0.b
1384 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1385 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1386 ; CHECK-NEXT:    ret
1387   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 11)
1388   ret <vscale x 1 x i1> %res
1389 }
1390
1391 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_12(<vscale x 16 x i1> %in) {
1392 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_12:
1393 ; CHECK:       // %bb.0:
1394 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1395 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1396 ; CHECK-NEXT:    punpklo p0.h, p0.b
1397 ; CHECK-NEXT:    punpklo p0.h, p0.b
1398 ; CHECK-NEXT:    ret
1399   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 12)
1400   ret <vscale x 1 x i1> %res
1401 }
1402
1403 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_13(<vscale x 16 x i1> %in) {
1404 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_13:
1405 ; CHECK:       // %bb.0:
1406 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1407 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1408 ; CHECK-NEXT:    punpklo p0.h, p0.b
1409 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1410 ; CHECK-NEXT:    ret
1411   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 13)
1412   ret <vscale x 1 x i1> %res
1413 }
1414
1415 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_14(<vscale x 16 x i1> %in) {
1416 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_14:
1417 ; CHECK:       // %bb.0:
1418 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1419 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1420 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1421 ; CHECK-NEXT:    punpklo p0.h, p0.b
1422 ; CHECK-NEXT:    ret
1423   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 14)
1424   ret <vscale x 1 x i1> %res
1425 }
1426
1427 define <vscale x 1 x i1> @extract_nxv1i1_nxv16i1_15(<vscale x 16 x i1> %in) {
1428 ; CHECK-LABEL: extract_nxv1i1_nxv16i1_15:
1429 ; CHECK:       // %bb.0:
1430 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1431 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1432 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1433 ; CHECK-NEXT:    punpkhi p0.h, p0.b
1434 ; CHECK-NEXT:    ret
1435   %res = call <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1> %in, i64 15)
1436   ret <vscale x 1 x i1> %res
1437 }
1438
1439 declare <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv2i1(<vscale x 2 x i1>, i64)
1440 declare <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv4i1(<vscale x 4 x i1>, i64)
1441 declare <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv8i1(<vscale x 8 x i1>, i64)
1442 declare <vscale x 1 x i1> @llvm.vector.extract.nxv1i1.nxv16i1(<vscale x 16 x i1>, i64)