llvm/test/CodeGen/AArch64/sve-streaming-mode-fixed-length-extract-subvector.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mattr=+sve -force-streaming-compatible  < %s | FileCheck %s
   3 ; RUN: llc -mattr=+sme -force-streaming  < %s | FileCheck %s
   4 ; RUN: llc -force-streaming-compatible < %s | FileCheck %s --check-prefix=NONEON-NOSVE
   5
   6 target triple = "aarch64-unknown-linux-gnu"
   7
   8 ; i1
   9
  10 define <4 x i1> @extract_subvector_v8i1(<8 x i1> %op) {
  11 ; CHECK-LABEL: extract_subvector_v8i1:
  12 ; CHECK:       // %bb.0:
  13 ; CHECK-NEXT:    sub sp, sp, #16
  14 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
  15 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
  16 ; CHECK-NEXT:    mov z1.b, z0.b[7]
  17 ; CHECK-NEXT:    mov z2.b, z0.b[6]
  18 ; CHECK-NEXT:    mov z3.b, z0.b[5]
  19 ; CHECK-NEXT:    mov z0.b, z0.b[4]
  20 ; CHECK-NEXT:    fmov w8, s1
  21 ; CHECK-NEXT:    fmov w9, s2
  22 ; CHECK-NEXT:    strh w8, [sp, #14]
  23 ; CHECK-NEXT:    fmov w8, s3
  24 ; CHECK-NEXT:    strh w9, [sp, #12]
  25 ; CHECK-NEXT:    fmov w9, s0
  26 ; CHECK-NEXT:    strh w8, [sp, #10]
  27 ; CHECK-NEXT:    strh w9, [sp, #8]
  28 ; CHECK-NEXT:    ldr d0, [sp, #8]
  29 ; CHECK-NEXT:    add sp, sp, #16
  30 ; CHECK-NEXT:    ret
  31 ;
  32 ; NONEON-NOSVE-LABEL: extract_subvector_v8i1:
  33 ; NONEON-NOSVE:       // %bb.0:
  34 ; NONEON-NOSVE-NEXT:    str d0, [sp, #-16]!
  35 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
  36 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #7]
  37 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #14]
  38 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #6]
  39 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #12]
  40 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #5]
  41 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #10]
  42 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #4]
  43 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #8]
  44 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
  45 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
  46 ; NONEON-NOSVE-NEXT:    ret
  47   %ret = call <4 x i1> @llvm.vector.extract.v4i1.v8i1(<8 x i1> %op, i64 4)
  48   ret <4 x i1> %ret
  49 }
  50
  51 ; i8
  52
  53 define <4 x i8> @extract_subvector_v8i8(<8 x i8> %op) {
  54 ; CHECK-LABEL: extract_subvector_v8i8:
  55 ; CHECK:       // %bb.0:
  56 ; CHECK-NEXT:    sub sp, sp, #16
  57 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
  58 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
  59 ; CHECK-NEXT:    mov z1.b, z0.b[7]
  60 ; CHECK-NEXT:    mov z2.b, z0.b[6]
  61 ; CHECK-NEXT:    mov z3.b, z0.b[5]
  62 ; CHECK-NEXT:    mov z0.b, z0.b[4]
  63 ; CHECK-NEXT:    fmov w8, s1
  64 ; CHECK-NEXT:    fmov w9, s2
  65 ; CHECK-NEXT:    strh w8, [sp, #14]
  66 ; CHECK-NEXT:    fmov w8, s3
  67 ; CHECK-NEXT:    strh w9, [sp, #12]
  68 ; CHECK-NEXT:    fmov w9, s0
  69 ; CHECK-NEXT:    strh w8, [sp, #10]
  70 ; CHECK-NEXT:    strh w9, [sp, #8]
  71 ; CHECK-NEXT:    ldr d0, [sp, #8]
  72 ; CHECK-NEXT:    add sp, sp, #16
  73 ; CHECK-NEXT:    ret
  74 ;
  75 ; NONEON-NOSVE-LABEL: extract_subvector_v8i8:
  76 ; NONEON-NOSVE:       // %bb.0:
  77 ; NONEON-NOSVE-NEXT:    str d0, [sp, #-16]!
  78 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
  79 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #7]
  80 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #14]
  81 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #6]
  82 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #12]
  83 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #5]
  84 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #10]
  85 ; NONEON-NOSVE-NEXT:    ldrb w8, [sp, #4]
  86 ; NONEON-NOSVE-NEXT:    strh w8, [sp, #8]
  87 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
  88 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
  89 ; NONEON-NOSVE-NEXT:    ret
  90   %ret = call <4 x i8> @llvm.vector.extract.v4i8.v8i8(<8 x i8> %op, i64 4)
  91   ret <4 x i8> %ret
  92 }
  93
  94 define <8 x i8> @extract_subvector_v16i8(<16 x i8> %op) {
  95 ; CHECK-LABEL: extract_subvector_v16i8:
  96 ; CHECK:       // %bb.0:
  97 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
  98 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
  99 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 100 ; CHECK-NEXT:    ret
 101 ;
 102 ; NONEON-NOSVE-LABEL: extract_subvector_v16i8:
 103 ; NONEON-NOSVE:       // %bb.0:
 104 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 105 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 106 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 107 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 108 ; NONEON-NOSVE-NEXT:    ret
 109   %ret = call <8 x i8> @llvm.vector.extract.v8i8.v16i8(<16 x i8> %op, i64 8)
 110   ret <8 x i8> %ret
 111 }
 112
 113 define void @extract_subvector_v32i8(ptr %a, ptr %b) {
 114 ; CHECK-LABEL: extract_subvector_v32i8:
 115 ; CHECK:       // %bb.0:
 116 ; CHECK-NEXT:    ldr q0, [x0, #16]
 117 ; CHECK-NEXT:    str q0, [x1]
 118 ; CHECK-NEXT:    ret
 119 ;
 120 ; NONEON-NOSVE-LABEL: extract_subvector_v32i8:
 121 ; NONEON-NOSVE:       // %bb.0:
 122 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 123 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 124 ; NONEON-NOSVE-NEXT:    ret
 125   %op = load <32 x i8>, ptr %a
 126   %ret = call <16 x i8> @llvm.vector.extract.v16i8.v32i8(<32 x i8> %op, i64 16)
 127   store <16 x i8> %ret, ptr %b
 128   ret void
 129 }
 130
 131 ; i16
 132
 133 define <2 x i16> @extract_subvector_v4i16(<4 x i16> %op) {
 134 ; CHECK-LABEL: extract_subvector_v4i16:
 135 ; CHECK:       // %bb.0:
 136 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 137 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 138 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 139 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 140 ; CHECK-NEXT:    ret
 141 ;
 142 ; NONEON-NOSVE-LABEL: extract_subvector_v4i16:
 143 ; NONEON-NOSVE:       // %bb.0:
 144 ; NONEON-NOSVE-NEXT:    ushll v0.4s, v0.4h, #0
 145 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 146 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 147 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 148 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 149 ; NONEON-NOSVE-NEXT:    ret
 150   %ret = call <2 x i16> @llvm.vector.extract.v2i16.v4i16(<4 x i16> %op, i64 2)
 151   ret <2 x i16> %ret
 152 }
 153
 154 define <4 x i16> @extract_subvector_v8i16(<8 x i16> %op) {
 155 ; CHECK-LABEL: extract_subvector_v8i16:
 156 ; CHECK:       // %bb.0:
 157 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 158 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 159 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 160 ; CHECK-NEXT:    ret
 161 ;
 162 ; NONEON-NOSVE-LABEL: extract_subvector_v8i16:
 163 ; NONEON-NOSVE:       // %bb.0:
 164 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 165 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 166 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 167 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 168 ; NONEON-NOSVE-NEXT:    ret
 169   %ret = call <4 x i16> @llvm.vector.extract.v4i16.v8i16(<8 x i16> %op, i64 4)
 170   ret <4 x i16> %ret
 171 }
 172
 173 define void @extract_subvector_v16i16(ptr %a, ptr %b) {
 174 ; CHECK-LABEL: extract_subvector_v16i16:
 175 ; CHECK:       // %bb.0:
 176 ; CHECK-NEXT:    ldr q0, [x0, #16]
 177 ; CHECK-NEXT:    str q0, [x1]
 178 ; CHECK-NEXT:    ret
 179 ;
 180 ; NONEON-NOSVE-LABEL: extract_subvector_v16i16:
 181 ; NONEON-NOSVE:       // %bb.0:
 182 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 183 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 184 ; NONEON-NOSVE-NEXT:    ret
 185   %op = load <16 x i16>, ptr %a
 186   %ret = call <8 x i16> @llvm.vector.extract.v8i16.v16i16(<16 x i16> %op, i64 8)
 187   store <8 x i16> %ret, ptr %b
 188   ret void
 189 }
 190
 191 ; i32
 192
 193 define <1 x i32> @extract_subvector_v2i32(<2 x i32> %op) {
 194 ; CHECK-LABEL: extract_subvector_v2i32:
 195 ; CHECK:       // %bb.0:
 196 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 197 ; CHECK-NEXT:    mov z0.s, z0.s[1]
 198 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 199 ; CHECK-NEXT:    ret
 200 ;
 201 ; NONEON-NOSVE-LABEL: extract_subvector_v2i32:
 202 ; NONEON-NOSVE:       // %bb.0:
 203 ; NONEON-NOSVE-NEXT:    sub sp, sp, #16
 204 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 205 ; NONEON-NOSVE-NEXT:    str d0, [sp, #8]
 206 ; NONEON-NOSVE-NEXT:    ldr w8, [sp, #12]
 207 ; NONEON-NOSVE-NEXT:    str w8, [sp]
 208 ; NONEON-NOSVE-NEXT:    ldr d0, [sp], #16
 209 ; NONEON-NOSVE-NEXT:    ret
 210   %ret = call <1 x i32> @llvm.vector.extract.v1i32.v2i32(<2 x i32> %op, i64 1)
 211   ret <1 x i32> %ret
 212 }
 213
 214 define <2 x i32> @extract_subvector_v4i32(<4 x i32> %op) {
 215 ; CHECK-LABEL: extract_subvector_v4i32:
 216 ; CHECK:       // %bb.0:
 217 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 218 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 219 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 220 ; CHECK-NEXT:    ret
 221 ;
 222 ; NONEON-NOSVE-LABEL: extract_subvector_v4i32:
 223 ; NONEON-NOSVE:       // %bb.0:
 224 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 225 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 226 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 227 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 228 ; NONEON-NOSVE-NEXT:    ret
 229   %ret = call <2 x i32> @llvm.vector.extract.v2i32.v4i32(<4 x i32> %op, i64 2)
 230   ret <2 x i32> %ret
 231 }
 232
 233 define void @extract_subvector_v8i32(ptr %a, ptr %b) {
 234 ; CHECK-LABEL: extract_subvector_v8i32:
 235 ; CHECK:       // %bb.0:
 236 ; CHECK-NEXT:    ldr q0, [x0, #16]
 237 ; CHECK-NEXT:    str q0, [x1]
 238 ; CHECK-NEXT:    ret
 239 ;
 240 ; NONEON-NOSVE-LABEL: extract_subvector_v8i32:
 241 ; NONEON-NOSVE:       // %bb.0:
 242 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 243 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 244 ; NONEON-NOSVE-NEXT:    ret
 245   %op = load <8 x i32>, ptr %a
 246   %ret = call <4 x i32> @llvm.vector.extract.v4i32.v8i32(<8 x i32> %op, i64 4)
 247   store <4 x i32> %ret, ptr %b
 248   ret void
 249 }
 250
 251 ; i64
 252
 253 define <1 x i64> @extract_subvector_v2i64(<2 x i64> %op) {
 254 ; CHECK-LABEL: extract_subvector_v2i64:
 255 ; CHECK:       // %bb.0:
 256 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 257 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 258 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 259 ; CHECK-NEXT:    ret
 260 ;
 261 ; NONEON-NOSVE-LABEL: extract_subvector_v2i64:
 262 ; NONEON-NOSVE:       // %bb.0:
 263 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 264 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 265 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 266 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 267 ; NONEON-NOSVE-NEXT:    ret
 268   %ret = call <1 x i64> @llvm.vector.extract.v1i64.v2i64(<2 x i64> %op, i64 1)
 269   ret <1 x i64> %ret
 270 }
 271
 272 define void @extract_subvector_v4i64(ptr %a, ptr %b) {
 273 ; CHECK-LABEL: extract_subvector_v4i64:
 274 ; CHECK:       // %bb.0:
 275 ; CHECK-NEXT:    ldr q0, [x0, #16]
 276 ; CHECK-NEXT:    str q0, [x1]
 277 ; CHECK-NEXT:    ret
 278 ;
 279 ; NONEON-NOSVE-LABEL: extract_subvector_v4i64:
 280 ; NONEON-NOSVE:       // %bb.0:
 281 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 282 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 283 ; NONEON-NOSVE-NEXT:    ret
 284   %op = load <4 x i64>, ptr %a
 285   %ret = call <2 x i64> @llvm.vector.extract.v2i64.v4i64(<4 x i64> %op, i64 2)
 286   store <2 x i64> %ret, ptr %b
 287   ret void
 288 }
 289
 290 ; f16
 291
 292 define <2 x half> @extract_subvector_v4f16(<4 x half> %op) {
 293 ; CHECK-LABEL: extract_subvector_v4f16:
 294 ; CHECK:       // %bb.0:
 295 ; CHECK-NEXT:    adrp x8, .LCPI12_0
 296 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 297 ; CHECK-NEXT:    ldr q1, [x8, :lo12:.LCPI12_0]
 298 ; CHECK-NEXT:    tbl z0.h, { z0.h }, z1.h
 299 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 300 ; CHECK-NEXT:    ret
 301 ;
 302 ; NONEON-NOSVE-LABEL: extract_subvector_v4f16:
 303 ; NONEON-NOSVE:       // %bb.0:
 304 ; NONEON-NOSVE-NEXT:    str d0, [sp, #-16]!
 305 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 306 ; NONEON-NOSVE-NEXT:    ldr w8, [sp, #4]
 307 ; NONEON-NOSVE-NEXT:    str w8, [sp, #8]
 308 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 309 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 310 ; NONEON-NOSVE-NEXT:    ret
 311   %ret = call <2 x half> @llvm.vector.extract.v2f16.v4f16(<4 x half> %op, i64 2)
 312   ret <2 x half> %ret
 313 }
 314
 315 define <4 x half> @extract_subvector_v8f16(<8 x half> %op) {
 316 ; CHECK-LABEL: extract_subvector_v8f16:
 317 ; CHECK:       // %bb.0:
 318 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 319 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 320 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 321 ; CHECK-NEXT:    ret
 322 ;
 323 ; NONEON-NOSVE-LABEL: extract_subvector_v8f16:
 324 ; NONEON-NOSVE:       // %bb.0:
 325 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 326 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 327 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 328 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 329 ; NONEON-NOSVE-NEXT:    ret
 330   %ret = call <4 x half> @llvm.vector.extract.v4f16.v8f16(<8 x half> %op, i64 4)
 331   ret <4 x half> %ret
 332 }
 333
 334 define void @extract_subvector_v16f16(ptr %a, ptr %b) {
 335 ; CHECK-LABEL: extract_subvector_v16f16:
 336 ; CHECK:       // %bb.0:
 337 ; CHECK-NEXT:    ldr q0, [x0, #16]
 338 ; CHECK-NEXT:    str q0, [x1]
 339 ; CHECK-NEXT:    ret
 340 ;
 341 ; NONEON-NOSVE-LABEL: extract_subvector_v16f16:
 342 ; NONEON-NOSVE:       // %bb.0:
 343 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 344 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 345 ; NONEON-NOSVE-NEXT:    ret
 346   %op = load <16 x half>, ptr %a
 347   %ret = call <8 x half> @llvm.vector.extract.v8f16.v16f16(<16 x half> %op, i64 8)
 348   store <8 x half> %ret, ptr %b
 349   ret void
 350 }
 351
 352 ; f32
 353
 354 define <1 x float> @extract_subvector_v2f32(<2 x float> %op) {
 355 ; CHECK-LABEL: extract_subvector_v2f32:
 356 ; CHECK:       // %bb.0:
 357 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 358 ; CHECK-NEXT:    mov z0.s, z0.s[1]
 359 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 360 ; CHECK-NEXT:    ret
 361 ;
 362 ; NONEON-NOSVE-LABEL: extract_subvector_v2f32:
 363 ; NONEON-NOSVE:       // %bb.0:
 364 ; NONEON-NOSVE-NEXT:    sub sp, sp, #16
 365 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 366 ; NONEON-NOSVE-NEXT:    str d0, [sp, #8]
 367 ; NONEON-NOSVE-NEXT:    ldr w8, [sp, #12]
 368 ; NONEON-NOSVE-NEXT:    str w8, [sp]
 369 ; NONEON-NOSVE-NEXT:    ldr d0, [sp], #16
 370 ; NONEON-NOSVE-NEXT:    ret
 371   %ret = call <1 x float> @llvm.vector.extract.v1f32.v2f32(<2 x float> %op, i64 1)
 372   ret <1 x float> %ret
 373 }
 374
 375 define <2 x float> @extract_subvector_v4f32(<4 x float> %op) {
 376 ; CHECK-LABEL: extract_subvector_v4f32:
 377 ; CHECK:       // %bb.0:
 378 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 379 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 380 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 381 ; CHECK-NEXT:    ret
 382 ;
 383 ; NONEON-NOSVE-LABEL: extract_subvector_v4f32:
 384 ; NONEON-NOSVE:       // %bb.0:
 385 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 386 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 387 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 388 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 389 ; NONEON-NOSVE-NEXT:    ret
 390   %ret = call <2 x float> @llvm.vector.extract.v2f32.v4f32(<4 x float> %op, i64 2)
 391   ret <2 x float> %ret
 392 }
 393
 394 define void @extract_subvector_v8f32(ptr %a, ptr %b) {
 395 ; CHECK-LABEL: extract_subvector_v8f32:
 396 ; CHECK:       // %bb.0:
 397 ; CHECK-NEXT:    ldr q0, [x0, #16]
 398 ; CHECK-NEXT:    str q0, [x1]
 399 ; CHECK-NEXT:    ret
 400 ;
 401 ; NONEON-NOSVE-LABEL: extract_subvector_v8f32:
 402 ; NONEON-NOSVE:       // %bb.0:
 403 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 404 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 405 ; NONEON-NOSVE-NEXT:    ret
 406   %op = load <8 x float>, ptr %a
 407   %ret = call <4 x float> @llvm.vector.extract.v4f32.v8f32(<8 x float> %op, i64 4)
 408   store <4 x float> %ret, ptr %b
 409   ret void
 410 }
 411
 412 ; f64
 413
 414 define <1 x double> @extract_subvector_v2f64(<2 x double> %op) {
 415 ; CHECK-LABEL: extract_subvector_v2f64:
 416 ; CHECK:       // %bb.0:
 417 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 418 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 419 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 420 ; CHECK-NEXT:    ret
 421 ;
 422 ; NONEON-NOSVE-LABEL: extract_subvector_v2f64:
 423 ; NONEON-NOSVE:       // %bb.0:
 424 ; NONEON-NOSVE-NEXT:    str q0, [sp, #-16]!
 425 ; NONEON-NOSVE-NEXT:    .cfi_def_cfa_offset 16
 426 ; NONEON-NOSVE-NEXT:    ldr d0, [sp, #8]
 427 ; NONEON-NOSVE-NEXT:    add sp, sp, #16
 428 ; NONEON-NOSVE-NEXT:    ret
 429   %ret = call <1 x double> @llvm.vector.extract.v1f64.v2f64(<2 x double> %op, i64 1)
 430   ret <1 x double> %ret
 431 }
 432
 433 define void @extract_subvector_v4f64(ptr %a, ptr %b) {
 434 ; CHECK-LABEL: extract_subvector_v4f64:
 435 ; CHECK:       // %bb.0:
 436 ; CHECK-NEXT:    ldr q0, [x0, #16]
 437 ; CHECK-NEXT:    str q0, [x1]
 438 ; CHECK-NEXT:    ret
 439 ;
 440 ; NONEON-NOSVE-LABEL: extract_subvector_v4f64:
 441 ; NONEON-NOSVE:       // %bb.0:
 442 ; NONEON-NOSVE-NEXT:    ldr q0, [x0, #16]
 443 ; NONEON-NOSVE-NEXT:    str q0, [x1]
 444 ; NONEON-NOSVE-NEXT:    ret
 445   %op = load <4 x double>, ptr %a
 446   %ret = call <2 x double> @llvm.vector.extract.v2f64.v4f64(<4 x double> %op, i64 2)
 447   store <2 x double> %ret, ptr %b
 448   ret void
 449 }
 450
 451 declare <4 x i1> @llvm.vector.extract.v4i1.v8i1(<8 x i1>, i64)
 452
 453 declare <4 x i8> @llvm.vector.extract.v4i8.v8i8(<8 x i8>, i64)
 454 declare <8 x i8> @llvm.vector.extract.v8i8.v16i8(<16 x i8>, i64)
 455 declare <16 x i8> @llvm.vector.extract.v16i8.v32i8(<32 x i8>, i64)
 456 declare <32 x i8> @llvm.vector.extract.v32i8.v64i8(<64 x i8>, i64)
 457
 458 declare <2 x i16> @llvm.vector.extract.v2i16.v4i16(<4 x i16>, i64)
 459 declare <4 x i16> @llvm.vector.extract.v4i16.v8i16(<8 x i16>, i64)
 460 declare <8 x i16> @llvm.vector.extract.v8i16.v16i16(<16 x i16>, i64)
 461 declare <16 x i16> @llvm.vector.extract.v16i16.v32i16(<32 x i16>, i64)
 462
 463 declare <1 x i32> @llvm.vector.extract.v1i32.v2i32(<2 x i32>, i64)
 464 declare <2 x i32> @llvm.vector.extract.v2i32.v4i32(<4 x i32>, i64)
 465 declare <4 x i32> @llvm.vector.extract.v4i32.v8i32(<8 x i32>, i64)
 466 declare <8 x i32> @llvm.vector.extract.v8i32.v16i32(<16 x i32>, i64)
 467
 468 declare <1 x i64> @llvm.vector.extract.v1i64.v2i64(<2 x i64>, i64)
 469 declare <2 x i64> @llvm.vector.extract.v2i64.v4i64(<4 x i64>, i64)
 470 declare <4 x i64> @llvm.vector.extract.v4i64.v8i64(<8 x i64>, i64)
 471
 472 declare <2 x half> @llvm.vector.extract.v2f16.v4f16(<4 x half>, i64)
 473 declare <4 x half> @llvm.vector.extract.v4f16.v8f16(<8 x half>, i64)
 474 declare <8 x half> @llvm.vector.extract.v8f16.v16f16(<16 x half>, i64)
 475 declare <16 x half> @llvm.vector.extract.v16f16.v32f16(<32 x half>, i64)
 476
 477 declare <1 x float> @llvm.vector.extract.v1f32.v2f32(<2 x float>, i64)
 478 declare <2 x float> @llvm.vector.extract.v2f32.v4f32(<4 x float>, i64)
 479 declare <4 x float> @llvm.vector.extract.v4f32.v8f32(<8 x float>, i64)
 480 declare <8 x float> @llvm.vector.extract.v8f32.v16f32(<16 x float>, i64)
 481
 482 declare <1 x double> @llvm.vector.extract.v1f64.v2f64(<2 x double>, i64)
 483 declare <2 x double> @llvm.vector.extract.v2f64.v4f64(<4 x double>, i64)
 484 declare <4 x double> @llvm.vector.extract.v4f64.v8f64(<8 x double>, i64)