llvm/test/CodeGen/AArch64/extract-vector-elt-sve.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 4
   2 ; RUN: llc -mtriple=aarch64 -mattr=+sve -verify-machineinstrs %s -o - | FileCheck %s --check-prefixes=CHECK,CHECK-SD
   3 ; RUN: llc -mtriple=aarch64 -mattr=+sve -aarch64-enable-gisel-sve=1 -global-isel -global-isel-abort=2 -verify-machineinstrs %s -o - 2>&1 | FileCheck %s --check-prefixes=CHECK,CHECK-GI
   4
   5 ; CHECK-GI:       warning: Instruction selection used fallback path for insert_vscale_8_i16_zero
   6 ; CHECK-GI-NEXT:  warning: Instruction selection used fallback path for insert_vscale_8_i16
   7 ; CHECK-GI-NEXT:  warning: Instruction selection used fallback path for insert_vscale_16_i8_zero
   8 ; CHECK-GI-NEXT:  warning: Instruction selection used fallback path for insert_vscale_16_i8
   9 ; CHECK-GI-NEXT:  warning: Instruction selection used fallback path for extract_vscale_16_i8
  10 ; CHECK-GI-NEXT:  warning: Instruction selection used fallback path for extract_vscale_16_i8_zero
  11
  12 define <vscale x 2 x i64> @insert_vscale_2_i64_zero(<vscale x 2 x i64> %vec, i64 %elt) {
  13 ; CHECK-SD-LABEL: insert_vscale_2_i64_zero:
  14 ; CHECK-SD:       // %bb.0: // %entry
  15 ; CHECK-SD-NEXT:    ptrue p0.d, vl1
  16 ; CHECK-SD-NEXT:    mov z0.d, p0/m, x0
  17 ; CHECK-SD-NEXT:    ret
  18 ;
  19 ; CHECK-GI-LABEL: insert_vscale_2_i64_zero:
  20 ; CHECK-GI:       // %bb.0: // %entry
  21 ; CHECK-GI-NEXT:    mov x8, xzr
  22 ; CHECK-GI-NEXT:    index z1.d, #0, #1
  23 ; CHECK-GI-NEXT:    ptrue p0.d
  24 ; CHECK-GI-NEXT:    mov z2.d, x8
  25 ; CHECK-GI-NEXT:    cmpeq p0.d, p0/z, z1.d, z2.d
  26 ; CHECK-GI-NEXT:    mov z0.d, p0/m, x0
  27 ; CHECK-GI-NEXT:    ret
  28 entry:
  29   %d = insertelement <vscale x 2 x i64> %vec, i64 %elt, i64 0
  30   ret <vscale x 2 x i64> %d
  31 }
  32
  33 define <vscale x 2 x i64> @insert_vscale_2_i64(<vscale x 2 x i64> %vec, i64 %elt, i64 %idx) {
  34 ; CHECK-LABEL: insert_vscale_2_i64:
  35 ; CHECK:       // %bb.0: // %entry
  36 ; CHECK-NEXT:    index z1.d, #0, #1
  37 ; CHECK-NEXT:    mov z2.d, x1
  38 ; CHECK-NEXT:    ptrue p0.d
  39 ; CHECK-NEXT:    cmpeq p0.d, p0/z, z1.d, z2.d
  40 ; CHECK-NEXT:    mov z0.d, p0/m, x0
  41 ; CHECK-NEXT:    ret
  42 entry:
  43   %d = insertelement <vscale x  2 x i64> %vec, i64 %elt, i64 %idx
  44   ret <vscale x 2 x i64> %d
  45 }
  46
  47 define <vscale x 4 x i32> @insert_vscale_4_i32_zero(<vscale x 4 x i32> %vec, i32 %elt) {
  48 ; CHECK-SD-LABEL: insert_vscale_4_i32_zero:
  49 ; CHECK-SD:       // %bb.0: // %entry
  50 ; CHECK-SD-NEXT:    ptrue p0.s, vl1
  51 ; CHECK-SD-NEXT:    mov z0.s, p0/m, w0
  52 ; CHECK-SD-NEXT:    ret
  53 ;
  54 ; CHECK-GI-LABEL: insert_vscale_4_i32_zero:
  55 ; CHECK-GI:       // %bb.0: // %entry
  56 ; CHECK-GI-NEXT:    mov w8, wzr
  57 ; CHECK-GI-NEXT:    index z1.s, #0, #1
  58 ; CHECK-GI-NEXT:    ptrue p0.s
  59 ; CHECK-GI-NEXT:    mov z2.s, w8
  60 ; CHECK-GI-NEXT:    cmpeq p0.s, p0/z, z1.s, z2.s
  61 ; CHECK-GI-NEXT:    mov z0.s, p0/m, w0
  62 ; CHECK-GI-NEXT:    ret
  63 entry:
  64   %d = insertelement <vscale x 4 x i32> %vec, i32 %elt, i64 0
  65   ret <vscale x 4 x i32> %d
  66 }
  67
  68 define <vscale x 4 x i32> @insert_vscale_4_i32(<vscale x 4 x i32> %vec, i32 %elt, i64 %idx) {
  69 ; CHECK-LABEL: insert_vscale_4_i32:
  70 ; CHECK:       // %bb.0: // %entry
  71 ; CHECK-NEXT:    index z1.s, #0, #1
  72 ; CHECK-NEXT:    mov z2.s, w1
  73 ; CHECK-NEXT:    ptrue p0.s
  74 ; CHECK-NEXT:    cmpeq p0.s, p0/z, z1.s, z2.s
  75 ; CHECK-NEXT:    mov z0.s, p0/m, w0
  76 ; CHECK-NEXT:    ret
  77 entry:
  78   %d = insertelement <vscale x 4 x i32> %vec, i32 %elt, i64 %idx
  79   ret <vscale x 4 x i32> %d
  80 }
  81
  82 define <vscale x 8 x i16> @insert_vscale_8_i16_zero(<vscale x 8 x i16> %vec, i16 %elt) {
  83 ; CHECK-LABEL: insert_vscale_8_i16_zero:
  84 ; CHECK:       // %bb.0: // %entry
  85 ; CHECK-NEXT:    ptrue p0.h, vl1
  86 ; CHECK-NEXT:    mov z0.h, p0/m, w0
  87 ; CHECK-NEXT:    ret
  88 entry:
  89   %d = insertelement <vscale x 8 x i16> %vec, i16 %elt, i64 0
  90   ret <vscale x 8 x i16> %d
  91 }
  92
  93 define <vscale x 8 x i16> @insert_vscale_8_i16(<vscale x 8 x i16> %vec, i16 %elt, i64 %idx) {
  94 ; CHECK-LABEL: insert_vscale_8_i16:
  95 ; CHECK:       // %bb.0: // %entry
  96 ; CHECK-NEXT:    index z1.h, #0, #1
  97 ; CHECK-NEXT:    mov z2.h, w1
  98 ; CHECK-NEXT:    ptrue p0.h
  99 ; CHECK-NEXT:    cmpeq p0.h, p0/z, z1.h, z2.h
 100 ; CHECK-NEXT:    mov z0.h, p0/m, w0
 101 ; CHECK-NEXT:    ret
 102 entry:
 103   %d = insertelement <vscale x 8 x i16> %vec, i16 %elt, i64 %idx
 104   ret <vscale x 8 x i16> %d
 105 }
 106
 107 define <vscale x 16 x i8> @insert_vscale_16_i8_zero(<vscale x 16 x i8> %vec, i8 %elt) {
 108 ; CHECK-LABEL: insert_vscale_16_i8_zero:
 109 ; CHECK:       // %bb.0: // %entry
 110 ; CHECK-NEXT:    ptrue p0.b, vl1
 111 ; CHECK-NEXT:    mov z0.b, p0/m, w0
 112 ; CHECK-NEXT:    ret
 113 entry:
 114   %d = insertelement <vscale x 16 x i8> %vec, i8 %elt, i64 0
 115   ret <vscale x 16 x i8> %d
 116 }
 117
 118 define <vscale x 16 x i8> @insert_vscale_16_i8(<vscale x 16 x i8> %vec, i8 %elt, i64 %idx) {
 119 ; CHECK-LABEL: insert_vscale_16_i8:
 120 ; CHECK:       // %bb.0: // %entry
 121 ; CHECK-NEXT:    index z1.b, #0, #1
 122 ; CHECK-NEXT:    mov z2.b, w1
 123 ; CHECK-NEXT:    ptrue p0.b
 124 ; CHECK-NEXT:    cmpeq p0.b, p0/z, z1.b, z2.b
 125 ; CHECK-NEXT:    mov z0.b, p0/m, w0
 126 ; CHECK-NEXT:    ret
 127 entry:
 128   %d = insertelement <vscale x 16 x i8> %vec, i8 %elt, i64 %idx
 129   ret <vscale x 16 x i8> %d
 130 }
 131
 132 define i64 @extract_vscale_2_i64(<vscale x 2 x i64> %vec, i64 %idx) {
 133 ; CHECK-SD-LABEL: extract_vscale_2_i64:
 134 ; CHECK-SD:       // %bb.0: // %entry
 135 ; CHECK-SD-NEXT:    whilels p0.d, xzr, x0
 136 ; CHECK-SD-NEXT:    lastb x0, p0, z0.d
 137 ; CHECK-SD-NEXT:    ret
 138 ;
 139 ; CHECK-GI-LABEL: extract_vscale_2_i64:
 140 ; CHECK-GI:       // %bb.0: // %entry
 141 ; CHECK-GI-NEXT:    whilels p0.d, xzr, x0
 142 ; CHECK-GI-NEXT:    lastb d0, p0, z0.d
 143 ; CHECK-GI-NEXT:    fmov x0, d0
 144 ; CHECK-GI-NEXT:    ret
 145 entry:
 146   %d = extractelement <vscale x 2 x i64> %vec, i64 %idx
 147   ret i64 %d
 148 }
 149
 150 define i64 @extract_vscale_2_i64_zero(<vscale x 2 x i64> %vec, i64 %idx) {
 151 ; CHECK-LABEL: extract_vscale_2_i64_zero:
 152 ; CHECK:       // %bb.0: // %entry
 153 ; CHECK-NEXT:    fmov x0, d0
 154 ; CHECK-NEXT:    ret
 155 entry:
 156   %d = extractelement <vscale x 2 x i64> %vec, i64 0
 157   ret i64 %d
 158 }
 159
 160 define i32 @extract_vscale_4_i32(<vscale x 4 x i32> %vec, i64 %idx) {
 161 ; CHECK-SD-LABEL: extract_vscale_4_i32:
 162 ; CHECK-SD:       // %bb.0: // %entry
 163 ; CHECK-SD-NEXT:    whilels p0.s, xzr, x0
 164 ; CHECK-SD-NEXT:    lastb w0, p0, z0.s
 165 ; CHECK-SD-NEXT:    ret
 166 ;
 167 ; CHECK-GI-LABEL: extract_vscale_4_i32:
 168 ; CHECK-GI:       // %bb.0: // %entry
 169 ; CHECK-GI-NEXT:    whilels p0.s, xzr, x0
 170 ; CHECK-GI-NEXT:    lastb s0, p0, z0.s
 171 ; CHECK-GI-NEXT:    fmov w0, s0
 172 ; CHECK-GI-NEXT:    ret
 173 entry:
 174   %d = extractelement <vscale x 4 x i32> %vec, i64 %idx
 175   ret i32 %d
 176 }
 177
 178 define i32 @extract_vscale_4_i32_zero(<vscale x 4 x i32> %vec, i64 %idx) {
 179 ; CHECK-LABEL: extract_vscale_4_i32_zero:
 180 ; CHECK:       // %bb.0: // %entry
 181 ; CHECK-NEXT:    fmov w0, s0
 182 ; CHECK-NEXT:    ret
 183 entry:
 184   %d = extractelement <vscale x 4 x i32> %vec, i64 0
 185   ret i32 %d
 186 }
 187
 188 define i16 @extract_vscale_8_i16(<vscale x 8 x i16> %vec, i64 %idx) {
 189 ; CHECK-SD-LABEL: extract_vscale_8_i16:
 190 ; CHECK-SD:       // %bb.0: // %entry
 191 ; CHECK-SD-NEXT:    whilels p0.h, xzr, x0
 192 ; CHECK-SD-NEXT:    lastb w0, p0, z0.h
 193 ; CHECK-SD-NEXT:    ret
 194 ;
 195 ; CHECK-GI-LABEL: extract_vscale_8_i16:
 196 ; CHECK-GI:       // %bb.0: // %entry
 197 ; CHECK-GI-NEXT:    whilels p0.h, xzr, x0
 198 ; CHECK-GI-NEXT:    lastb h0, p0, z0.h
 199 ; CHECK-GI-NEXT:    fmov w0, s0
 200 ; CHECK-GI-NEXT:    ret
 201 entry:
 202   %d = extractelement <vscale x 8 x i16> %vec, i64 %idx
 203   ret i16 %d
 204 }
 205
 206 define i16 @extract_vscale_8_i16_zero(<vscale x 8 x i16> %vec, i64 %idx) {
 207 ; CHECK-LABEL: extract_vscale_8_i16_zero:
 208 ; CHECK:       // %bb.0: // %entry
 209 ; CHECK-NEXT:    fmov w0, s0
 210 ; CHECK-NEXT:    ret
 211 entry:
 212   %d = extractelement <vscale x 8 x i16> %vec, i64 0
 213   ret i16 %d
 214 }
 215
 216 define i8 @extract_vscale_16_i8(<vscale x 16 x i8> %vec, i64 %idx) {
 217 ; CHECK-LABEL: extract_vscale_16_i8:
 218 ; CHECK:       // %bb.0: // %entry
 219 ; CHECK-NEXT:    whilels p0.b, xzr, x0
 220 ; CHECK-NEXT:    lastb w0, p0, z0.b
 221 ; CHECK-NEXT:    ret
 222 entry:
 223   %d = extractelement <vscale x 16 x i8> %vec, i64 %idx
 224   ret i8 %d
 225 }
 226
 227 define i8 @extract_vscale_16_i8_zero(<vscale x 16 x i8> %vec, i64 %idx) {
 228 ; CHECK-LABEL: extract_vscale_16_i8_zero:
 229 ; CHECK:       // %bb.0: // %entry
 230 ; CHECK-NEXT:    fmov w0, s0
 231 ; CHECK-NEXT:    ret
 232 entry:
 233   %d = extractelement <vscale x 16 x i8> %vec, i64 0
 234   ret i8 %d
 235 }