llvm/test/CodeGen/AArch64/sve-intrinsics-create-tuple.ll

   1 ; RUN: llc -mtriple aarch64 -mattr=+sve -asm-verbose=1 < %s | FileCheck %s
   2
   3 ;
   4 ; SVCREATE2 (i8)
   5 ;
   6
   7 define <vscale x 16 x i8> @test_svcreate2_s8_vec0(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1) local_unnamed_addr #0 {
   8 ; CHECK-LABEL: test_svcreate2_s8_vec0:
   9 ; CHECK: // %L2
  10 ; CHECK-NEXT: ret
  11   %tuple = tail call <vscale x 32 x i8> @llvm.aarch64.sve.tuple.create2.nxv32i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1)
  12   br i1 %p, label %L1, label %L2
  13 L1:
  14   ret <vscale x 16 x i8> undef
  15 L2:
  16   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv32i8(<vscale x 32 x i8> %tuple, i32 0)
  17   ret <vscale x 16 x i8> %extract
  18 }
  19
  20 define <vscale x 16 x i8> @test_svcreate2_s8_vec1(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1) local_unnamed_addr #0 {
  21 ; CHECK-LABEL: test_svcreate2_s8_vec1:
  22 ; CHECK: // %L2
  23 ; CHECK-NEXT: mov z0.d, z1.d
  24 ; CHECK-NEXT: ret
  25   %tuple = tail call <vscale x 32 x i8> @llvm.aarch64.sve.tuple.create2.nxv32i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1)
  26   br i1 %p, label %L1, label %L2
  27 L1:
  28   ret <vscale x 16 x i8> undef
  29 L2:
  30   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv32i8(<vscale x 32 x i8> %tuple, i32 1)
  31   ret <vscale x 16 x i8> %extract
  32 }
  33
  34 ;
  35 ; SVCREATE2 (i16)
  36 ;
  37
  38 define <vscale x 8 x i16> @test_svcreate2_s16_vec0(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1) local_unnamed_addr #0 {
  39 ; CHECK-LABEL: test_svcreate2_s16_vec0:
  40 ; CHECK: // %L2
  41 ; CHECK-NEXT: ret
  42   %tuple = tail call <vscale x 16 x i16> @llvm.aarch64.sve.tuple.create2.nxv16i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1)
  43   br i1 %p, label %L1, label %L2
  44 L1:
  45   ret <vscale x 8 x i16> undef
  46 L2:
  47   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv16i16(<vscale x 16 x i16> %tuple, i32 0)
  48   ret <vscale x 8 x i16> %extract
  49 }
  50
  51 define <vscale x 8 x i16> @test_svcreate2_s16_vec1(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1) local_unnamed_addr #0 {
  52 ; CHECK-LABEL: test_svcreate2_s16_vec1:
  53 ; CHECK: // %L2
  54 ; CHECK-NEXT: mov z0.d, z1.d
  55 ; CHECK-NEXT: ret
  56   %tuple = tail call <vscale x 16 x i16> @llvm.aarch64.sve.tuple.create2.nxv16i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1)
  57   br i1 %p, label %L1, label %L2
  58 L1:
  59   ret <vscale x 8 x i16> undef
  60 L2:
  61   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv16i16(<vscale x 16 x i16> %tuple, i32 1)
  62   ret <vscale x 8 x i16> %extract
  63 }
  64
  65 ;
  66 ; SVCREATE2 (half)
  67 ;
  68
  69 define <vscale x 8 x half> @test_svcreate2_f16_vec0(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1) local_unnamed_addr #0 {
  70 ; CHECK-LABEL: test_svcreate2_f16_vec0:
  71 ; CHECK: // %L2
  72 ; CHECK-NEXT: ret
  73   %tuple = tail call <vscale x 16 x half> @llvm.aarch64.sve.tuple.create2.nxv16f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1)
  74   br i1 %p, label %L1, label %L2
  75 L1:
  76   ret <vscale x 8 x half> undef
  77 L2:
  78   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv16f16(<vscale x 16 x half> %tuple, i32 0)
  79   ret <vscale x 8 x half> %extract
  80 }
  81
  82 define <vscale x 8 x half> @test_svcreate2_f16_vec1(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1) local_unnamed_addr #0 {
  83 ; CHECK-LABEL: test_svcreate2_f16_vec1:
  84 ; CHECK: // %L2
  85 ; CHECK-NEXT: mov z0.d, z1.d
  86 ; CHECK-NEXT: ret
  87   %tuple = tail call <vscale x 16 x half> @llvm.aarch64.sve.tuple.create2.nxv16f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1)
  88   br i1 %p, label %L1, label %L2
  89 L1:
  90   ret <vscale x 8 x half> undef
  91 L2:
  92   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv16f16(<vscale x 16 x half> %tuple, i32 1)
  93   ret <vscale x 8 x half> %extract
  94 }
  95
  96 ;
  97 ; SVCREATE2 (bfloat)
  98 ;
  99
 100 define <vscale x 8 x bfloat> @test_svcreate2_bf16_vec0(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1) local_unnamed_addr #1 {
 101 ; CHECK-LABEL: test_svcreate2_bf16_vec0:
 102 ; CHECK: // %L2
 103 ; CHECK-NEXT: ret
 104   %tuple = tail call <vscale x 16 x bfloat> @llvm.aarch64.sve.tuple.create2.nxv16bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1)
 105   br i1 %p, label %L1, label %L2
 106 L1:
 107   ret <vscale x 8 x bfloat> undef
 108 L2:
 109   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv16bf16(<vscale x 16 x bfloat> %tuple, i32 0)
 110   ret <vscale x 8 x bfloat> %extract
 111 }
 112
 113 define <vscale x 8 x bfloat> @test_svcreate2_bf16_vec1(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1) local_unnamed_addr #1 {
 114 ; CHECK-LABEL: test_svcreate2_bf16_vec1:
 115 ; CHECK: // %L2
 116 ; CHECK-NEXT: mov z0.d, z1.d
 117 ; CHECK-NEXT: ret
 118   %tuple = tail call <vscale x 16 x bfloat> @llvm.aarch64.sve.tuple.create2.nxv16bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1)
 119   br i1 %p, label %L1, label %L2
 120 L1:
 121   ret <vscale x 8 x bfloat> undef
 122 L2:
 123   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv16bf16(<vscale x 16 x bfloat> %tuple, i32 1)
 124   ret <vscale x 8 x bfloat> %extract
 125 }
 126
 127 ;
 128 ; SVCREATE2 (i32)
 129 ;
 130
 131 define <vscale x 4 x i32> @test_svcreate2_s32_vec0(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1) local_unnamed_addr #0 {
 132 ; CHECK-LABEL: test_svcreate2_s32_vec0:
 133 ; CHECK: // %L2
 134 ; CHECK-NEXT: ret
 135   %tuple = tail call <vscale x 8 x i32> @llvm.aarch64.sve.tuple.create2.nxv8i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1)
 136   br i1 %p, label %L1, label %L2
 137 L1:
 138   ret <vscale x 4 x i32> undef
 139 L2:
 140   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv8i32(<vscale x 8 x i32> %tuple, i32 0)
 141   ret <vscale x 4 x i32> %extract
 142 }
 143
 144 define <vscale x 4 x i32> @test_svcreate2_s32_vec1(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1) local_unnamed_addr #0 {
 145 ; CHECK-LABEL: test_svcreate2_s32_vec1:
 146 ; CHECK: // %L2
 147 ; CHECK-NEXT: mov z0.d, z1.d
 148 ; CHECK-NEXT: ret
 149   %tuple = tail call <vscale x 8 x i32> @llvm.aarch64.sve.tuple.create2.nxv8i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1)
 150   br i1 %p, label %L1, label %L2
 151 L1:
 152   ret <vscale x 4 x i32> undef
 153 L2:
 154   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv8i32(<vscale x 8 x i32> %tuple, i32 1)
 155   ret <vscale x 4 x i32> %extract
 156 }
 157
 158 ;
 159 ; SVCREATE2 (float)
 160 ;
 161
 162 define <vscale x 4 x float> @test_svcreate2_f32_vec0(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1) local_unnamed_addr #0 {
 163 ; CHECK-LABEL: test_svcreate2_f32_vec0:
 164 ; CHECK: // %L2
 165 ; CHECK-NEXT: ret
 166   %tuple = tail call <vscale x 8 x float> @llvm.aarch64.sve.tuple.create2.nxv8f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1)
 167   br i1 %p, label %L1, label %L2
 168 L1:
 169   ret <vscale x 4 x float> undef
 170 L2:
 171   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv8f32(<vscale x 8 x float> %tuple, i32 0)
 172   ret <vscale x 4 x float> %extract
 173 }
 174
 175 define <vscale x 4 x float> @test_svcreate2_f32_vec1(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1) local_unnamed_addr #0 {
 176 ; CHECK-LABEL: test_svcreate2_f32_vec1:
 177 ; CHECK: // %L2
 178 ; CHECK-NEXT: mov z0.d, z1.d
 179 ; CHECK-NEXT: ret
 180   %tuple = tail call <vscale x 8 x float> @llvm.aarch64.sve.tuple.create2.nxv8f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1)
 181   br i1 %p, label %L1, label %L2
 182 L1:
 183   ret <vscale x 4 x float> undef
 184 L2:
 185   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv8f32(<vscale x 8 x float> %tuple, i32 1)
 186   ret <vscale x 4 x float> %extract
 187 }
 188
 189 ;
 190 ; SVCREATE2 (i64)
 191 ;
 192
 193 define <vscale x 2 x i64> @test_svcreate2_s64_vec0(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1) local_unnamed_addr #0 {
 194 ; CHECK-LABEL: test_svcreate2_s64_vec0:
 195 ; CHECK: // %L2
 196 ; CHECK-NEXT: ret
 197   %tuple = tail call <vscale x 4 x i64> @llvm.aarch64.sve.tuple.create2.nxv4i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1)
 198   br i1 %p, label %L1, label %L2
 199 L1:
 200   ret <vscale x 2 x i64> undef
 201 L2:
 202   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv4i64(<vscale x 4 x i64> %tuple, i32 0)
 203   ret <vscale x 2 x i64> %extract
 204 }
 205
 206 define <vscale x 2 x i64> @test_svcreate2_s64_vec1(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1) local_unnamed_addr #0 {
 207 ; CHECK-LABEL: test_svcreate2_s64_vec1:
 208 ; CHECK: // %L2
 209 ; CHECK-NEXT: mov z0.d, z1.d
 210 ; CHECK-NEXT: ret
 211   %tuple = tail call <vscale x 4 x i64> @llvm.aarch64.sve.tuple.create2.nxv4i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1)
 212   br i1 %p, label %L1, label %L2
 213 L1:
 214   ret <vscale x 2 x i64> undef
 215 L2:
 216   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv4i64(<vscale x 4 x i64> %tuple, i32 1)
 217   ret <vscale x 2 x i64> %extract
 218 }
 219
 220 ;
 221 ; SVCREATE2 (double)
 222 ;
 223
 224 define <vscale x 2 x double> @test_svcreate2_f64_vec0(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1) local_unnamed_addr #0 {
 225 ; CHECK-LABEL: test_svcreate2_f64_vec0:
 226 ; CHECK: // %L2
 227 ; CHECK-NEXT: ret
 228   %tuple = tail call <vscale x 4 x double> @llvm.aarch64.sve.tuple.create2.nxv4f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1)
 229   br i1 %p, label %L1, label %L2
 230 L1:
 231   ret <vscale x 2 x double> undef
 232 L2:
 233   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv4f64(<vscale x 4 x double> %tuple, i32 0)
 234   ret <vscale x 2 x double> %extract
 235 }
 236
 237 define <vscale x 2 x double> @test_svcreate2_f64_vec1(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1) local_unnamed_addr #0 {
 238 ; CHECK-LABEL: test_svcreate2_f64_vec1:
 239 ; CHECK: // %L2
 240 ; CHECK-NEXT: mov z0.d, z1.d
 241 ; CHECK-NEXT: ret
 242   %tuple = tail call <vscale x 4 x double> @llvm.aarch64.sve.tuple.create2.nxv4f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1)
 243   br i1 %p, label %L1, label %L2
 244 L1:
 245   ret <vscale x 2 x double> undef
 246 L2:
 247   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv4f64(<vscale x 4 x double> %tuple, i32 1)
 248   ret <vscale x 2 x double> %extract
 249 }
 250
 251 ;
 252 ; SVCREATE3 (i8)
 253 ;
 254
 255 define <vscale x 16 x i8> @test_svcreate3_s8_vec0(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2) local_unnamed_addr #0 {
 256 ; CHECK-LABEL: test_svcreate3_s8_vec0:
 257 ; CHECK: // %L2
 258 ; CHECK-NEXT: ret
 259   %tuple = tail call <vscale x 48 x i8> @llvm.aarch64.sve.tuple.create3.nxv48i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2)
 260   br i1 %p, label %L1, label %L2
 261 L1:
 262   ret <vscale x 16 x i8> undef
 263 L2:
 264   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv48i8(<vscale x 48 x i8> %tuple, i32 0)
 265   ret <vscale x 16 x i8> %extract
 266 }
 267
 268 define <vscale x 16 x i8> @test_svcreate3_s8_vec2(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2) local_unnamed_addr #0 {
 269 ; CHECK-LABEL: test_svcreate3_s8_vec2:
 270 ; CHECK: // %L2
 271 ; CHECK-NEXT: mov z0.d, z2.d
 272 ; CHECK-NEXT: ret
 273   %tuple = tail call <vscale x 48 x i8> @llvm.aarch64.sve.tuple.create3.nxv48i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2)
 274   br i1 %p, label %L1, label %L2
 275 L1:
 276   ret <vscale x 16 x i8> undef
 277 L2:
 278   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv48i8(<vscale x 48 x i8> %tuple, i32 2)
 279   ret <vscale x 16 x i8> %extract
 280 }
 281
 282 ;
 283 ; SVCREATE3 (i16)
 284 ;
 285
 286 define <vscale x 8 x i16> @test_svcreate3_s16_vec0(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2) local_unnamed_addr #0 {
 287 ; CHECK-LABEL: test_svcreate3_s16_vec0:
 288 ; CHECK: // %L2
 289 ; CHECK-NEXT: ret
 290   %tuple = tail call <vscale x 24 x i16> @llvm.aarch64.sve.tuple.create3.nxv24i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2)
 291   br i1 %p, label %L1, label %L2
 292 L1:
 293   ret <vscale x 8 x i16> undef
 294 L2:
 295   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv24i16(<vscale x 24 x i16> %tuple, i32 0)
 296   ret <vscale x 8 x i16> %extract
 297 }
 298
 299 define <vscale x 8 x i16> @test_svcreate3_s16_vec2(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2) local_unnamed_addr #0 {
 300 ; CHECK-LABEL: test_svcreate3_s16_vec2:
 301 ; CHECK: // %L2
 302 ; CHECK-NEXT: mov z0.d, z2.d
 303 ; CHECK-NEXT: ret
 304   %tuple = tail call <vscale x 24 x i16> @llvm.aarch64.sve.tuple.create3.nxv24i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2)
 305   br i1 %p, label %L1, label %L2
 306 L1:
 307   ret <vscale x 8 x i16> undef
 308 L2:
 309   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv24i16(<vscale x 24 x i16> %tuple, i32 2)
 310   ret <vscale x 8 x i16> %extract
 311 }
 312
 313 ;
 314 ; SVCREATE3 (half)
 315 ;
 316
 317 define <vscale x 8 x half> @test_svcreate3_f16_vec0(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2) local_unnamed_addr #0 {
 318 ; CHECK-LABEL: test_svcreate3_f16_vec0:
 319 ; CHECK: // %L2
 320 ; CHECK-NEXT: ret
 321   %tuple = tail call <vscale x 24 x half> @llvm.aarch64.sve.tuple.create3.nxv24f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2)
 322   br i1 %p, label %L1, label %L2
 323 L1:
 324   ret <vscale x 8 x half> undef
 325 L2:
 326   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv24f16(<vscale x 24 x half> %tuple, i32 0)
 327   ret <vscale x 8 x half> %extract
 328 }
 329
 330 define <vscale x 8 x half> @test_svcreate3_f16_vec2(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2) local_unnamed_addr #0 {
 331 ; CHECK-LABEL: test_svcreate3_f16_vec2:
 332 ; CHECK: // %L2
 333 ; CHECK-NEXT: mov z0.d, z2.d
 334 ; CHECK-NEXT: ret
 335   %tuple = tail call <vscale x 24 x half> @llvm.aarch64.sve.tuple.create3.nxv24f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2)
 336   br i1 %p, label %L1, label %L2
 337 L1:
 338   ret <vscale x 8 x half> undef
 339 L2:
 340   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv24f16(<vscale x 24 x half> %tuple, i32 2)
 341   ret <vscale x 8 x half> %extract
 342 }
 343
 344 ;
 345 ; SVCREATE3 (bfloat)
 346 ;
 347
 348 define <vscale x 8 x bfloat> @test_svcreate3_bf16_vec0(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2) local_unnamed_addr #1 {
 349 ; CHECK-LABEL: test_svcreate3_bf16_vec0:
 350 ; CHECK: // %L2
 351 ; CHECK-NEXT: ret
 352   %tuple = tail call <vscale x 24 x bfloat> @llvm.aarch64.sve.tuple.create3.nxv24bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2)
 353   br i1 %p, label %L1, label %L2
 354 L1:
 355   ret <vscale x 8 x bfloat> undef
 356 L2:
 357   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv24bf16(<vscale x 24 x bfloat> %tuple, i32 0)
 358   ret <vscale x 8 x bfloat> %extract
 359 }
 360
 361 define <vscale x 8 x bfloat> @test_svcreate3_bf16_vec2(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2) local_unnamed_addr #1 {
 362 ; CHECK-LABEL: test_svcreate3_bf16_vec2:
 363 ; CHECK: // %L2
 364 ; CHECK-NEXT: mov z0.d, z2.d
 365 ; CHECK-NEXT: ret
 366   %tuple = tail call <vscale x 24 x bfloat> @llvm.aarch64.sve.tuple.create3.nxv24bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2)
 367   br i1 %p, label %L1, label %L2
 368 L1:
 369   ret <vscale x 8 x bfloat> undef
 370 L2:
 371   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv24bf16(<vscale x 24 x bfloat> %tuple, i32 2)
 372   ret <vscale x 8 x bfloat> %extract
 373 }
 374
 375 ;
 376 ; SVCREATE3 (i32)
 377 ;
 378
 379 define <vscale x 4 x i32> @test_svcreate3_s32_vec0(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2) local_unnamed_addr #0 {
 380 ; CHECK-LABEL: test_svcreate3_s32_vec0:
 381 ; CHECK: // %L2
 382 ; CHECK-NEXT: ret
 383   %tuple = tail call <vscale x 12 x i32> @llvm.aarch64.sve.tuple.create3.nxv12i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2)
 384   br i1 %p, label %L1, label %L2
 385 L1:
 386   ret <vscale x 4 x i32> undef
 387 L2:
 388   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv12i32(<vscale x 12 x i32> %tuple, i32 0)
 389   ret <vscale x 4 x i32> %extract
 390 }
 391
 392 define <vscale x 4 x i32> @test_svcreate3_s32_vec2(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2) local_unnamed_addr #0 {
 393 ; CHECK-LABEL: test_svcreate3_s32_vec2:
 394 ; CHECK: // %L2
 395 ; CHECK-NEXT: mov z0.d, z2.d
 396 ; CHECK-NEXT: ret
 397   %tuple = tail call <vscale x 12 x i32> @llvm.aarch64.sve.tuple.create3.nxv12i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2)
 398   br i1 %p, label %L1, label %L2
 399 L1:
 400   ret <vscale x 4 x i32> undef
 401 L2:
 402   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv12i32(<vscale x 12 x i32> %tuple, i32 2)
 403   ret <vscale x 4 x i32> %extract
 404 }
 405
 406 ;
 407 ; SVCREATE3 (float)
 408 ;
 409
 410 define <vscale x 4 x float> @test_svcreate3_f32_vec0(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2) local_unnamed_addr #0 {
 411 ; CHECK-LABEL: test_svcreate3_f32_vec0:
 412 ; CHECK: // %L2
 413 ; CHECK-NEXT: ret
 414   %tuple = tail call <vscale x 12 x float> @llvm.aarch64.sve.tuple.create3.nxv12f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2)
 415   br i1 %p, label %L1, label %L2
 416 L1:
 417   ret <vscale x 4 x float> undef
 418 L2:
 419   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv12f32(<vscale x 12 x float> %tuple, i32 0)
 420   ret <vscale x 4 x float> %extract
 421 }
 422
 423 define <vscale x 4 x float> @test_svcreate3_f32_vec2(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2) local_unnamed_addr #0 {
 424 ; CHECK-LABEL: test_svcreate3_f32_vec2:
 425 ; CHECK: // %L2
 426 ; CHECK-NEXT: mov z0.d, z2.d
 427 ; CHECK-NEXT: ret
 428   %tuple = tail call <vscale x 12 x float> @llvm.aarch64.sve.tuple.create3.nxv12f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2)
 429   br i1 %p, label %L1, label %L2
 430 L1:
 431   ret <vscale x 4 x float> undef
 432 L2:
 433   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv12f32(<vscale x 12 x float> %tuple, i32 2)
 434   ret <vscale x 4 x float> %extract
 435 }
 436
 437 ;
 438 ; SVCREATE3 (i64)
 439 ;
 440
 441 define <vscale x 2 x i64> @test_svcreate3_s64_vec0(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2) local_unnamed_addr #0 {
 442 ; CHECK-LABEL: test_svcreate3_s64_vec0:
 443 ; CHECK: // %L2
 444 ; CHECK-NEXT: ret
 445   %tuple = tail call <vscale x 6 x i64> @llvm.aarch64.sve.tuple.create3.nxv6i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2)
 446   br i1 %p, label %L1, label %L2
 447 L1:
 448   ret <vscale x 2 x i64> undef
 449 L2:
 450   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv6i64(<vscale x 6 x i64> %tuple, i32 0)
 451   ret <vscale x 2 x i64> %extract
 452 }
 453
 454 define <vscale x 2 x i64> @test_svcreate3_s64_vec2(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2) local_unnamed_addr #0 {
 455 ; CHECK-LABEL: test_svcreate3_s64_vec2:
 456 ; CHECK: // %L2
 457 ; CHECK-NEXT: mov z0.d, z2.d
 458 ; CHECK-NEXT: ret
 459   %tuple = tail call <vscale x 6 x i64> @llvm.aarch64.sve.tuple.create3.nxv6i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2)
 460   br i1 %p, label %L1, label %L2
 461 L1:
 462   ret <vscale x 2 x i64> undef
 463 L2:
 464   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv6i64(<vscale x 6 x i64> %tuple, i32 2)
 465   ret <vscale x 2 x i64> %extract
 466 }
 467
 468 ;
 469 ; SVCREATE3 (double)
 470 ;
 471
 472 define <vscale x 2 x double> @test_svcreate3_f64_vec0(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2) local_unnamed_addr #0 {
 473 ; CHECK-LABEL: test_svcreate3_f64_vec0:
 474 ; CHECK: // %L2
 475 ; CHECK-NEXT: ret
 476   %tuple = tail call <vscale x 6 x double> @llvm.aarch64.sve.tuple.create3.nxv6f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2)
 477   br i1 %p, label %L1, label %L2
 478 L1:
 479   ret <vscale x 2 x double> undef
 480 L2:
 481   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv6f64(<vscale x 6 x double> %tuple, i32 0)
 482   ret <vscale x 2 x double> %extract
 483 }
 484
 485 define <vscale x 2 x double> @test_svcreate3_f64_vec2(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2) local_unnamed_addr #0 {
 486 ; CHECK-LABEL: test_svcreate3_f64_vec2:
 487 ; CHECK: // %L2
 488 ; CHECK-NEXT: mov z0.d, z2.d
 489 ; CHECK-NEXT: ret
 490   %tuple = tail call <vscale x 6 x double> @llvm.aarch64.sve.tuple.create3.nxv6f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2)
 491   br i1 %p, label %L1, label %L2
 492 L1:
 493   ret <vscale x 2 x double> undef
 494 L2:
 495   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv6f64(<vscale x 6 x double> %tuple, i32 2)
 496   ret <vscale x 2 x double> %extract
 497 }
 498
 499 ;
 500 ; SVCREATE4 (i8)
 501 ;
 502
 503 define <vscale x 16 x i8> @test_svcreate4_s8_vec0(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2, <vscale x 16 x i8> %z3) local_unnamed_addr #0 {
 504 ; CHECK-LABEL: test_svcreate4_s8_vec0:
 505 ; CHECK: // %L2
 506 ; CHECK-NEXT: ret
 507   %tuple = tail call <vscale x 64 x i8> @llvm.aarch64.sve.tuple.create4.nxv64i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2, <vscale x 16 x i8> %z3)
 508   br i1 %p, label %L1, label %L2
 509 L1:
 510   ret <vscale x 16 x i8> undef
 511 L2:
 512   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv64i8(<vscale x 64 x i8> %tuple, i32 0)
 513   ret <vscale x 16 x i8> %extract
 514 }
 515
 516 define <vscale x 16 x i8> @test_svcreate4_s8_vec3(i1 %p, <vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2, <vscale x 16 x i8> %z3) local_unnamed_addr #0 {
 517 ; CHECK-LABEL: test_svcreate4_s8_vec3:
 518 ; CHECK: // %L2
 519 ; CHECK-NEXT: mov z0.d, z3.d
 520 ; CHECK-NEXT: ret
 521   %tuple = tail call <vscale x 64 x i8> @llvm.aarch64.sve.tuple.create4.nxv64i8.nxv16i8(<vscale x 16 x i8> %z0, <vscale x 16 x i8> %z1, <vscale x 16 x i8> %z2, <vscale x 16 x i8> %z3)
 522   br i1 %p, label %L1, label %L2
 523 L1:
 524   ret <vscale x 16 x i8> undef
 525 L2:
 526   %extract = tail call <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv64i8(<vscale x 64 x i8> %tuple, i32 3)
 527   ret <vscale x 16 x i8> %extract
 528 }
 529
 530 ;
 531 ; SVCREATE4 (i16)
 532 ;
 533
 534 define <vscale x 8 x i16> @test_svcreate4_s16_vec0(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2, <vscale x 8 x i16> %z3) local_unnamed_addr #0 {
 535 ; CHECK-LABEL: test_svcreate4_s16_vec0:
 536 ; CHECK: // %L2
 537 ; CHECK-NEXT: ret
 538   %tuple = tail call <vscale x 32 x i16> @llvm.aarch64.sve.tuple.create4.nxv32i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2, <vscale x 8 x i16> %z3)
 539   br i1 %p, label %L1, label %L2
 540 L1:
 541   ret <vscale x 8 x i16> undef
 542 L2:
 543   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv32i16(<vscale x 32 x i16> %tuple, i32 0)
 544   ret <vscale x 8 x i16> %extract
 545 }
 546
 547 define <vscale x 8 x i16> @test_svcreate4_s16_vec3(i1 %p, <vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2, <vscale x 8 x i16> %z3) local_unnamed_addr #0 {
 548 ; CHECK-LABEL: test_svcreate4_s16_vec3:
 549 ; CHECK: // %L2
 550 ; CHECK-NEXT: mov z0.d, z3.d
 551 ; CHECK-NEXT: ret
 552   %tuple = tail call <vscale x 32 x i16> @llvm.aarch64.sve.tuple.create4.nxv32i16.nxv8i16(<vscale x 8 x i16> %z0, <vscale x 8 x i16> %z1, <vscale x 8 x i16> %z2, <vscale x 8 x i16> %z3)
 553   br i1 %p, label %L1, label %L2
 554 L1:
 555   ret <vscale x 8 x i16> undef
 556 L2:
 557   %extract = tail call <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv32i16(<vscale x 32 x i16> %tuple, i32 3)
 558   ret <vscale x 8 x i16> %extract
 559 }
 560
 561 ;
 562 ; SVCREATE4 (half)
 563 ;
 564
 565 define <vscale x 8 x half> @test_svcreate4_f16_vec0(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2, <vscale x 8 x half> %z3) local_unnamed_addr #0 {
 566 ; CHECK-LABEL: test_svcreate4_f16_vec0:
 567 ; CHECK: // %L2
 568 ; CHECK-NEXT: ret
 569   %tuple = tail call <vscale x 32 x half> @llvm.aarch64.sve.tuple.create4.nxv32f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2, <vscale x 8 x half> %z3)
 570   br i1 %p, label %L1, label %L2
 571 L1:
 572   ret <vscale x 8 x half> undef
 573 L2:
 574   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv32f16(<vscale x 32 x half> %tuple, i32 0)
 575   ret <vscale x 8 x half> %extract
 576 }
 577
 578 define <vscale x 8 x half> @test_svcreate4_f16_vec3(i1 %p, <vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2, <vscale x 8 x half> %z3) local_unnamed_addr #0 {
 579 ; CHECK-LABEL: test_svcreate4_f16_vec3:
 580 ; CHECK: // %L2
 581 ; CHECK-NEXT: mov z0.d, z3.d
 582 ; CHECK-NEXT: ret
 583   %tuple = tail call <vscale x 32 x half> @llvm.aarch64.sve.tuple.create4.nxv32f16.nxv8f16(<vscale x 8 x half> %z0, <vscale x 8 x half> %z1, <vscale x 8 x half> %z2, <vscale x 8 x half> %z3)
 584   br i1 %p, label %L1, label %L2
 585 L1:
 586   ret <vscale x 8 x half> undef
 587 L2:
 588   %extract = tail call <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv32f16(<vscale x 32 x half> %tuple, i32 3)
 589   ret <vscale x 8 x half> %extract
 590 }
 591
 592 ;
 593 ; SVCREATE4 (bfloat)
 594 ;
 595
 596 define <vscale x 8 x bfloat> @test_svcreate4_bf16_vec0(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2, <vscale x 8 x bfloat> %z3) local_unnamed_addr #1 {
 597 ; CHECK-LABEL: test_svcreate4_bf16_vec0:
 598 ; CHECK: // %L2
 599 ; CHECK-NEXT: ret
 600   %tuple = tail call <vscale x 32 x bfloat> @llvm.aarch64.sve.tuple.create4.nxv32bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2, <vscale x 8 x bfloat> %z3)
 601   br i1 %p, label %L1, label %L2
 602 L1:
 603   ret <vscale x 8 x bfloat> undef
 604 L2:
 605   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv32bf16(<vscale x 32 x bfloat> %tuple, i32 0)
 606   ret <vscale x 8 x bfloat> %extract
 607 }
 608
 609 define <vscale x 8 x bfloat> @test_svcreate4_bf16_vec3(i1 %p, <vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2, <vscale x 8 x bfloat> %z3) local_unnamed_addr #1 {
 610 ; CHECK-LABEL: test_svcreate4_bf16_vec3:
 611 ; CHECK: // %L2
 612 ; CHECK-NEXT: mov z0.d, z3.d
 613 ; CHECK-NEXT: ret
 614   %tuple = tail call <vscale x 32 x bfloat> @llvm.aarch64.sve.tuple.create4.nxv32bf16.nxv8bf16(<vscale x 8 x bfloat> %z0, <vscale x 8 x bfloat> %z1, <vscale x 8 x bfloat> %z2, <vscale x 8 x bfloat> %z3)
 615   br i1 %p, label %L1, label %L2
 616 L1:
 617   ret <vscale x 8 x bfloat> undef
 618 L2:
 619   %extract = tail call <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv32bf16(<vscale x 32 x bfloat> %tuple, i32 3)
 620   ret <vscale x 8 x bfloat> %extract
 621 }
 622
 623 ;
 624 ; SVCREATE4 (i32)
 625 ;
 626
 627 define <vscale x 4 x i32> @test_svcreate4_s32_vec0(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2, <vscale x 4 x i32> %z3) local_unnamed_addr #0 {
 628 ; CHECK-LABEL: test_svcreate4_s32_vec0:
 629 ; CHECK: // %L2
 630 ; CHECK-NEXT: ret
 631   %tuple = tail call <vscale x 16 x i32> @llvm.aarch64.sve.tuple.create4.nxv16i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2, <vscale x 4 x i32> %z3)
 632   br i1 %p, label %L1, label %L2
 633 L1:
 634   ret <vscale x 4 x i32> undef
 635 L2:
 636   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv16i32(<vscale x 16 x i32> %tuple, i32 0)
 637   ret <vscale x 4 x i32> %extract
 638 }
 639
 640 define <vscale x 4 x i32> @test_svcreate4_s32_vec3(i1 %p, <vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2, <vscale x 4 x i32> %z3) local_unnamed_addr #0 {
 641 ; CHECK-LABEL: test_svcreate4_s32_vec3:
 642 ; CHECK: // %L2
 643 ; CHECK-NEXT: mov z0.d, z3.d
 644 ; CHECK-NEXT: ret
 645   %tuple = tail call <vscale x 16 x i32> @llvm.aarch64.sve.tuple.create4.nxv16i32.nxv4i32(<vscale x 4 x i32> %z0, <vscale x 4 x i32> %z1, <vscale x 4 x i32> %z2, <vscale x 4 x i32> %z3)
 646   br i1 %p, label %L1, label %L2
 647 L1:
 648   ret <vscale x 4 x i32> undef
 649 L2:
 650   %extract = tail call <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv16i32(<vscale x 16 x i32> %tuple, i32 3)
 651   ret <vscale x 4 x i32> %extract
 652 }
 653
 654 ;
 655 ; SVCREATE4 (float)
 656 ;
 657
 658 define <vscale x 4 x float> @test_svcreate4_f32_vec0(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2, <vscale x 4 x float> %z3) local_unnamed_addr #0 {
 659 ; CHECK-LABEL: test_svcreate4_f32_vec0:
 660 ; CHECK: // %L2
 661 ; CHECK-NEXT: ret
 662   %tuple = tail call <vscale x 16 x float> @llvm.aarch64.sve.tuple.create4.nxv16f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2, <vscale x 4 x float> %z3)
 663   br i1 %p, label %L1, label %L2
 664 L1:
 665   ret <vscale x 4 x float> undef
 666 L2:
 667   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv16f32(<vscale x 16 x float> %tuple, i32 0)
 668   ret <vscale x 4 x float> %extract
 669 }
 670
 671 define <vscale x 4 x float> @test_svcreate4_f32_vec3(i1 %p, <vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2, <vscale x 4 x float> %z3) local_unnamed_addr #0 {
 672 ; CHECK-LABEL: test_svcreate4_f32_vec3:
 673 ; CHECK: // %L2
 674 ; CHECK-NEXT: mov z0.d, z3.d
 675 ; CHECK-NEXT: ret
 676   %tuple = tail call <vscale x 16 x float> @llvm.aarch64.sve.tuple.create4.nxv16f32.nxv4f32(<vscale x 4 x float> %z0, <vscale x 4 x float> %z1, <vscale x 4 x float> %z2, <vscale x 4 x float> %z3)
 677   br i1 %p, label %L1, label %L2
 678 L1:
 679   ret <vscale x 4 x float> undef
 680 L2:
 681   %extract = tail call <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv16f32(<vscale x 16 x float> %tuple, i32 3)
 682   ret <vscale x 4 x float> %extract
 683 }
 684
 685 ;
 686 ; SVCREATE4 (i64)
 687 ;
 688
 689 define <vscale x 2 x i64> @test_svcreate4_s64_vec0(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2, <vscale x 2 x i64> %z3) local_unnamed_addr #0 {
 690 ; CHECK-LABEL: test_svcreate4_s64_vec0:
 691 ; CHECK: // %L2
 692 ; CHECK-NEXT: ret
 693   %tuple = tail call <vscale x 8 x i64> @llvm.aarch64.sve.tuple.create4.nxv8i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2, <vscale x 2 x i64> %z3)
 694   br i1 %p, label %L1, label %L2
 695 L1:
 696   ret <vscale x 2 x i64> undef
 697 L2:
 698   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv8i64(<vscale x 8 x i64> %tuple, i32 0)
 699   ret <vscale x 2 x i64> %extract
 700 }
 701
 702 define <vscale x 2 x i64> @test_svcreate4_s64_vec3(i1 %p, <vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2, <vscale x 2 x i64> %z3) local_unnamed_addr #0 {
 703 ; CHECK-LABEL: test_svcreate4_s64_vec3:
 704 ; CHECK: // %L2
 705 ; CHECK-NEXT: mov z0.d, z3.d
 706 ; CHECK-NEXT: ret
 707   %tuple = tail call <vscale x 8 x i64> @llvm.aarch64.sve.tuple.create4.nxv8i64.nxv2i64(<vscale x 2 x i64> %z0, <vscale x 2 x i64> %z1, <vscale x 2 x i64> %z2, <vscale x 2 x i64> %z3)
 708   br i1 %p, label %L1, label %L2
 709 L1:
 710   ret <vscale x 2 x i64> undef
 711 L2:
 712   %extract = tail call <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv8i64(<vscale x 8 x i64> %tuple, i32 3)
 713   ret <vscale x 2 x i64> %extract
 714 }
 715
 716 ;
 717 ; SVCREATE4 (double)
 718 ;
 719
 720 define <vscale x 2 x double> @test_svcreate4_f64_vec0(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2, <vscale x 2 x double> %z3) local_unnamed_addr #0 {
 721 ; CHECK-LABEL: test_svcreate4_f64_vec0:
 722 ; CHECK: // %L2
 723 ; CHECK-NEXT: ret
 724   %tuple = tail call <vscale x 8 x double> @llvm.aarch64.sve.tuple.create4.nxv8f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2, <vscale x 2 x double> %z3)
 725   br i1 %p, label %L1, label %L2
 726 L1:
 727   ret <vscale x 2 x double> undef
 728 L2:
 729   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv8f64(<vscale x 8 x double> %tuple, i32 0)
 730   ret <vscale x 2 x double> %extract
 731 }
 732
 733 define <vscale x 2 x double> @test_svcreate4_f64_vec3(i1 %p, <vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2, <vscale x 2 x double> %z3) local_unnamed_addr #0 {
 734 ; CHECK-LABEL: test_svcreate4_f64_vec3:
 735 ; CHECK: // %L2
 736 ; CHECK-NEXT: mov z0.d, z3.d
 737 ; CHECK-NEXT: ret
 738   %tuple = tail call <vscale x 8 x double> @llvm.aarch64.sve.tuple.create4.nxv8f64.nxv2f64(<vscale x 2 x double> %z0, <vscale x 2 x double> %z1, <vscale x 2 x double> %z2, <vscale x 2 x double> %z3)
 739   br i1 %p, label %L1, label %L2
 740 L1:
 741   ret <vscale x 2 x double> undef
 742 L2:
 743   %extract = tail call <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv8f64(<vscale x 8 x double> %tuple, i32 3)
 744   ret <vscale x 2 x double> %extract
 745 }
 746
 747 attributes #0 = { nounwind "target-features"="+sve" }
 748 ; +bf16 is required for the bfloat version.
 749 attributes #1 = { nounwind "target-features"="+sve,+bf16" }
 750
 751 declare <vscale x 4 x double>  @llvm.aarch64.sve.tuple.create2.nxv4f64.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>)
 752 declare <vscale x 8 x float>  @llvm.aarch64.sve.tuple.create2.nxv8f32.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>)
 753 declare <vscale x 16 x half>  @llvm.aarch64.sve.tuple.create2.nxv16f16.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>)
 754 declare <vscale x 16 x bfloat>  @llvm.aarch64.sve.tuple.create2.nxv16bf16.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>)
 755 declare <vscale x 4 x i64>  @llvm.aarch64.sve.tuple.create2.nxv4i64.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>)
 756 declare <vscale x 8 x i32>  @llvm.aarch64.sve.tuple.create2.nxv8i32.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>)
 757 declare <vscale x 16 x i16> @llvm.aarch64.sve.tuple.create2.nxv16i16.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>)
 758 declare <vscale x 32 x i8>  @llvm.aarch64.sve.tuple.create2.nxv32i8.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>)
 759
 760 declare <vscale x 6 x double>  @llvm.aarch64.sve.tuple.create3.nxv6f64.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>)
 761 declare <vscale x 12 x float> @llvm.aarch64.sve.tuple.create3.nxv12f32.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>)
 762 declare <vscale x 24 x half> @llvm.aarch64.sve.tuple.create3.nxv24f16.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>)
 763 declare <vscale x 24 x bfloat> @llvm.aarch64.sve.tuple.create3.nxv24bf16.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>)
 764 declare <vscale x 6 x i64>  @llvm.aarch64.sve.tuple.create3.nxv6i64.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>)
 765 declare <vscale x 12 x i32> @llvm.aarch64.sve.tuple.create3.nxv12i32.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>)
 766 declare <vscale x 24 x i16> @llvm.aarch64.sve.tuple.create3.nxv24i16.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>)
 767 declare <vscale x 48 x i8>  @llvm.aarch64.sve.tuple.create3.nxv48i8.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>)
 768
 769 declare <vscale x 8 x double>  @llvm.aarch64.sve.tuple.create4.nxv8f64.nxv2f64 (<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>)
 770 declare <vscale x 16 x float>  @llvm.aarch64.sve.tuple.create4.nxv16f32.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>)
 771 declare <vscale x 32 x half>  @llvm.aarch64.sve.tuple.create4.nxv32f16.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>)
 772 declare <vscale x 32 x bfloat>  @llvm.aarch64.sve.tuple.create4.nxv32bf16.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>)
 773 declare <vscale x  8 x i64> @llvm.aarch64.sve.tuple.create4.nxv8i64.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>)
 774 declare <vscale x 16 x i32> @llvm.aarch64.sve.tuple.create4.nxv16i32.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>)
 775 declare <vscale x 32 x i16> @llvm.aarch64.sve.tuple.create4.nxv32i16.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>)
 776 declare <vscale x 64 x i8>  @llvm.aarch64.sve.tuple.create4.nxv64i8.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>)
 777
 778 declare <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv32i8(<vscale x 32 x i8>, i32 immarg)
 779 declare <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv48i8(<vscale x 48 x i8>, i32 immarg)
 780 declare <vscale x 16 x i8> @llvm.aarch64.sve.tuple.get.nxv16i8.nxv64i8(<vscale x 64 x i8>, i32 immarg)
 781
 782 declare <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv16i16(<vscale x 16 x i16>, i32 immarg)
 783 declare <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv24i16(<vscale x 24 x i16>, i32 immarg)
 784 declare <vscale x 8 x i16> @llvm.aarch64.sve.tuple.get.nxv8i16.nxv32i16(<vscale x 32 x i16>, i32 immarg)
 785
 786 declare <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv8i32(<vscale x 8 x i32>, i32 immarg)
 787 declare <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv12i32(<vscale x 12 x i32>, i32 immarg)
 788 declare <vscale x 4 x i32> @llvm.aarch64.sve.tuple.get.nxv4i32.nxv16i32(<vscale x 16 x i32>, i32 immarg)
 789
 790 declare <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv4i64(<vscale x 4 x i64>, i32 immarg)
 791 declare <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv6i64(<vscale x 6 x i64>, i32 immarg)
 792 declare <vscale x 2 x i64> @llvm.aarch64.sve.tuple.get.nxv2i64.nxv8i64(<vscale x 8 x i64>, i32 immarg)
 793
 794 declare <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv16bf16(<vscale x 16 x bfloat>, i32 immarg)
 795 declare <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv24bf16(<vscale x 24 x bfloat>, i32 immarg)
 796 declare <vscale x 8 x bfloat> @llvm.aarch64.sve.tuple.get.nxv8bf16.nxv32bf16(<vscale x 32 x bfloat>, i32 immarg)
 797
 798 declare <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv16f16(<vscale x 16 x half>, i32 immarg)
 799 declare <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv24f16(<vscale x 24 x half>, i32 immarg)
 800 declare <vscale x 8 x half> @llvm.aarch64.sve.tuple.get.nxv8f16.nxv32f16(<vscale x 32 x half>, i32 immarg)
 801
 802 declare <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv8f32(<vscale x 8 x float>, i32 immarg)
 803 declare <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv12f32(<vscale x 12 x float>, i32 immarg)
 804 declare <vscale x 4 x float> @llvm.aarch64.sve.tuple.get.nxv4f32.nxv16f32(<vscale x 16 x float>, i32 immarg)
 805
 806 declare <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv4f64(<vscale x 4 x double>, i32 immarg)
 807 declare <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv6f64(<vscale x 6 x double>, i32 immarg)
 808 declare <vscale x 2 x double> @llvm.aarch64.sve.tuple.get.nxv2f64.nxv8f64(<vscale x 8 x double>, i32 immarg)