llvm/test/CodeGen/AArch64/sve-intrinsics-stores.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sve < %s | FileCheck %s
   3 ; RUN: llc -mtriple=aarch64-linux-gnu -mattr=+sme < %s | FileCheck %s
   4
   5 ;
   6 ; ST2B
   7 ;
   8
   9 define void @st2b_i8(<vscale x 16 x i8> %v0, <vscale x 16 x i8> %v1, <vscale x 16 x i1> %pred, ptr %addr) {
  10 ; CHECK-LABEL: st2b_i8:
  11 ; CHECK:       // %bb.0:
  12 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  13 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  14 ; CHECK-NEXT:    st2b { z0.b, z1.b }, p0, [x0]
  15 ; CHECK-NEXT:    ret
  16   call void @llvm.aarch64.sve.st2.nxv16i8(<vscale x 16 x i8> %v0,
  17                                           <vscale x 16 x i8> %v1,
  18                                           <vscale x 16 x i1> %pred,
  19                                           ptr %addr)
  20   ret void
  21 }
  22
  23 ;
  24 ; ST2H
  25 ;
  26
  27 define void @st2h_i16(<vscale x 8 x i16> %v0, <vscale x 8 x i16> %v1, <vscale x 8 x i1> %pred, ptr %addr) {
  28 ; CHECK-LABEL: st2h_i16:
  29 ; CHECK:       // %bb.0:
  30 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  31 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  32 ; CHECK-NEXT:    st2h { z0.h, z1.h }, p0, [x0]
  33 ; CHECK-NEXT:    ret
  34   call void @llvm.aarch64.sve.st2.nxv8i16(<vscale x 8 x i16> %v0,
  35                                           <vscale x 8 x i16> %v1,
  36                                           <vscale x 8 x i1> %pred,
  37                                           ptr %addr)
  38   ret void
  39 }
  40
  41 define void @st2h_f16(<vscale x 8 x half> %v0, <vscale x 8 x half> %v1, <vscale x 8 x i1> %pred, ptr %addr) {
  42 ; CHECK-LABEL: st2h_f16:
  43 ; CHECK:       // %bb.0:
  44 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  45 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  46 ; CHECK-NEXT:    st2h { z0.h, z1.h }, p0, [x0]
  47 ; CHECK-NEXT:    ret
  48   call void @llvm.aarch64.sve.st2.nxv8f16(<vscale x 8 x half> %v0,
  49                                           <vscale x 8 x half> %v1,
  50                                           <vscale x 8 x i1> %pred,
  51                                           ptr %addr)
  52   ret void
  53 }
  54
  55 define void @st2h_bf16(<vscale x 8 x bfloat> %v0, <vscale x 8 x bfloat> %v1, <vscale x 8 x i1> %pred, ptr %addr) #0 {
  56 ; CHECK-LABEL: st2h_bf16:
  57 ; CHECK:       // %bb.0:
  58 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  59 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  60 ; CHECK-NEXT:    st2h { z0.h, z1.h }, p0, [x0]
  61 ; CHECK-NEXT:    ret
  62   call void @llvm.aarch64.sve.st2.nxv8bf16(<vscale x 8 x bfloat> %v0,
  63                                           <vscale x 8 x bfloat> %v1,
  64                                           <vscale x 8 x i1> %pred,
  65                                           ptr %addr)
  66   ret void
  67 }
  68
  69 ;
  70 ; ST2W
  71 ;
  72
  73 define void @st2w_i32(<vscale x 4 x i32> %v0, <vscale x 4 x i32> %v1, <vscale x 4 x i1> %pred, ptr %addr) {
  74 ; CHECK-LABEL: st2w_i32:
  75 ; CHECK:       // %bb.0:
  76 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  77 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  78 ; CHECK-NEXT:    st2w { z0.s, z1.s }, p0, [x0]
  79 ; CHECK-NEXT:    ret
  80   call void @llvm.aarch64.sve.st2.nxv4i32(<vscale x 4 x i32> %v0,
  81                                           <vscale x 4 x i32> %v1,
  82                                           <vscale x 4 x i1> %pred,
  83                                           ptr %addr)
  84   ret void
  85 }
  86
  87 define void @st2w_f32(<vscale x 4 x float> %v0, <vscale x 4 x float> %v1, <vscale x 4 x i1> %pred, ptr %addr) {
  88 ; CHECK-LABEL: st2w_f32:
  89 ; CHECK:       // %bb.0:
  90 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
  91 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
  92 ; CHECK-NEXT:    st2w { z0.s, z1.s }, p0, [x0]
  93 ; CHECK-NEXT:    ret
  94   call void @llvm.aarch64.sve.st2.nxv4f32(<vscale x 4 x float> %v0,
  95                                           <vscale x 4 x float> %v1,
  96                                           <vscale x 4 x i1> %pred,
  97                                           ptr %addr)
  98   ret void
  99 }
 100
 101 ;
 102 ; ST2D
 103 ;
 104
 105 define void @st2d_i64(<vscale x 2 x i64> %v0, <vscale x 2 x i64> %v1, <vscale x 2 x i1> %pred, ptr %addr) {
 106 ; CHECK-LABEL: st2d_i64:
 107 ; CHECK:       // %bb.0:
 108 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
 109 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
 110 ; CHECK-NEXT:    st2d { z0.d, z1.d }, p0, [x0]
 111 ; CHECK-NEXT:    ret
 112   call void @llvm.aarch64.sve.st2.nxv2i64(<vscale x 2 x i64> %v0,
 113                                           <vscale x 2 x i64> %v1,
 114                                           <vscale x 2 x i1> %pred,
 115                                           ptr %addr)
 116   ret void
 117 }
 118
 119 define void @st2d_f64(<vscale x 2 x double> %v0, <vscale x 2 x double> %v1, <vscale x 2 x i1> %pred, ptr %addr) {
 120 ; CHECK-LABEL: st2d_f64:
 121 ; CHECK:       // %bb.0:
 122 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
 123 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
 124 ; CHECK-NEXT:    st2d { z0.d, z1.d }, p0, [x0]
 125 ; CHECK-NEXT:    ret
 126   call void @llvm.aarch64.sve.st2.nxv2f64(<vscale x 2 x double> %v0,
 127                                           <vscale x 2 x double> %v1,
 128                                           <vscale x 2 x i1> %pred,
 129                                           ptr %addr)
 130   ret void
 131 }
 132
 133 define void @st2d_ptr(<vscale x 2 x ptr> %v0, <vscale x 2 x ptr> %v1, <vscale x 2 x i1> %pred, ptr %addr) {
 134 ; CHECK-LABEL: st2d_ptr:
 135 ; CHECK:       // %bb.0:
 136 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1 def $z0_z1
 137 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1 def $z0_z1
 138 ; CHECK-NEXT:    st2d { z0.d, z1.d }, p0, [x0]
 139 ; CHECK-NEXT:    ret
 140   call void @llvm.aarch64.sve.st2.nxv2p0(<vscale x 2 x ptr> %v0,
 141                                            <vscale x 2 x ptr> %v1,
 142                                            <vscale x 2 x i1> %pred,
 143                                            ptr %addr)
 144   ret void
 145 }
 146
 147 ;
 148 ; ST3B
 149 ;
 150
 151 define void @st3b_i8(<vscale x 16 x i8> %v0, <vscale x 16 x i8> %v1, <vscale x 16 x i8> %v2, <vscale x 16 x i1> %pred, ptr %addr) {
 152 ; CHECK-LABEL: st3b_i8:
 153 ; CHECK:       // %bb.0:
 154 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 155 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 156 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 157 ; CHECK-NEXT:    st3b { z0.b - z2.b }, p0, [x0]
 158 ; CHECK-NEXT:    ret
 159   call void @llvm.aarch64.sve.st3.nxv16i8(<vscale x 16 x i8> %v0,
 160                                           <vscale x 16 x i8> %v1,
 161                                           <vscale x 16 x i8> %v2,
 162                                           <vscale x 16 x i1> %pred,
 163                                           ptr %addr)
 164   ret void
 165 }
 166
 167 ;
 168 ; ST3H
 169 ;
 170
 171 define void @st3h_i16(<vscale x 8 x i16> %v0, <vscale x 8 x i16> %v1, <vscale x 8 x i16> %v2, <vscale x 8 x i1> %pred, ptr %addr) {
 172 ; CHECK-LABEL: st3h_i16:
 173 ; CHECK:       // %bb.0:
 174 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 175 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 176 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 177 ; CHECK-NEXT:    st3h { z0.h - z2.h }, p0, [x0]
 178 ; CHECK-NEXT:    ret
 179   call void @llvm.aarch64.sve.st3.nxv8i16(<vscale x 8 x i16> %v0,
 180                                           <vscale x 8 x i16> %v1,
 181                                           <vscale x 8 x i16> %v2,
 182                                           <vscale x 8 x i1> %pred,
 183                                           ptr %addr)
 184   ret void
 185 }
 186
 187 define void @st3h_f16(<vscale x 8 x half> %v0, <vscale x 8 x half> %v1, <vscale x 8 x half> %v2, <vscale x 8 x i1> %pred, ptr %addr) {
 188 ; CHECK-LABEL: st3h_f16:
 189 ; CHECK:       // %bb.0:
 190 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 191 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 192 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 193 ; CHECK-NEXT:    st3h { z0.h - z2.h }, p0, [x0]
 194 ; CHECK-NEXT:    ret
 195   call void @llvm.aarch64.sve.st3.nxv8f16(<vscale x 8 x half> %v0,
 196                                           <vscale x 8 x half> %v1,
 197                                           <vscale x 8 x half> %v2,
 198                                           <vscale x 8 x i1> %pred,
 199                                           ptr %addr)
 200   ret void
 201 }
 202
 203 define void @st3h_bf16(<vscale x 8 x bfloat> %v0, <vscale x 8 x bfloat> %v1, <vscale x 8 x bfloat> %v2, <vscale x 8 x i1> %pred, ptr %addr) #0 {
 204 ; CHECK-LABEL: st3h_bf16:
 205 ; CHECK:       // %bb.0:
 206 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 207 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 208 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 209 ; CHECK-NEXT:    st3h { z0.h - z2.h }, p0, [x0]
 210 ; CHECK-NEXT:    ret
 211   call void @llvm.aarch64.sve.st3.nxv8bf16(<vscale x 8 x bfloat> %v0,
 212                                           <vscale x 8 x bfloat> %v1,
 213                                           <vscale x 8 x bfloat> %v2,
 214                                           <vscale x 8 x i1> %pred,
 215                                           ptr %addr)
 216   ret void
 217 }
 218
 219 ;
 220 ; ST3W
 221 ;
 222
 223 define void @st3w_i32(<vscale x 4 x i32> %v0, <vscale x 4 x i32> %v1, <vscale x 4 x i32> %v2, <vscale x 4 x i1> %pred, ptr %addr) {
 224 ; CHECK-LABEL: st3w_i32:
 225 ; CHECK:       // %bb.0:
 226 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 227 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 228 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 229 ; CHECK-NEXT:    st3w { z0.s - z2.s }, p0, [x0]
 230 ; CHECK-NEXT:    ret
 231   call void @llvm.aarch64.sve.st3.nxv4i32(<vscale x 4 x i32> %v0,
 232                                           <vscale x 4 x i32> %v1,
 233                                           <vscale x 4 x i32> %v2,
 234                                           <vscale x 4 x i1> %pred,
 235                                           ptr %addr)
 236   ret void
 237 }
 238
 239 define void @st3w_f32(<vscale x 4 x float> %v0, <vscale x 4 x float> %v1, <vscale x 4 x float> %v2, <vscale x 4 x i1> %pred, ptr %addr) {
 240 ; CHECK-LABEL: st3w_f32:
 241 ; CHECK:       // %bb.0:
 242 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 243 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 244 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 245 ; CHECK-NEXT:    st3w { z0.s - z2.s }, p0, [x0]
 246 ; CHECK-NEXT:    ret
 247   call void @llvm.aarch64.sve.st3.nxv4f32(<vscale x 4 x float> %v0,
 248                                           <vscale x 4 x float> %v1,
 249                                           <vscale x 4 x float> %v2,
 250                                           <vscale x 4 x i1> %pred,
 251                                           ptr %addr)
 252   ret void
 253 }
 254
 255 ;
 256 ; ST3D
 257 ;
 258
 259 define void @st3d_i64(<vscale x 2 x i64> %v0, <vscale x 2 x i64> %v1, <vscale x 2 x i64> %v2, <vscale x 2 x i1> %pred, ptr %addr) {
 260 ; CHECK-LABEL: st3d_i64:
 261 ; CHECK:       // %bb.0:
 262 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 263 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 264 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 265 ; CHECK-NEXT:    st3d { z0.d - z2.d }, p0, [x0]
 266 ; CHECK-NEXT:    ret
 267   call void @llvm.aarch64.sve.st3.nxv2i64(<vscale x 2 x i64> %v0,
 268                                           <vscale x 2 x i64> %v1,
 269                                           <vscale x 2 x i64> %v2,
 270                                           <vscale x 2 x i1> %pred,
 271                                           ptr %addr)
 272   ret void
 273 }
 274
 275 define void @st3d_f64(<vscale x 2 x double> %v0, <vscale x 2 x double> %v1, <vscale x 2 x double> %v2, <vscale x 2 x i1> %pred, ptr %addr) {
 276 ; CHECK-LABEL: st3d_f64:
 277 ; CHECK:       // %bb.0:
 278 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 279 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 280 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 281 ; CHECK-NEXT:    st3d { z0.d - z2.d }, p0, [x0]
 282 ; CHECK-NEXT:    ret
 283   call void @llvm.aarch64.sve.st3.nxv2f64(<vscale x 2 x double> %v0,
 284                                           <vscale x 2 x double> %v1,
 285                                           <vscale x 2 x double> %v2,
 286                                           <vscale x 2 x i1> %pred,
 287                                           ptr %addr)
 288   ret void
 289 }
 290
 291 define void @st3d_ptr(<vscale x 2 x ptr> %v0, <vscale x 2 x ptr> %v1, <vscale x 2 x ptr> %v2, <vscale x 2 x i1> %pred, ptr %addr) {
 292 ; CHECK-LABEL: st3d_ptr:
 293 ; CHECK:       // %bb.0:
 294 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2 def $z0_z1_z2
 295 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2 def $z0_z1_z2
 296 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2 def $z0_z1_z2
 297 ; CHECK-NEXT:    st3d { z0.d - z2.d }, p0, [x0]
 298 ; CHECK-NEXT:    ret
 299   call void @llvm.aarch64.sve.st3.nxv2p0(<vscale x 2 x ptr> %v0,
 300                                            <vscale x 2 x ptr> %v1,
 301                                            <vscale x 2 x ptr> %v2,
 302                                            <vscale x 2 x i1> %pred,
 303                                            ptr %addr)
 304   ret void
 305 }
 306
 307 ;
 308 ; ST4B
 309 ;
 310
 311 define void @st4b_i8(<vscale x 16 x i8> %v0, <vscale x 16 x i8> %v1, <vscale x 16 x i8> %v2, <vscale x 16 x i8> %v3, <vscale x 16 x i1> %pred, ptr %addr) {
 312 ; CHECK-LABEL: st4b_i8:
 313 ; CHECK:       // %bb.0:
 314 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 315 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 316 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 317 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 318 ; CHECK-NEXT:    st4b { z0.b - z3.b }, p0, [x0]
 319 ; CHECK-NEXT:    ret
 320   call void @llvm.aarch64.sve.st4.nxv16i8(<vscale x 16 x i8> %v0,
 321                                           <vscale x 16 x i8> %v1,
 322                                           <vscale x 16 x i8> %v2,
 323                                           <vscale x 16 x i8> %v3,
 324                                           <vscale x 16 x i1> %pred,
 325                                           ptr %addr)
 326   ret void
 327 }
 328
 329 ;
 330 ; ST4H
 331 ;
 332
 333 define void @st4h_i16(<vscale x 8 x i16> %v0, <vscale x 8 x i16> %v1, <vscale x 8 x i16> %v2, <vscale x 8 x i16> %v3, <vscale x 8 x i1> %pred, ptr %addr) {
 334 ; CHECK-LABEL: st4h_i16:
 335 ; CHECK:       // %bb.0:
 336 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 337 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 338 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 339 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 340 ; CHECK-NEXT:    st4h { z0.h - z3.h }, p0, [x0]
 341 ; CHECK-NEXT:    ret
 342   call void @llvm.aarch64.sve.st4.nxv8i16(<vscale x 8 x i16> %v0,
 343                                           <vscale x 8 x i16> %v1,
 344                                           <vscale x 8 x i16> %v2,
 345                                           <vscale x 8 x i16> %v3,
 346                                           <vscale x 8 x i1> %pred,
 347                                           ptr %addr)
 348   ret void
 349 }
 350
 351 define void @st4h_f16(<vscale x 8 x half> %v0, <vscale x 8 x half> %v1, <vscale x 8 x half> %v2, <vscale x 8 x half> %v3, <vscale x 8 x i1> %pred, ptr %addr) {
 352 ; CHECK-LABEL: st4h_f16:
 353 ; CHECK:       // %bb.0:
 354 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 355 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 356 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 357 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 358 ; CHECK-NEXT:    st4h { z0.h - z3.h }, p0, [x0]
 359 ; CHECK-NEXT:    ret
 360   call void @llvm.aarch64.sve.st4.nxv8f16(<vscale x 8 x half> %v0,
 361                                           <vscale x 8 x half> %v1,
 362                                           <vscale x 8 x half> %v2,
 363                                           <vscale x 8 x half> %v3,
 364                                           <vscale x 8 x i1> %pred,
 365                                           ptr %addr)
 366   ret void
 367 }
 368
 369 define void @st4h_bf16(<vscale x 8 x bfloat> %v0, <vscale x 8 x bfloat> %v1, <vscale x 8 x bfloat> %v2, <vscale x 8 x bfloat> %v3, <vscale x 8 x i1> %pred, ptr %addr) #0 {
 370 ; CHECK-LABEL: st4h_bf16:
 371 ; CHECK:       // %bb.0:
 372 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 373 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 374 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 375 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 376 ; CHECK-NEXT:    st4h { z0.h - z3.h }, p0, [x0]
 377 ; CHECK-NEXT:    ret
 378   call void @llvm.aarch64.sve.st4.nxv8bf16(<vscale x 8 x bfloat> %v0,
 379                                           <vscale x 8 x bfloat> %v1,
 380                                           <vscale x 8 x bfloat> %v2,
 381                                           <vscale x 8 x bfloat> %v3,
 382                                           <vscale x 8 x i1> %pred,
 383                                           ptr %addr)
 384   ret void
 385 }
 386
 387 ;
 388 ; ST4W
 389 ;
 390
 391 define void @st4w_i32(<vscale x 4 x i32> %v0, <vscale x 4 x i32> %v1, <vscale x 4 x i32> %v2, <vscale x 4 x i32> %v3, <vscale x 4 x i1> %pred, ptr %addr) {
 392 ; CHECK-LABEL: st4w_i32:
 393 ; CHECK:       // %bb.0:
 394 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 395 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 396 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 397 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 398 ; CHECK-NEXT:    st4w { z0.s - z3.s }, p0, [x0]
 399 ; CHECK-NEXT:    ret
 400   call void @llvm.aarch64.sve.st4.nxv4i32(<vscale x 4 x i32> %v0,
 401                                           <vscale x 4 x i32> %v1,
 402                                           <vscale x 4 x i32> %v2,
 403                                           <vscale x 4 x i32> %v3,
 404                                           <vscale x 4 x i1> %pred,
 405                                           ptr %addr)
 406   ret void
 407 }
 408
 409 define void @st4w_f32(<vscale x 4 x float> %v0, <vscale x 4 x float> %v1, <vscale x 4 x float> %v2, <vscale x 4 x float> %v3, <vscale x 4 x i1> %pred, ptr %addr) {
 410 ; CHECK-LABEL: st4w_f32:
 411 ; CHECK:       // %bb.0:
 412 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 413 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 414 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 415 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 416 ; CHECK-NEXT:    st4w { z0.s - z3.s }, p0, [x0]
 417 ; CHECK-NEXT:    ret
 418   call void @llvm.aarch64.sve.st4.nxv4f32(<vscale x 4 x float> %v0,
 419                                           <vscale x 4 x float> %v1,
 420                                           <vscale x 4 x float> %v2,
 421                                           <vscale x 4 x float> %v3,
 422                                           <vscale x 4 x i1> %pred,
 423                                           ptr %addr)
 424   ret void
 425 }
 426
 427 ;
 428 ; ST4D
 429 ;
 430
 431 define void @st4d_i64(<vscale x 2 x i64> %v0, <vscale x 2 x i64> %v1, <vscale x 2 x i64> %v2, <vscale x 2 x i64> %v3, <vscale x 2 x i1> %pred, ptr %addr) {
 432 ; CHECK-LABEL: st4d_i64:
 433 ; CHECK:       // %bb.0:
 434 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 435 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 436 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 437 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 438 ; CHECK-NEXT:    st4d { z0.d - z3.d }, p0, [x0]
 439 ; CHECK-NEXT:    ret
 440   call void @llvm.aarch64.sve.st4.nxv2i64(<vscale x 2 x i64> %v0,
 441                                           <vscale x 2 x i64> %v1,
 442                                           <vscale x 2 x i64> %v2,
 443                                           <vscale x 2 x i64> %v3,
 444                                           <vscale x 2 x i1> %pred,
 445                                           ptr %addr)
 446   ret void
 447 }
 448
 449 define void @st4d_f64(<vscale x 2 x double> %v0, <vscale x 2 x double> %v1, <vscale x 2 x double> %v2, <vscale x 2 x double> %v3, <vscale x 2 x i1> %pred, ptr %addr) {
 450 ; CHECK-LABEL: st4d_f64:
 451 ; CHECK:       // %bb.0:
 452 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 453 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 454 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 455 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 456 ; CHECK-NEXT:    st4d { z0.d - z3.d }, p0, [x0]
 457 ; CHECK-NEXT:    ret
 458   call void @llvm.aarch64.sve.st4.nxv2f64(<vscale x 2 x double> %v0,
 459                                           <vscale x 2 x double> %v1,
 460                                           <vscale x 2 x double> %v2,
 461                                           <vscale x 2 x double> %v3,
 462                                           <vscale x 2 x i1> %pred,
 463                                           ptr %addr)
 464   ret void
 465 }
 466
 467 define void @st4d_ptr(<vscale x 2 x ptr> %v0, <vscale x 2 x ptr> %v1, <vscale x 2 x ptr> %v2, <vscale x 2 x ptr> %v3, <vscale x 2 x i1> %pred, ptr %addr) {
 468 ; CHECK-LABEL: st4d_ptr:
 469 ; CHECK:       // %bb.0:
 470 ; CHECK-NEXT:    // kill: def $z3 killed $z3 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 471 ; CHECK-NEXT:    // kill: def $z2 killed $z2 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 472 ; CHECK-NEXT:    // kill: def $z1 killed $z1 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 473 ; CHECK-NEXT:    // kill: def $z0 killed $z0 killed $z0_z1_z2_z3 def $z0_z1_z2_z3
 474 ; CHECK-NEXT:    st4d { z0.d - z3.d }, p0, [x0]
 475 ; CHECK-NEXT:    ret
 476   call void @llvm.aarch64.sve.st4.nxv2p0(<vscale x 2 x ptr> %v0,
 477                                            <vscale x 2 x ptr> %v1,
 478                                            <vscale x 2 x ptr> %v2,
 479                                            <vscale x 2 x ptr> %v3,
 480                                            <vscale x 2 x i1> %pred,
 481                                            ptr %addr)
 482   ret void
 483 }
 484 ;
 485 ; STNT1B
 486 ;
 487
 488 define void @stnt1b_i8(<vscale x 16 x i8> %data, <vscale x 16 x i1> %pred, ptr %addr) {
 489 ; CHECK-LABEL: stnt1b_i8:
 490 ; CHECK:       // %bb.0:
 491 ; CHECK-NEXT:    stnt1b { z0.b }, p0, [x0]
 492 ; CHECK-NEXT:    ret
 493   call void @llvm.aarch64.sve.stnt1.nxv16i8(<vscale x 16 x i8> %data,
 494                                             <vscale x 16 x i1> %pred,
 495                                             ptr %addr)
 496   ret void
 497 }
 498
 499 ;
 500 ; STNT1H
 501 ;
 502
 503 define void @stnt1h_i16(<vscale x 8 x i16> %data, <vscale x 8 x i1> %pred, ptr %addr) {
 504 ; CHECK-LABEL: stnt1h_i16:
 505 ; CHECK:       // %bb.0:
 506 ; CHECK-NEXT:    stnt1h { z0.h }, p0, [x0]
 507 ; CHECK-NEXT:    ret
 508   call void @llvm.aarch64.sve.stnt1.nxv8i16(<vscale x 8 x i16> %data,
 509                                             <vscale x 8 x i1> %pred,
 510                                             ptr %addr)
 511   ret void
 512 }
 513
 514 define void @stnt1h_f16(<vscale x 8 x half> %data, <vscale x 8 x i1> %pred, ptr %addr) {
 515 ; CHECK-LABEL: stnt1h_f16:
 516 ; CHECK:       // %bb.0:
 517 ; CHECK-NEXT:    stnt1h { z0.h }, p0, [x0]
 518 ; CHECK-NEXT:    ret
 519   call void @llvm.aarch64.sve.stnt1.nxv8f16(<vscale x 8 x half> %data,
 520                                             <vscale x 8 x i1> %pred,
 521                                             ptr %addr)
 522   ret void
 523 }
 524
 525 define void @stnt1h_bf16(<vscale x 8 x bfloat> %data, <vscale x 8 x i1> %pred, ptr %addr) #0 {
 526 ; CHECK-LABEL: stnt1h_bf16:
 527 ; CHECK:       // %bb.0:
 528 ; CHECK-NEXT:    stnt1h { z0.h }, p0, [x0]
 529 ; CHECK-NEXT:    ret
 530   call void @llvm.aarch64.sve.stnt1.nxv8bf16(<vscale x 8 x bfloat> %data,
 531                                              <vscale x 8 x i1> %pred,
 532                                              ptr %addr)
 533   ret void
 534 }
 535
 536 ;
 537 ; STNT1W
 538 ;
 539
 540 define void @stnt1w_i32(<vscale x 4 x i32> %data, <vscale x 4 x i1> %pred, ptr %addr) {
 541 ; CHECK-LABEL: stnt1w_i32:
 542 ; CHECK:       // %bb.0:
 543 ; CHECK-NEXT:    stnt1w { z0.s }, p0, [x0]
 544 ; CHECK-NEXT:    ret
 545   call void @llvm.aarch64.sve.stnt1.nxv4i32(<vscale x 4 x i32> %data,
 546                                             <vscale x 4 x i1> %pred,
 547                                             ptr %addr)
 548   ret void
 549 }
 550
 551 define void @stnt1w_f32(<vscale x 4 x float> %data, <vscale x 4 x i1> %pred, ptr %addr) {
 552 ; CHECK-LABEL: stnt1w_f32:
 553 ; CHECK:       // %bb.0:
 554 ; CHECK-NEXT:    stnt1w { z0.s }, p0, [x0]
 555 ; CHECK-NEXT:    ret
 556   call void @llvm.aarch64.sve.stnt1.nxv4f32(<vscale x 4 x float> %data,
 557                                             <vscale x 4 x i1> %pred,
 558                                             ptr %addr)
 559   ret void
 560 }
 561
 562 ;
 563 ; STNT1D
 564 ;
 565
 566 define void @stnt1d_i64(<vscale x 2 x i64> %data, <vscale x 2 x i1> %pred, ptr %addr) {
 567 ; CHECK-LABEL: stnt1d_i64:
 568 ; CHECK:       // %bb.0:
 569 ; CHECK-NEXT:    stnt1d { z0.d }, p0, [x0]
 570 ; CHECK-NEXT:    ret
 571   call void @llvm.aarch64.sve.stnt1.nxv2i64(<vscale x 2 x i64> %data,
 572                                             <vscale x 2 x i1> %pred,
 573                                             ptr %addr)
 574   ret void
 575 }
 576
 577 define void @stnt1d_f64(<vscale x 2 x double> %data, <vscale x 2 x i1> %pred, ptr %addr) {
 578 ; CHECK-LABEL: stnt1d_f64:
 579 ; CHECK:       // %bb.0:
 580 ; CHECK-NEXT:    stnt1d { z0.d }, p0, [x0]
 581 ; CHECK-NEXT:    ret
 582   call void @llvm.aarch64.sve.stnt1.nxv2f64(<vscale x 2 x double> %data,
 583                                             <vscale x 2 x i1> %pred,
 584                                             ptr %addr)
 585   ret void
 586 }
 587
 588
 589 declare void @llvm.aarch64.sve.st2.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i1>, ptr)
 590 declare void @llvm.aarch64.sve.st2.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i1>, ptr)
 591 declare void @llvm.aarch64.sve.st2.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i1>, ptr)
 592 declare void @llvm.aarch64.sve.st2.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i1>, ptr)
 593 declare void @llvm.aarch64.sve.st2.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x i1>, ptr)
 594 declare void @llvm.aarch64.sve.st2.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x i1>, ptr)
 595 declare void @llvm.aarch64.sve.st2.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x i1>, ptr)
 596 declare void @llvm.aarch64.sve.st2.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x i1>, ptr)
 597 declare void @llvm.aarch64.sve.st2.nxv2p0(<vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x i1>, ptr nocapture)
 598
 599 declare void @llvm.aarch64.sve.st3.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i1>, ptr)
 600 declare void @llvm.aarch64.sve.st3.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i1>, ptr)
 601 declare void @llvm.aarch64.sve.st3.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i1>, ptr)
 602 declare void @llvm.aarch64.sve.st3.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i1>, ptr)
 603 declare void @llvm.aarch64.sve.st3.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x i1>, ptr)
 604 declare void @llvm.aarch64.sve.st3.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x i1>, ptr)
 605 declare void @llvm.aarch64.sve.st3.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x i1>, ptr)
 606 declare void @llvm.aarch64.sve.st3.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x i1>, ptr)
 607 declare void @llvm.aarch64.sve.st3.nxv2p0(<vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x i1>, ptr nocapture)
 608
 609 declare void @llvm.aarch64.sve.st4.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i8>, <vscale x 16 x i1>, ptr)
 610 declare void @llvm.aarch64.sve.st4.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i16>, <vscale x 8 x i1>, ptr)
 611 declare void @llvm.aarch64.sve.st4.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i32>, <vscale x 4 x i1>, ptr)
 612 declare void @llvm.aarch64.sve.st4.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i64>, <vscale x 2 x i1>, ptr)
 613 declare void @llvm.aarch64.sve.st4.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x half>, <vscale x 8 x i1>, ptr)
 614 declare void @llvm.aarch64.sve.st4.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x bfloat>, <vscale x 8 x i1>, ptr)
 615 declare void @llvm.aarch64.sve.st4.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x float>, <vscale x 4 x i1>, ptr)
 616 declare void @llvm.aarch64.sve.st4.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x double>, <vscale x 2 x i1>, ptr)
 617 declare void @llvm.aarch64.sve.st4.nxv2p0(<vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x ptr>, <vscale x 2 x i1>, ptr nocapture)
 618
 619 declare void @llvm.aarch64.sve.stnt1.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i1>, ptr)
 620 declare void @llvm.aarch64.sve.stnt1.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i1>, ptr)
 621 declare void @llvm.aarch64.sve.stnt1.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i1>, ptr)
 622 declare void @llvm.aarch64.sve.stnt1.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i1>, ptr)
 623 declare void @llvm.aarch64.sve.stnt1.nxv8f16(<vscale x 8 x half>, <vscale x 8 x i1>, ptr)
 624 declare void @llvm.aarch64.sve.stnt1.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x i1>, ptr)
 625 declare void @llvm.aarch64.sve.stnt1.nxv4f32(<vscale x 4 x float>, <vscale x 4 x i1>, ptr)
 626 declare void @llvm.aarch64.sve.stnt1.nxv2f64(<vscale x 2 x double>, <vscale x 2 x i1>, ptr)
 627
 628 ; +bf16 is required for the bfloat version.
 629 attributes #0 = { "target-features"="+bf16" }