llvm/test/CodeGen/AArch64/sve-masked-ldst-nonext.ll

   1 ; RUN: llc -mtriple=aarch64--linux-gnu -mattr=+sve -asm-verbose=0 < %s | FileCheck %s
   2
   3 ;
   4 ; Masked Loads
   5 ;
   6
   7 define <vscale x 2 x i64> @masked_load_nxv2i64(<vscale x 2 x i64> *%a, <vscale x 2 x i1> %mask) nounwind {
   8 ; CHECK-LABEL: masked_load_nxv2i64:
   9 ; CHECK-NEXT: ld1d { z0.d }, p0/z, [x0]
  10 ; CHECK-NEXT: ret
  11   %load = call <vscale x 2 x i64> @llvm.masked.load.nxv2i64(<vscale x 2 x i64> *%a, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i64> undef)
  12   ret <vscale x 2 x i64> %load
  13 }
  14
  15 define <vscale x 4 x i32> @masked_load_nxv4i32(<vscale x 4 x i32> *%a, <vscale x 4 x i1> %mask) nounwind {
  16 ; CHECK-LABEL: masked_load_nxv4i32:
  17 ; CHECK-NEXT: ld1w { z0.s }, p0/z, [x0]
  18 ; CHECK-NEXT: ret
  19   %load = call <vscale x 4 x i32> @llvm.masked.load.nxv4i32(<vscale x 4 x i32> *%a, i32 4, <vscale x 4 x i1> %mask, <vscale x 4 x i32> undef)
  20   ret <vscale x 4 x i32> %load
  21 }
  22
  23 define <vscale x 8 x i16> @masked_load_nxv8i16(<vscale x 8 x i16> *%a, <vscale x 8 x i1> %mask) nounwind {
  24 ; CHECK-LABEL: masked_load_nxv8i16:
  25 ; CHECK-NEXT: ld1h { z0.h }, p0/z, [x0]
  26 ; CHECK-NEXT: ret
  27   %load = call <vscale x 8 x i16> @llvm.masked.load.nxv8i16(<vscale x 8 x i16> *%a, i32 2, <vscale x 8 x i1> %mask, <vscale x 8 x i16> undef)
  28   ret <vscale x 8 x i16> %load
  29 }
  30
  31 define <vscale x 16 x i8> @masked_load_nxv16i8(<vscale x 16 x i8> *%a, <vscale x 16 x i1> %mask) nounwind {
  32 ; CHECK-LABEL: masked_load_nxv16i8:
  33 ; CHECK-NEXT: ld1b { z0.b }, p0/z, [x0]
  34 ; CHECK-NEXT: ret
  35   %load = call <vscale x 16 x i8> @llvm.masked.load.nxv16i8(<vscale x 16 x i8> *%a, i32 1, <vscale x 16 x i1> %mask, <vscale x 16 x i8> undef)
  36   ret <vscale x 16 x i8> %load
  37 }
  38
  39 define <vscale x 2 x double> @masked_load_nxv2f64(<vscale x 2 x double> *%a, <vscale x 2 x i1> %mask) nounwind {
  40 ; CHECK-LABEL: masked_load_nxv2f64:
  41 ; CHECK-NEXT: ld1d { z0.d }, p0/z, [x0]
  42 ; CHECK-NEXT: ret
  43   %load = call <vscale x 2 x double> @llvm.masked.load.nxv2f64(<vscale x 2 x double> *%a, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x double> undef)
  44   ret <vscale x 2 x double> %load
  45 }
  46
  47 define <vscale x 2 x float> @masked_load_nxv2f32(<vscale x 2 x float> *%a, <vscale x 2 x i1> %mask) nounwind {
  48 ; CHECK-LABEL: masked_load_nxv2f32:
  49 ; CHECK-NEXT: ld1w { z0.d }, p0/z, [x0]
  50 ; CHECK-NEXT: ret
  51   %load = call <vscale x 2 x float> @llvm.masked.load.nxv2f32(<vscale x 2 x float> *%a, i32 4, <vscale x 2 x i1> %mask, <vscale x 2 x float> undef)
  52   ret <vscale x 2 x float> %load
  53 }
  54
  55 define <vscale x 2 x half> @masked_load_nxv2f16(<vscale x 2 x half> *%a, <vscale x 2 x i1> %mask) nounwind {
  56 ; CHECK-LABEL: masked_load_nxv2f16:
  57 ; CHECK-NEXT: ld1h { z0.d }, p0/z, [x0]
  58 ; CHECK-NEXT: ret
  59   %load = call <vscale x 2 x half> @llvm.masked.load.nxv2f16(<vscale x 2 x half> *%a, i32 2, <vscale x 2 x i1> %mask, <vscale x 2 x half> undef)
  60   ret <vscale x 2 x half> %load
  61 }
  62
  63 define <vscale x 4 x float> @masked_load_nxv4f32(<vscale x 4 x float> *%a, <vscale x 4 x i1> %mask) nounwind {
  64 ; CHECK-LABEL: masked_load_nxv4f32:
  65 ; CHECK-NEXT: ld1w { z0.s }, p0/z, [x0]
  66 ; CHECK-NEXT: ret
  67   %load = call <vscale x 4 x float> @llvm.masked.load.nxv4f32(<vscale x 4 x float> *%a, i32 4, <vscale x 4 x i1> %mask, <vscale x 4 x float> undef)
  68   ret <vscale x 4 x float> %load
  69 }
  70
  71 define <vscale x 4 x half> @masked_load_nxv4f16(<vscale x 4 x half> *%a, <vscale x 4 x i1> %mask) nounwind {
  72 ; CHECK-LABEL: masked_load_nxv4f16:
  73 ; CHECK-NEXT: ld1h { z0.s }, p0/z, [x0]
  74 ; CHECK-NEXT: ret
  75   %load = call <vscale x 4 x half> @llvm.masked.load.nxv4f16(<vscale x 4 x half> *%a, i32 2, <vscale x 4 x i1> %mask, <vscale x 4 x half> undef)
  76   ret <vscale x 4 x half> %load
  77 }
  78
  79 define <vscale x 8 x half> @masked_load_nxv8f16(<vscale x 8 x half> *%a, <vscale x 8 x i1> %mask) nounwind {
  80 ; CHECK-LABEL: masked_load_nxv8f16:
  81 ; CHECK-NEXT: ld1h { z0.h }, p0/z, [x0]
  82 ; CHECK-NEXT: ret
  83   %load = call <vscale x 8 x half> @llvm.masked.load.nxv8f16(<vscale x 8 x half> *%a, i32 2, <vscale x 8 x i1> %mask, <vscale x 8 x half> undef)
  84   ret <vscale x 8 x half> %load
  85 }
  86
  87 define <vscale x 8 x bfloat> @masked_load_nxv8bf16(<vscale x 8 x bfloat> *%a, <vscale x 8 x i1> %mask) nounwind #0 {
  88 ; CHECK-LABEL: masked_load_nxv8bf16:
  89 ; CHECK-NEXT: ld1h { z0.h }, p0/z, [x0]
  90 ; CHECK-NEXT: ret
  91   %load = call <vscale x 8 x bfloat> @llvm.masked.load.nxv8bf16(<vscale x 8 x bfloat> *%a, i32 2, <vscale x 8 x i1> %mask, <vscale x 8 x bfloat> undef)
  92   ret <vscale x 8 x bfloat> %load
  93 }
  94
  95 define <vscale x 4 x i32> @masked_load_passthru(<vscale x 4 x i32> *%a, <vscale x 4 x i1> %mask, <vscale x 4 x i32> %passthru) nounwind {
  96 ; CHECK-LABEL: masked_load_passthru:
  97 ; CHECK-NEXT: ld1w { z1.s }, p0/z, [x0]
  98 ; CHECK-NEXT: mov z0.s, p0/m, z1.s
  99 ; CHECK-NEXT: ret
 100   %load = call <vscale x 4 x i32> @llvm.masked.load.nxv4i32(<vscale x 4 x i32> *%a, i32 4, <vscale x 4 x i1> %mask, <vscale x 4 x i32> %passthru)
 101   ret <vscale x 4 x i32> %load
 102 }
 103
 104 ;
 105 ; Masked Stores
 106 ;
 107
 108 define void @masked_store_nxv2i64(<vscale x 2 x i64> *%a, <vscale x 2 x i64> %val, <vscale x 2 x i1> %mask) nounwind {
 109 ; CHECK-LABEL: masked_store_nxv2i64:
 110 ; CHECK-NEXT: st1d { z0.d }, p0, [x0]
 111 ; CHECK-NEXT: ret
 112   call void @llvm.masked.store.nxv2i64(<vscale x 2 x i64> %val, <vscale x 2 x i64> *%a, i32 8, <vscale x 2 x i1> %mask)
 113   ret void
 114 }
 115
 116 define void @masked_store_nxv4i32(<vscale x 4 x i32> *%a, <vscale x 4 x i32> %val, <vscale x 4 x i1> %mask) nounwind {
 117 ; CHECK-LABEL: masked_store_nxv4i32:
 118 ; CHECK-NEXT: st1w { z0.s }, p0, [x0]
 119 ; CHECK-NEXT: ret
 120   call void @llvm.masked.store.nxv4i32(<vscale x 4 x i32> %val, <vscale x 4 x i32> *%a, i32 4, <vscale x 4 x i1> %mask)
 121   ret void
 122 }
 123
 124 define void @masked_store_nxv8i16(<vscale x 8 x i16> *%a, <vscale x 8 x i16> %val, <vscale x 8 x i1> %mask) nounwind {
 125 ; CHECK-LABEL: masked_store_nxv8i16:
 126 ; CHECK-NEXT: st1h { z0.h }, p0, [x0]
 127 ; CHECK-NEXT: ret
 128   call void @llvm.masked.store.nxv8i16(<vscale x 8 x i16> %val, <vscale x 8 x i16> *%a, i32 2, <vscale x 8 x i1> %mask)
 129   ret void
 130 }
 131
 132 define void @masked_store_nxv16i8(<vscale x 16 x i8> *%a, <vscale x 16 x i8> %val, <vscale x 16 x i1> %mask) nounwind {
 133 ; CHECK-LABEL: masked_store_nxv16i8:
 134 ; CHECK-NEXT: st1b { z0.b }, p0, [x0]
 135 ; CHECK-NEXT: ret
 136   call void @llvm.masked.store.nxv16i8(<vscale x 16 x i8> %val, <vscale x 16 x i8> *%a, i32 1, <vscale x 16 x i1> %mask)
 137   ret void
 138 }
 139
 140 define void @masked_store_nxv2f64(<vscale x 2 x double> *%a, <vscale x 2 x double> %val, <vscale x 2 x i1> %mask) nounwind {
 141 ; CHECK-LABEL: masked_store_nxv2f64:
 142 ; CHECK-NEXT: st1d { z0.d }, p0, [x0]
 143 ; CHECK-NEXT: ret
 144   call void @llvm.masked.store.nxv2f64(<vscale x 2 x double> %val, <vscale x 2 x double> *%a, i32 8, <vscale x 2 x i1> %mask)
 145   ret void
 146 }
 147
 148 define void @masked_store_nxv2f32(<vscale x 2 x float> *%a, <vscale x 2 x float> %val, <vscale x 2 x i1> %mask) nounwind {
 149 ; CHECK-LABEL: masked_store_nxv2f32:
 150 ; CHECK-NEXT: st1w { z0.d }, p0, [x0]
 151 ; CHECK-NEXT: ret
 152   call void @llvm.masked.store.nxv2f32(<vscale x 2 x float> %val, <vscale x 2 x float> *%a, i32 4, <vscale x 2 x i1> %mask)
 153   ret void
 154 }
 155
 156 define void @masked_store_nxv2f16(<vscale x 2 x half> *%a, <vscale x 2 x half> %val, <vscale x 2 x i1> %mask) nounwind {
 157 ; CHECK-LABEL: masked_store_nxv2f16:
 158 ; CHECK-NEXT: st1h { z0.d }, p0, [x0]
 159 ; CHECK-NEXT: ret
 160   call void @llvm.masked.store.nxv2f16(<vscale x 2 x half> %val, <vscale x 2 x half> *%a, i32 4, <vscale x 2 x i1> %mask)
 161   ret void
 162 }
 163
 164 define void @masked_store_nxv4f32(<vscale x 4 x float> *%a, <vscale x 4 x float> %val, <vscale x 4 x i1> %mask) nounwind {
 165 ; CHECK-LABEL: masked_store_nxv4f32:
 166 ; CHECK-NEXT: st1w { z0.s }, p0, [x0]
 167 ; CHECK-NEXT: ret
 168   call void @llvm.masked.store.nxv4f32(<vscale x 4 x float> %val, <vscale x 4 x float> *%a, i32 4, <vscale x 4 x i1> %mask)
 169   ret void
 170 }
 171
 172 define void @masked_store_nxv4f16(<vscale x 4 x half> *%a, <vscale x 4 x half> %val, <vscale x 4 x i1> %mask) nounwind {
 173 ; CHECK-LABEL: masked_store_nxv4f16:
 174 ; CHECK-NEXT: st1h { z0.s }, p0, [x0]
 175 ; CHECK-NEXT: ret
 176   call void @llvm.masked.store.nxv4f16(<vscale x 4 x half> %val, <vscale x 4 x half> *%a, i32 2, <vscale x 4 x i1> %mask)
 177   ret void
 178 }
 179
 180 define void @masked_store_nxv8f16(<vscale x 8 x half> *%a, <vscale x 8 x half> %val, <vscale x 8 x i1> %mask) nounwind {
 181 ; CHECK-LABEL: masked_store_nxv8f16:
 182 ; CHECK-NEXT: st1h { z0.h }, p0, [x0]
 183 ; CHECK-NEXT: ret
 184   call void @llvm.masked.store.nxv8f16(<vscale x 8 x half> %val, <vscale x 8 x half> *%a, i32 2, <vscale x 8 x i1> %mask)
 185   ret void
 186 }
 187
 188 define void @masked_store_nxv8bf16(<vscale x 8 x bfloat> *%a, <vscale x 8 x bfloat> %val, <vscale x 8 x i1> %mask) nounwind #0 {
 189 ; CHECK-LABEL: masked_store_nxv8bf16:
 190 ; CHECK-NEXT: st1h { z0.h }, p0, [x0]
 191 ; CHECK-NEXT: ret
 192   call void @llvm.masked.store.nxv8bf16(<vscale x 8 x bfloat> %val, <vscale x 8 x bfloat> *%a, i32 2, <vscale x 8 x i1> %mask)
 193   ret void
 194 }
 195
 196 ;
 197 ; Masked load store of pointer data type
 198 ;
 199
 200 ; Pointer of integer type
 201
 202 define <vscale x 2 x i8*> @masked.load.nxv2p0i8(<vscale x 2 x i8*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 203 ; CHECK-LABEL: masked.load.nxv2p0i8:
 204 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 205 ; CHECK-NEXT:    ret
 206   %v = call <vscale x 2 x i8*> @llvm.masked.load.nxv2p0i8.p0nxv2p0i8(<vscale x 2 x i8*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i8*> undef)
 207   ret <vscale x 2 x i8*> %v
 208 }
 209 define <vscale x 2 x i16*> @masked.load.nxv2p0i16(<vscale x 2 x i16*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 210 ; CHECK-LABEL: masked.load.nxv2p0i16:
 211 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 212 ; CHECK-NEXT:    ret
 213   %v = call <vscale x 2 x i16*> @llvm.masked.load.nxv2p0i16.p0nxv2p0i16(<vscale x 2 x i16*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i16*> undef)
 214   ret <vscale x 2 x i16*> %v
 215 }
 216 define <vscale x 2 x i32*> @masked.load.nxv2p0i32(<vscale x 2 x i32*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 217 ; CHECK-LABEL: masked.load.nxv2p0i32:
 218 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 219 ; CHECK-NEXT:    ret
 220   %v = call <vscale x 2 x i32*> @llvm.masked.load.nxv2p0i32.p0nxv2p0i32(<vscale x 2 x i32*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i32*> undef)
 221   ret <vscale x 2 x i32*> %v
 222 }
 223 define <vscale x 2 x i64*> @masked.load.nxv2p0i64(<vscale x 2 x i64*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 224 ; CHECK-LABEL: masked.load.nxv2p0i64:
 225 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 226 ; CHECK-NEXT:    ret
 227   %v = call <vscale x 2 x i64*> @llvm.masked.load.nxv2p0i64.p0nxv2p0i64(<vscale x 2 x i64*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x i64*> undef)
 228   ret <vscale x 2 x i64*> %v
 229 }
 230
 231 ; Pointer of floating-point type
 232
 233 define <vscale x 2 x bfloat*> @masked.load.nxv2p0bf16(<vscale x 2 x bfloat*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind #0 {
 234 ; CHECK-LABEL: masked.load.nxv2p0bf16:
 235 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 236 ; CHECK-NEXT:    ret
 237   %v = call <vscale x 2 x bfloat*> @llvm.masked.load.nxv2p0bf16.p0nxv2p0bf16(<vscale x 2 x bfloat*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x bfloat*> undef)
 238   ret <vscale x 2 x bfloat*> %v
 239 }
 240 define <vscale x 2 x half*> @masked.load.nxv2p0f16(<vscale x 2 x half*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 241 ; CHECK-LABEL: masked.load.nxv2p0f16:
 242 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 243 ; CHECK-NEXT:    ret
 244   %v = call <vscale x 2 x half*> @llvm.masked.load.nxv2p0f16.p0nxv2p0f16(<vscale x 2 x half*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x half*> undef)
 245   ret <vscale x 2 x half*> %v
 246 }
 247 define <vscale x 2 x float*> @masked.load.nxv2p0f32(<vscale x 2 x float*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 248 ; CHECK-LABEL: masked.load.nxv2p0f32:
 249 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 250 ; CHECK-NEXT:    ret
 251   %v = call <vscale x 2 x float*> @llvm.masked.load.nxv2p0f32.p0nxv2p0f32(<vscale x 2 x float*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x float*> undef)
 252   ret <vscale x 2 x float*> %v
 253 }
 254 define <vscale x 2 x double*> @masked.load.nxv2p0f64(<vscale x 2 x double*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 255 ; CHECK-LABEL: masked.load.nxv2p0f64:
 256 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 257 ; CHECK-NEXT:    ret
 258   %v = call <vscale x 2 x double*> @llvm.masked.load.nxv2p0f64.p0nxv2p0f64(<vscale x 2 x double*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask, <vscale x 2 x double*> undef)
 259   ret <vscale x 2 x double*> %v
 260 }
 261
 262 ; Pointer of array type
 263
 264 define void @masked.store.nxv2p0a64i16(<vscale x 2 x [64 x i16]*> %data, <vscale x 2 x [64 x i16]*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 265 ; CHECK-LABEL: masked.store.nxv2p0a64i16:
 266 ; CHECK-NEXT:    st1d { z0.d }, p0, [x0]
 267 ; CHECK-NEXT:    ret
 268   call void @llvm.masked.store.nxv2p0a64i16.p0nxv2p0a64i16(<vscale x 2 x [64 x i16]*> %data, <vscale x 2 x [64 x i16]*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask)
 269   ret void
 270 }
 271
 272 ; Pointer of struct type
 273
 274 %struct = type { i8*, i32 }
 275 define void @masked.store.nxv2p0s_struct(<vscale x 2 x %struct*> %data, <vscale x 2 x %struct*>* %vector_ptr, <vscale x 2 x i1> %mask) nounwind {
 276 ; CHECK-LABEL: masked.store.nxv2p0s_struct:
 277 ; CHECK-NEXT:    st1d { z0.d }, p0, [x0]
 278 ; CHECK-NEXT:    ret
 279   call void @llvm.masked.store.nxv2p0s_struct.p0nxv2p0s_struct(<vscale x 2 x %struct*> %data, <vscale x 2 x %struct*>* %vector_ptr, i32 8, <vscale x 2 x i1> %mask)
 280   ret void
 281 }
 282
 283
 284 declare <vscale x 2 x i64> @llvm.masked.load.nxv2i64(<vscale x 2 x i64>*, i32, <vscale x 2 x i1>, <vscale x 2 x i64>)
 285 declare <vscale x 4 x i32> @llvm.masked.load.nxv4i32(<vscale x 4 x i32>*, i32, <vscale x 4 x i1>, <vscale x 4 x i32>)
 286 declare <vscale x 8 x i16> @llvm.masked.load.nxv8i16(<vscale x 8 x i16>*, i32, <vscale x 8 x i1>, <vscale x 8 x i16>)
 287 declare <vscale x 16 x i8> @llvm.masked.load.nxv16i8(<vscale x 16 x i8>*, i32, <vscale x 16 x i1>, <vscale x 16 x i8>)
 288
 289 declare <vscale x 2 x double> @llvm.masked.load.nxv2f64(<vscale x 2 x double>*, i32, <vscale x 2 x i1>, <vscale x 2 x double>)
 290 declare <vscale x 2 x float> @llvm.masked.load.nxv2f32(<vscale x 2 x float>*, i32, <vscale x 2 x i1>, <vscale x 2 x float>)
 291 declare <vscale x 2 x half> @llvm.masked.load.nxv2f16(<vscale x 2 x half>*, i32, <vscale x 2 x i1>, <vscale x 2 x half>)
 292 declare <vscale x 4 x float> @llvm.masked.load.nxv4f32(<vscale x 4 x float>*, i32, <vscale x 4 x i1>, <vscale x 4 x float>)
 293 declare <vscale x 4 x half> @llvm.masked.load.nxv4f16(<vscale x 4 x half>*, i32, <vscale x 4 x i1>, <vscale x 4 x half>)
 294 declare <vscale x 8 x half> @llvm.masked.load.nxv8f16(<vscale x 8 x half>*, i32, <vscale x 8 x i1>, <vscale x 8 x half>)
 295 declare <vscale x 8 x bfloat> @llvm.masked.load.nxv8bf16(<vscale x 8 x bfloat>*, i32, <vscale x 8 x i1>, <vscale x 8 x bfloat>)
 296
 297 declare void @llvm.masked.store.nxv2i64(<vscale x 2 x i64>, <vscale x 2 x i64>*, i32, <vscale x 2 x i1>)
 298 declare void @llvm.masked.store.nxv4i32(<vscale x 4 x i32>, <vscale x 4 x i32>*, i32, <vscale x 4 x i1>)
 299 declare void @llvm.masked.store.nxv8i16(<vscale x 8 x i16>, <vscale x 8 x i16>*, i32, <vscale x 8 x i1>)
 300 declare void @llvm.masked.store.nxv16i8(<vscale x 16 x i8>, <vscale x 16 x i8>*, i32, <vscale x 16 x i1>)
 301
 302 declare void @llvm.masked.store.nxv2f64(<vscale x 2 x double>, <vscale x 2 x double>*, i32, <vscale x 2 x i1>)
 303 declare void @llvm.masked.store.nxv2f32(<vscale x 2 x float>, <vscale x 2 x float>*, i32, <vscale x 2 x i1>)
 304 declare void @llvm.masked.store.nxv2f16(<vscale x 2 x half>, <vscale x 2 x half>*, i32, <vscale x 2 x i1>)
 305 declare void @llvm.masked.store.nxv4f32(<vscale x 4 x float>, <vscale x 4 x float>*, i32, <vscale x 4 x i1>)
 306 declare void @llvm.masked.store.nxv4f16(<vscale x 4 x half>, <vscale x 4 x half>*, i32, <vscale x 4 x i1>)
 307 declare void @llvm.masked.store.nxv8f16(<vscale x 8 x half>, <vscale x 8 x half>*, i32, <vscale x 8 x i1>)
 308 declare void @llvm.masked.store.nxv8bf16(<vscale x 8 x bfloat>, <vscale x 8 x bfloat>*, i32, <vscale x 8 x i1>)
 309
 310 declare <vscale x 2 x i8*> @llvm.masked.load.nxv2p0i8.p0nxv2p0i8(<vscale x 2 x i8*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x i8*>)
 311 declare <vscale x 2 x i16*> @llvm.masked.load.nxv2p0i16.p0nxv2p0i16(<vscale x 2 x i16*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x i16*>)
 312 declare <vscale x 2 x i32*> @llvm.masked.load.nxv2p0i32.p0nxv2p0i32(<vscale x 2 x i32*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x i32*>)
 313 declare <vscale x 2 x i64*> @llvm.masked.load.nxv2p0i64.p0nxv2p0i64(<vscale x 2 x i64*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x i64*>)
 314
 315 declare <vscale x 2 x bfloat*> @llvm.masked.load.nxv2p0bf16.p0nxv2p0bf16(<vscale x 2 x bfloat*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x bfloat*>)
 316 declare <vscale x 2 x half*> @llvm.masked.load.nxv2p0f16.p0nxv2p0f16(<vscale x 2 x half*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x half*>)
 317 declare <vscale x 2 x float*> @llvm.masked.load.nxv2p0f32.p0nxv2p0f32(<vscale x 2 x float*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x float*>)
 318 declare <vscale x 2 x double*> @llvm.masked.load.nxv2p0f64.p0nxv2p0f64(<vscale x 2 x double*>*, i32 immarg, <vscale x 2 x i1>, <vscale x 2 x double*>)
 319
 320 declare void @llvm.masked.store.nxv2p0a64i16.p0nxv2p0a64i16(<vscale x 2 x [64 x i16]*>, <vscale x 2 x [64 x i16]*>*, i32 immarg, <vscale x 2 x i1>)
 321
 322 declare void @llvm.masked.store.nxv2p0s_struct.p0nxv2p0s_struct(<vscale x 2 x %struct*>, <vscale x 2 x %struct*>*, i32 immarg, <vscale x 2 x i1>)
 323
 324 ; +bf16 is required for the bfloat version.
 325 attributes #0 = { "target-features"="+sve,+bf16" }