llvm/test/CodeGen/AArch64/sve-streaming-mode-fixed-length-masked-load.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mattr=+sve -force-streaming-compatible-sve < %s | FileCheck %s
   3
   4
   5 target triple = "aarch64-unknown-linux-gnu"
   6
   7 ;
   8 ; Masked Load
   9 ;
  10
  11 define <4 x i8> @masked_load_v4i8(ptr %src, <4 x i1> %mask) {
  12 ; CHECK-LABEL: masked_load_v4i8:
  13 ; CHECK:       // %bb.0:
  14 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
  15 ; CHECK-NEXT:    ptrue p0.h, vl4
  16 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
  17 ; CHECK-NEXT:    asr z0.h, z0.h, #15
  18 ; CHECK-NEXT:    cmpne p0.h, p0/z, z0.h, #0
  19 ; CHECK-NEXT:    ld1b { z0.h }, p0/z, [x0]
  20 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
  21 ; CHECK-NEXT:    ret
  22   %load = call <4 x i8> @llvm.masked.load.v4i8(ptr %src, i32 8, <4 x i1> %mask, <4 x i8> zeroinitializer)
  23   ret <4 x i8> %load
  24 }
  25
  26 define <8 x i8> @masked_load_v8i8(ptr %src, <8 x i1> %mask) {
  27 ; CHECK-LABEL: masked_load_v8i8:
  28 ; CHECK:       // %bb.0:
  29 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
  30 ; CHECK-NEXT:    ptrue p0.b, vl8
  31 ; CHECK-NEXT:    lsl z0.b, z0.b, #7
  32 ; CHECK-NEXT:    asr z0.b, z0.b, #7
  33 ; CHECK-NEXT:    cmpne p0.b, p0/z, z0.b, #0
  34 ; CHECK-NEXT:    ld1b { z0.b }, p0/z, [x0]
  35 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
  36 ; CHECK-NEXT:    ret
  37   %load = call <8 x i8> @llvm.masked.load.v8i8(ptr %src, i32 8, <8 x i1> %mask, <8 x i8> zeroinitializer)
  38   ret <8 x i8> %load
  39 }
  40
  41 define <16 x i8> @masked_load_v16i8(ptr %src, <16 x i1> %mask) {
  42 ; CHECK-LABEL: masked_load_v16i8:
  43 ; CHECK:       // %bb.0:
  44 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
  45 ; CHECK-NEXT:    ptrue p0.b, vl16
  46 ; CHECK-NEXT:    lsl z0.b, z0.b, #7
  47 ; CHECK-NEXT:    asr z0.b, z0.b, #7
  48 ; CHECK-NEXT:    cmpne p0.b, p0/z, z0.b, #0
  49 ; CHECK-NEXT:    ld1b { z0.b }, p0/z, [x0]
  50 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
  51 ; CHECK-NEXT:    ret
  52   %load = call <16 x i8> @llvm.masked.load.v16i8(ptr %src, i32 8, <16 x i1> %mask, <16 x i8> zeroinitializer)
  53   ret <16 x i8> %load
  54 }
  55
  56 define <32 x i8> @masked_load_v32i8(ptr %src, <32 x i1> %mask) {
  57 ; CHECK-LABEL: masked_load_v32i8:
  58 ; CHECK:       // %bb.0:
  59 ; CHECK-NEXT:    sub sp, sp, #32
  60 ; CHECK-NEXT:    .cfi_def_cfa_offset 32
  61 ; CHECK-NEXT:    ldr w8, [sp, #224]
  62 ; CHECK-NEXT:    ldr w9, [sp, #216]
  63 ; CHECK-NEXT:    ptrue p0.b, vl16
  64 ; CHECK-NEXT:    strb w7, [sp, #6]
  65 ; CHECK-NEXT:    strb w8, [sp, #31]
  66 ; CHECK-NEXT:    ldr w8, [sp, #208]
  67 ; CHECK-NEXT:    strb w9, [sp, #30]
  68 ; CHECK-NEXT:    ldr w9, [sp, #200]
  69 ; CHECK-NEXT:    strb w8, [sp, #29]
  70 ; CHECK-NEXT:    ldr w8, [sp, #192]
  71 ; CHECK-NEXT:    strb w9, [sp, #28]
  72 ; CHECK-NEXT:    ldr w9, [sp, #184]
  73 ; CHECK-NEXT:    strb w8, [sp, #27]
  74 ; CHECK-NEXT:    ldr w8, [sp, #176]
  75 ; CHECK-NEXT:    strb w9, [sp, #26]
  76 ; CHECK-NEXT:    ldr w9, [sp, #168]
  77 ; CHECK-NEXT:    strb w8, [sp, #25]
  78 ; CHECK-NEXT:    ldr w8, [sp, #160]
  79 ; CHECK-NEXT:    strb w9, [sp, #24]
  80 ; CHECK-NEXT:    ldr w9, [sp, #152]
  81 ; CHECK-NEXT:    strb w8, [sp, #23]
  82 ; CHECK-NEXT:    ldr w8, [sp, #144]
  83 ; CHECK-NEXT:    strb w9, [sp, #22]
  84 ; CHECK-NEXT:    ldr w9, [sp, #136]
  85 ; CHECK-NEXT:    strb w8, [sp, #21]
  86 ; CHECK-NEXT:    ldr w8, [sp, #128]
  87 ; CHECK-NEXT:    strb w9, [sp, #20]
  88 ; CHECK-NEXT:    ldr w9, [sp, #120]
  89 ; CHECK-NEXT:    strb w8, [sp, #19]
  90 ; CHECK-NEXT:    ldr w8, [sp, #112]
  91 ; CHECK-NEXT:    strb w9, [sp, #18]
  92 ; CHECK-NEXT:    ldr w9, [sp, #104]
  93 ; CHECK-NEXT:    strb w8, [sp, #17]
  94 ; CHECK-NEXT:    ldr w8, [sp, #96]
  95 ; CHECK-NEXT:    strb w9, [sp, #16]
  96 ; CHECK-NEXT:    ldr w9, [sp, #88]
  97 ; CHECK-NEXT:    strb w8, [sp, #15]
  98 ; CHECK-NEXT:    ldr w8, [sp, #80]
  99 ; CHECK-NEXT:    strb w9, [sp, #14]
 100 ; CHECK-NEXT:    ldr w9, [sp, #72]
 101 ; CHECK-NEXT:    strb w8, [sp, #13]
 102 ; CHECK-NEXT:    ldr w8, [sp, #64]
 103 ; CHECK-NEXT:    strb w9, [sp, #12]
 104 ; CHECK-NEXT:    ldr w9, [sp, #56]
 105 ; CHECK-NEXT:    strb w8, [sp, #11]
 106 ; CHECK-NEXT:    ldr w8, [sp, #48]
 107 ; CHECK-NEXT:    strb w9, [sp, #10]
 108 ; CHECK-NEXT:    ldr w9, [sp, #40]
 109 ; CHECK-NEXT:    strb w8, [sp, #9]
 110 ; CHECK-NEXT:    ldr w8, [sp, #32]
 111 ; CHECK-NEXT:    strb w9, [sp, #8]
 112 ; CHECK-NEXT:    strb w8, [sp, #7]
 113 ; CHECK-NEXT:    mov w8, #16 // =0x10
 114 ; CHECK-NEXT:    strb w6, [sp, #5]
 115 ; CHECK-NEXT:    strb w5, [sp, #4]
 116 ; CHECK-NEXT:    strb w4, [sp, #3]
 117 ; CHECK-NEXT:    strb w3, [sp, #2]
 118 ; CHECK-NEXT:    strb w2, [sp, #1]
 119 ; CHECK-NEXT:    strb w1, [sp]
 120 ; CHECK-NEXT:    ldp q1, q0, [sp]
 121 ; CHECK-NEXT:    lsl z0.b, z0.b, #7
 122 ; CHECK-NEXT:    lsl z1.b, z1.b, #7
 123 ; CHECK-NEXT:    asr z0.b, z0.b, #7
 124 ; CHECK-NEXT:    asr z1.b, z1.b, #7
 125 ; CHECK-NEXT:    cmpne p1.b, p0/z, z0.b, #0
 126 ; CHECK-NEXT:    cmpne p0.b, p0/z, z1.b, #0
 127 ; CHECK-NEXT:    ld1b { z0.b }, p0/z, [x0]
 128 ; CHECK-NEXT:    ld1b { z1.b }, p1/z, [x0, x8]
 129 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 130 ; CHECK-NEXT:    // kill: def $q1 killed $q1 killed $z1
 131 ; CHECK-NEXT:    add sp, sp, #32
 132 ; CHECK-NEXT:    ret
 133   %load = call <32 x i8> @llvm.masked.load.v32i8(ptr %src, i32 8, <32 x i1> %mask, <32 x i8> zeroinitializer)
 134   ret <32 x i8> %load
 135 }
 136
 137 define <2 x half> @masked_load_v2f16(ptr %src, <2 x i1> %mask) {
 138 ; CHECK-LABEL: masked_load_v2f16:
 139 ; CHECK:       // %bb.0:
 140 ; CHECK-NEXT:    sub sp, sp, #16
 141 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 142 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 143 ; CHECK-NEXT:    mov z1.s, z0.s[1]
 144 ; CHECK-NEXT:    fmov w8, s0
 145 ; CHECK-NEXT:    str wzr, [sp, #12]
 146 ; CHECK-NEXT:    ptrue p0.h, vl4
 147 ; CHECK-NEXT:    strh w8, [sp, #8]
 148 ; CHECK-NEXT:    fmov w8, s1
 149 ; CHECK-NEXT:    strh w8, [sp, #10]
 150 ; CHECK-NEXT:    ldr d0, [sp, #8]
 151 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 152 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 153 ; CHECK-NEXT:    cmpne p0.h, p0/z, z0.h, #0
 154 ; CHECK-NEXT:    ld1h { z0.h }, p0/z, [x0]
 155 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 156 ; CHECK-NEXT:    add sp, sp, #16
 157 ; CHECK-NEXT:    ret
 158   %load = call <2 x half> @llvm.masked.load.v2f16(ptr %src, i32 8, <2 x i1> %mask, <2 x half> zeroinitializer)
 159   ret <2 x half> %load
 160 }
 161
 162 define <4 x half> @masked_load_v4f16(ptr %src, <4 x i1> %mask) {
 163 ; CHECK-LABEL: masked_load_v4f16:
 164 ; CHECK:       // %bb.0:
 165 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 166 ; CHECK-NEXT:    ptrue p0.h, vl4
 167 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 168 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 169 ; CHECK-NEXT:    cmpne p0.h, p0/z, z0.h, #0
 170 ; CHECK-NEXT:    ld1h { z0.h }, p0/z, [x0]
 171 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 172 ; CHECK-NEXT:    ret
 173   %load = call <4 x half> @llvm.masked.load.v4f16(ptr %src, i32 8, <4 x i1> %mask, <4 x half> zeroinitializer)
 174   ret <4 x half> %load
 175 }
 176
 177 define <8 x half> @masked_load_v8f16(ptr %src, <8 x i1> %mask) {
 178 ; CHECK-LABEL: masked_load_v8f16:
 179 ; CHECK:       // %bb.0:
 180 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 181 ; CHECK-NEXT:    ptrue p0.h, vl8
 182 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 183 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 184 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 185 ; CHECK-NEXT:    cmpne p0.h, p0/z, z0.h, #0
 186 ; CHECK-NEXT:    ld1h { z0.h }, p0/z, [x0]
 187 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 188 ; CHECK-NEXT:    ret
 189   %load = call <8 x half> @llvm.masked.load.v8f16(ptr %src, i32 8, <8 x i1> %mask, <8 x half> zeroinitializer)
 190   ret <8 x half> %load
 191 }
 192
 193 define <16 x half> @masked_load_v16f16(ptr %src, <16 x i1> %mask) {
 194 ; CHECK-LABEL: masked_load_v16f16:
 195 ; CHECK:       // %bb.0:
 196 ; CHECK-NEXT:    // kill: def $q0 killed $q0 def $z0
 197 ; CHECK-NEXT:    uunpklo z1.h, z0.b
 198 ; CHECK-NEXT:    ptrue p0.h, vl8
 199 ; CHECK-NEXT:    mov x8, #8 // =0x8
 200 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 201 ; CHECK-NEXT:    uunpklo z0.h, z0.b
 202 ; CHECK-NEXT:    lsl z1.h, z1.h, #15
 203 ; CHECK-NEXT:    asr z1.h, z1.h, #15
 204 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 205 ; CHECK-NEXT:    cmpne p1.h, p0/z, z1.h, #0
 206 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 207 ; CHECK-NEXT:    cmpne p0.h, p0/z, z0.h, #0
 208 ; CHECK-NEXT:    ld1h { z0.h }, p1/z, [x0]
 209 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 210 ; CHECK-NEXT:    ld1h { z1.h }, p0/z, [x0, x8, lsl #1]
 211 ; CHECK-NEXT:    // kill: def $q1 killed $q1 killed $z1
 212 ; CHECK-NEXT:    ret
 213   %load = call <16 x half> @llvm.masked.load.v16f16(ptr %src, i32 8, <16 x i1> %mask, <16 x half> zeroinitializer)
 214   ret <16 x half> %load
 215 }
 216
 217 define <2 x float> @masked_load_v2f32(ptr %src, <2 x i1> %mask) {
 218 ; CHECK-LABEL: masked_load_v2f32:
 219 ; CHECK:       // %bb.0:
 220 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 221 ; CHECK-NEXT:    ptrue p0.s, vl2
 222 ; CHECK-NEXT:    lsl z0.s, z0.s, #31
 223 ; CHECK-NEXT:    asr z0.s, z0.s, #31
 224 ; CHECK-NEXT:    cmpne p0.s, p0/z, z0.s, #0
 225 ; CHECK-NEXT:    ld1w { z0.s }, p0/z, [x0]
 226 ; CHECK-NEXT:    // kill: def $d0 killed $d0 killed $z0
 227 ; CHECK-NEXT:    ret
 228   %load = call <2 x float> @llvm.masked.load.v2f32(ptr %src, i32 8, <2 x i1> %mask, <2 x float> zeroinitializer)
 229   ret <2 x float> %load
 230 }
 231
 232 define <4 x float> @masked_load_v4f32(ptr %src, <4 x i1> %mask) {
 233 ; CHECK-LABEL: masked_load_v4f32:
 234 ; CHECK:       // %bb.0:
 235 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 236 ; CHECK-NEXT:    ptrue p0.s, vl4
 237 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 238 ; CHECK-NEXT:    lsl z0.s, z0.s, #31
 239 ; CHECK-NEXT:    asr z0.s, z0.s, #31
 240 ; CHECK-NEXT:    cmpne p0.s, p0/z, z0.s, #0
 241 ; CHECK-NEXT:    ld1w { z0.s }, p0/z, [x0]
 242 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 243 ; CHECK-NEXT:    ret
 244   %load = call <4 x float> @llvm.masked.load.v4f32(ptr %src, i32 8, <4 x i1> %mask, <4 x float> zeroinitializer)
 245   ret <4 x float> %load
 246 }
 247
 248 define <8 x float> @masked_load_v8f32(ptr %src, <8 x i1> %mask) {
 249 ; CHECK-LABEL: masked_load_v8f32:
 250 ; CHECK:       // %bb.0:
 251 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 252 ; CHECK-NEXT:    fmov w8, s0
 253 ; CHECK-NEXT:    ptrue p0.s, vl4
 254 ; CHECK-NEXT:    mov z1.b, z0.b[3]
 255 ; CHECK-NEXT:    mov z2.b, z0.b[2]
 256 ; CHECK-NEXT:    mov z3.b, z0.b[1]
 257 ; CHECK-NEXT:    mov z4.b, z0.b[7]
 258 ; CHECK-NEXT:    strh w8, [sp, #-16]!
 259 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 260 ; CHECK-NEXT:    fmov w8, s1
 261 ; CHECK-NEXT:    mov z1.b, z0.b[6]
 262 ; CHECK-NEXT:    strh w8, [sp, #6]
 263 ; CHECK-NEXT:    fmov w8, s2
 264 ; CHECK-NEXT:    mov z2.b, z0.b[5]
 265 ; CHECK-NEXT:    mov z0.b, z0.b[4]
 266 ; CHECK-NEXT:    strh w8, [sp, #4]
 267 ; CHECK-NEXT:    fmov w8, s3
 268 ; CHECK-NEXT:    strh w8, [sp, #2]
 269 ; CHECK-NEXT:    fmov w8, s4
 270 ; CHECK-NEXT:    strh w8, [sp, #14]
 271 ; CHECK-NEXT:    fmov w8, s1
 272 ; CHECK-NEXT:    strh w8, [sp, #12]
 273 ; CHECK-NEXT:    fmov w8, s2
 274 ; CHECK-NEXT:    strh w8, [sp, #10]
 275 ; CHECK-NEXT:    fmov w8, s0
 276 ; CHECK-NEXT:    strh w8, [sp, #8]
 277 ; CHECK-NEXT:    mov x8, #4 // =0x4
 278 ; CHECK-NEXT:    ldp d0, d1, [sp]
 279 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 280 ; CHECK-NEXT:    uunpklo z1.s, z1.h
 281 ; CHECK-NEXT:    lsl z0.s, z0.s, #31
 282 ; CHECK-NEXT:    lsl z1.s, z1.s, #31
 283 ; CHECK-NEXT:    asr z0.s, z0.s, #31
 284 ; CHECK-NEXT:    asr z1.s, z1.s, #31
 285 ; CHECK-NEXT:    cmpne p1.s, p0/z, z0.s, #0
 286 ; CHECK-NEXT:    cmpne p0.s, p0/z, z1.s, #0
 287 ; CHECK-NEXT:    ld1w { z0.s }, p1/z, [x0]
 288 ; CHECK-NEXT:    ld1w { z1.s }, p0/z, [x0, x8, lsl #2]
 289 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 290 ; CHECK-NEXT:    // kill: def $q1 killed $q1 killed $z1
 291 ; CHECK-NEXT:    add sp, sp, #16
 292 ; CHECK-NEXT:    ret
 293   %load = call <8 x float> @llvm.masked.load.v8f32(ptr %src, i32 8, <8 x i1> %mask, <8 x float> zeroinitializer)
 294   ret <8 x float> %load
 295 }
 296
 297 define <2 x double> @masked_load_v2f64(ptr %src, <2 x i1> %mask) {
 298 ; CHECK-LABEL: masked_load_v2f64:
 299 ; CHECK:       // %bb.0:
 300 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 301 ; CHECK-NEXT:    ptrue p0.d, vl2
 302 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 303 ; CHECK-NEXT:    lsl z0.d, z0.d, #63
 304 ; CHECK-NEXT:    asr z0.d, z0.d, #63
 305 ; CHECK-NEXT:    cmpne p0.d, p0/z, z0.d, #0
 306 ; CHECK-NEXT:    ld1d { z0.d }, p0/z, [x0]
 307 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 308 ; CHECK-NEXT:    ret
 309   %load = call <2 x double> @llvm.masked.load.v2f64(ptr %src, i32 8, <2 x i1> %mask, <2 x double> zeroinitializer)
 310   ret <2 x double> %load
 311 }
 312
 313 define <4 x double> @masked_load_v4f64(ptr %src, <4 x i1> %mask) {
 314 ; CHECK-LABEL: masked_load_v4f64:
 315 ; CHECK:       // %bb.0:
 316 ; CHECK-NEXT:    // kill: def $d0 killed $d0 def $z0
 317 ; CHECK-NEXT:    ptrue p0.d, vl2
 318 ; CHECK-NEXT:    mov x8, #2 // =0x2
 319 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 320 ; CHECK-NEXT:    uunpklo z1.d, z0.s
 321 ; CHECK-NEXT:    ext z0.b, z0.b, z0.b, #8
 322 ; CHECK-NEXT:    uunpklo z0.d, z0.s
 323 ; CHECK-NEXT:    lsl z1.d, z1.d, #63
 324 ; CHECK-NEXT:    lsl z0.d, z0.d, #63
 325 ; CHECK-NEXT:    asr z1.d, z1.d, #63
 326 ; CHECK-NEXT:    asr z0.d, z0.d, #63
 327 ; CHECK-NEXT:    cmpne p1.d, p0/z, z1.d, #0
 328 ; CHECK-NEXT:    cmpne p0.d, p0/z, z0.d, #0
 329 ; CHECK-NEXT:    ld1d { z0.d }, p1/z, [x0]
 330 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 331 ; CHECK-NEXT:    ld1d { z1.d }, p0/z, [x0, x8, lsl #3]
 332 ; CHECK-NEXT:    // kill: def $q1 killed $q1 killed $z1
 333 ; CHECK-NEXT:    ret
 334   %load = call <4 x double> @llvm.masked.load.v4f64(ptr %src, i32 8, <4 x i1> %mask, <4 x double> zeroinitializer)
 335   ret <4 x double> %load
 336 }
 337
 338 define <3 x i32> @masked_load_zext_v3i32(ptr %load_ptr, <3 x i1> %pm) {
 339 ; CHECK-LABEL: masked_load_zext_v3i32:
 340 ; CHECK:       // %bb.0:
 341 ; CHECK-NEXT:    sub sp, sp, #16
 342 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 343 ; CHECK-NEXT:    strh w3, [sp, #12]
 344 ; CHECK-NEXT:    adrp x8, .LCPI13_0
 345 ; CHECK-NEXT:    ptrue p0.s, vl4
 346 ; CHECK-NEXT:    strh w2, [sp, #10]
 347 ; CHECK-NEXT:    ldr d0, [x8, :lo12:.LCPI13_0]
 348 ; CHECK-NEXT:    strh w1, [sp, #8]
 349 ; CHECK-NEXT:    ldr d1, [sp, #8]
 350 ; CHECK-NEXT:    and z0.d, z1.d, z0.d
 351 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 352 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 353 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 354 ; CHECK-NEXT:    cmpne p0.s, p0/z, z0.s, #0
 355 ; CHECK-NEXT:    ld1h { z0.s }, p0/z, [x0]
 356 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 357 ; CHECK-NEXT:    add sp, sp, #16
 358 ; CHECK-NEXT:    ret
 359   %load_value = tail call <3 x i16> @llvm.masked.load.v3i16.p0(ptr %load_ptr, i32 4, <3 x i1> %pm, <3 x i16> zeroinitializer)
 360   %extend = zext <3 x i16> %load_value to <3 x i32>
 361   ret <3 x i32> %extend;
 362 }
 363
 364 define <3 x i32> @masked_load_sext_v3i32(ptr %load_ptr, <3 x i1> %pm) {
 365 ; CHECK-LABEL: masked_load_sext_v3i32:
 366 ; CHECK:       // %bb.0:
 367 ; CHECK-NEXT:    sub sp, sp, #16
 368 ; CHECK-NEXT:    .cfi_def_cfa_offset 16
 369 ; CHECK-NEXT:    strh w3, [sp, #12]
 370 ; CHECK-NEXT:    adrp x8, .LCPI14_0
 371 ; CHECK-NEXT:    ptrue p0.s, vl4
 372 ; CHECK-NEXT:    strh w2, [sp, #10]
 373 ; CHECK-NEXT:    ldr d0, [x8, :lo12:.LCPI14_0]
 374 ; CHECK-NEXT:    strh w1, [sp, #8]
 375 ; CHECK-NEXT:    ldr d1, [sp, #8]
 376 ; CHECK-NEXT:    and z0.d, z1.d, z0.d
 377 ; CHECK-NEXT:    lsl z0.h, z0.h, #15
 378 ; CHECK-NEXT:    asr z0.h, z0.h, #15
 379 ; CHECK-NEXT:    uunpklo z0.s, z0.h
 380 ; CHECK-NEXT:    cmpne p0.s, p0/z, z0.s, #0
 381 ; CHECK-NEXT:    ld1sh { z0.s }, p0/z, [x0]
 382 ; CHECK-NEXT:    // kill: def $q0 killed $q0 killed $z0
 383 ; CHECK-NEXT:    add sp, sp, #16
 384 ; CHECK-NEXT:    ret
 385   %load_value = tail call <3 x i16> @llvm.masked.load.v3i16.p0(ptr %load_ptr, i32 4, <3 x i1> %pm, <3 x i16> zeroinitializer)
 386   %extend = sext <3 x i16> %load_value to <3 x i32>
 387   ret <3 x i32> %extend;
 388 }
 389
 390 declare <4 x i8> @llvm.masked.load.v4i8(ptr, i32, <4 x i1>, <4 x i8>)
 391 declare <8 x i8> @llvm.masked.load.v8i8(ptr, i32, <8 x i1>, <8 x i8>)
 392 declare <16 x i8> @llvm.masked.load.v16i8(ptr, i32, <16 x i1>, <16 x i8>)
 393 declare <32 x i8> @llvm.masked.load.v32i8(ptr, i32, <32 x i1>, <32 x i8>)
 394
 395 declare <2 x half> @llvm.masked.load.v2f16(ptr, i32, <2 x i1>, <2 x half>)
 396 declare <4 x half> @llvm.masked.load.v4f16(ptr, i32, <4 x i1>, <4 x half>)
 397 declare <8 x half> @llvm.masked.load.v8f16(ptr, i32, <8 x i1>, <8 x half>)
 398 declare <16 x half> @llvm.masked.load.v16f16(ptr, i32, <16 x i1>, <16 x half>)
 399
 400 declare <2 x float> @llvm.masked.load.v2f32(ptr, i32, <2 x i1>, <2 x float>)
 401 declare <4 x float> @llvm.masked.load.v4f32(ptr, i32, <4 x i1>, <4 x float>)
 402 declare <8 x float> @llvm.masked.load.v8f32(ptr, i32, <8 x i1>, <8 x float>)
 403
 404 declare <2 x double> @llvm.masked.load.v2f64(ptr, i32, <2 x i1>, <2 x double>)
 405 declare <4 x double> @llvm.masked.load.v4f64(ptr, i32, <4 x i1>, <4 x double>)
 406
 407 declare <3 x i16> @llvm.masked.load.v3i16.p0(ptr, i32, <3 x i1>, <3 x i16>)