llvm/test/CodeGen/Thumb2/mve-scatter-ptrs.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=thumbv8.1m.main-none-none-eabi -mattr=+mve.fp -enable-arm-maskedldst %s -o - | FileCheck %s
   3
   4 ; i32
   5
   6 ; Expand
   7 define arm_aapcs_vfpcc void @ptr_v2i32(<2 x i32> %v, <2 x i32*>* %offptr) {
   8 ; CHECK-LABEL: ptr_v2i32:
   9 ; CHECK:       @ %bb.0: @ %entry
  10 ; CHECK-NEXT:    vmov r2, s0
  11 ; CHECK-NEXT:    ldrd r1, r0, [r0]
  12 ; CHECK-NEXT:    str r2, [r1]
  13 ; CHECK-NEXT:    vmov r1, s2
  14 ; CHECK-NEXT:    str r1, [r0]
  15 ; CHECK-NEXT:    bx lr
  16 entry:
  17   %offs = load <2 x i32*>, <2 x i32*>* %offptr, align 4
  18   call void @llvm.masked.scatter.v2i32.v2p0i32(<2 x i32> %v, <2 x i32*> %offs, i32 4, <2 x i1> <i1 true, i1 true>)
  19   ret void
  20 }
  21
  22 ; VSTRW.32 Qd, [offs, 0]
  23 define arm_aapcs_vfpcc void @ptr_v4i32(<4 x i32> %v, <4 x i32*>* %offptr) {
  24 ; CHECK-LABEL: ptr_v4i32:
  25 ; CHECK:       @ %bb.0: @ %entry
  26 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
  27 ; CHECK-NEXT:    vstrw.32 q0, [q1]
  28 ; CHECK-NEXT:    bx lr
  29 entry:
  30   %offs = load <4 x i32*>, <4 x i32*>* %offptr, align 4
  31   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %v, <4 x i32*> %offs, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
  32   ret void
  33 }
  34
  35 ; Expand
  36 define arm_aapcs_vfpcc void @ptr_v8i32(<8 x i32> %v, <8 x i32*>* %offptr) {
  37 ; CHECK-LABEL: ptr_v8i32:
  38 ; CHECK:       @ %bb.0: @ %entry
  39 ; CHECK-NEXT:    .save {r4, r5, r6, r7, lr}
  40 ; CHECK-NEXT:    push {r4, r5, r6, r7, lr}
  41 ; CHECK-NEXT:    vldrw.u32 q2, [r0]
  42 ; CHECK-NEXT:    vmov r3, r4, d0
  43 ; CHECK-NEXT:    vmov r1, r2, d4
  44 ; CHECK-NEXT:    vmov lr, r12, d5
  45 ; CHECK-NEXT:    vldrw.u32 q2, [r0, #16]
  46 ; CHECK-NEXT:    vmov r0, r5, d1
  47 ; CHECK-NEXT:    str r3, [r1]
  48 ; CHECK-NEXT:    vmov r1, r7, d4
  49 ; CHECK-NEXT:    str r4, [r2]
  50 ; CHECK-NEXT:    vmov r2, r4, d5
  51 ; CHECK-NEXT:    str.w r0, [lr]
  52 ; CHECK-NEXT:    vmov r0, r3, d2
  53 ; CHECK-NEXT:    str.w r5, [r12]
  54 ; CHECK-NEXT:    vmov r5, r6, d3
  55 ; CHECK-NEXT:    str r0, [r1]
  56 ; CHECK-NEXT:    str r3, [r7]
  57 ; CHECK-NEXT:    str r5, [r2]
  58 ; CHECK-NEXT:    str r6, [r4]
  59 ; CHECK-NEXT:    pop {r4, r5, r6, r7, pc}
  60 entry:
  61   %offs = load <8 x i32*>, <8 x i32*>* %offptr, align 4
  62   call void @llvm.masked.scatter.v8i32.v8p0i32(<8 x i32> %v, <8 x i32*> %offs, i32 4, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
  63   ret void
  64 }
  65
  66 ; Expand
  67 define arm_aapcs_vfpcc void @ptr_v16i32(<16 x i32> %v, <16 x i32*>* %offptr) {
  68 ; CHECK-LABEL: ptr_v16i32:
  69 ; CHECK:       @ %bb.0: @ %entry
  70 ; CHECK-NEXT:    .save {r4, r5, r6, r7, lr}
  71 ; CHECK-NEXT:    push {r4, r5, r6, r7, lr}
  72 ; CHECK-NEXT:    .pad #4
  73 ; CHECK-NEXT:    sub sp, #4
  74 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13}
  75 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13}
  76 ; CHECK-NEXT:    vldrw.u32 q4, [r0]
  77 ; CHECK-NEXT:    vmov r3, r4, d0
  78 ; CHECK-NEXT:    vldrw.u32 q5, [r0, #32]
  79 ; CHECK-NEXT:    vldrw.u32 q6, [r0, #16]
  80 ; CHECK-NEXT:    vmov r1, r2, d8
  81 ; CHECK-NEXT:    vmov lr, r12, d9
  82 ; CHECK-NEXT:    vldrw.u32 q4, [r0, #48]
  83 ; CHECK-NEXT:    vmov r0, r5, d1
  84 ; CHECK-NEXT:    str r3, [r1]
  85 ; CHECK-NEXT:    vmov r1, r3, d12
  86 ; CHECK-NEXT:    str r4, [r2]
  87 ; CHECK-NEXT:    vmov r2, r7, d13
  88 ; CHECK-NEXT:    str.w r0, [lr]
  89 ; CHECK-NEXT:    vmov r0, r4, d2
  90 ; CHECK-NEXT:    str.w r5, [r12]
  91 ; CHECK-NEXT:    vmov r5, r6, d3
  92 ; CHECK-NEXT:    str r0, [r1]
  93 ; CHECK-NEXT:    vmov r0, r1, d10
  94 ; CHECK-NEXT:    str r4, [r3]
  95 ; CHECK-NEXT:    vmov r3, r4, d11
  96 ; CHECK-NEXT:    str r5, [r2]
  97 ; CHECK-NEXT:    vmov r2, r5, d4
  98 ; CHECK-NEXT:    str r6, [r7]
  99 ; CHECK-NEXT:    vmov r7, r6, d5
 100 ; CHECK-NEXT:    str r2, [r0]
 101 ; CHECK-NEXT:    vmov r0, r2, d8
 102 ; CHECK-NEXT:    str r5, [r1]
 103 ; CHECK-NEXT:    vmov r1, r5, d9
 104 ; CHECK-NEXT:    str r7, [r3]
 105 ; CHECK-NEXT:    vmov r3, r7, d6
 106 ; CHECK-NEXT:    str r6, [r4]
 107 ; CHECK-NEXT:    vmov r6, r4, d7
 108 ; CHECK-NEXT:    str r3, [r0]
 109 ; CHECK-NEXT:    str r7, [r2]
 110 ; CHECK-NEXT:    str r6, [r1]
 111 ; CHECK-NEXT:    str r4, [r5]
 112 ; CHECK-NEXT:    vpop {d8, d9, d10, d11, d12, d13}
 113 ; CHECK-NEXT:    add sp, #4
 114 ; CHECK-NEXT:    pop {r4, r5, r6, r7, pc}
 115 entry:
 116   %offs = load <16 x i32*>, <16 x i32*>* %offptr, align 4
 117   call void @llvm.masked.scatter.v16i32.v16p0i32(<16 x i32> %v, <16 x i32*> %offs, i32 4, <16 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 118   ret void
 119 }
 120
 121 ; f32
 122
 123 ; Expand
 124 define arm_aapcs_vfpcc void @ptr_v2f32(<2 x float> %v, <2 x float*>* %offptr) {
 125 ; CHECK-LABEL: ptr_v2f32:
 126 ; CHECK:       @ %bb.0: @ %entry
 127 ; CHECK-NEXT:    ldrd r1, r0, [r0]
 128 ; CHECK-NEXT:    vstr s0, [r1]
 129 ; CHECK-NEXT:    vstr s1, [r0]
 130 ; CHECK-NEXT:    bx lr
 131 entry:
 132   %offs = load <2 x float*>, <2 x float*>* %offptr, align 4
 133   call void @llvm.masked.scatter.v2f32.v2p0f32(<2 x float> %v, <2 x float*> %offs, i32 4, <2 x i1> <i1 true, i1 true>)
 134   ret void
 135 }
 136
 137 ; VSTRW.32 Qd, [offs, 0]
 138 define arm_aapcs_vfpcc void @ptr_v4f32(<4 x float> %v, <4 x float*>* %offptr) {
 139 ; CHECK-LABEL: ptr_v4f32:
 140 ; CHECK:       @ %bb.0: @ %entry
 141 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 142 ; CHECK-NEXT:    vstrw.32 q0, [q1]
 143 ; CHECK-NEXT:    bx lr
 144 entry:
 145   %offs = load <4 x float*>, <4 x float*>* %offptr, align 4
 146   call void @llvm.masked.scatter.v4f32.v4p0f32(<4 x float> %v, <4 x float*> %offs, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 147   ret void
 148 }
 149
 150 ; Expand
 151 define arm_aapcs_vfpcc void @ptr_v8f32(<8 x float> %v, <8 x float*>* %offptr) {
 152 ; CHECK-LABEL: ptr_v8f32:
 153 ; CHECK:       @ %bb.0: @ %entry
 154 ; CHECK-NEXT:    .save {r4, r5, r7, lr}
 155 ; CHECK-NEXT:    push {r4, r5, r7, lr}
 156 ; CHECK-NEXT:    vldrw.u32 q2, [r0]
 157 ; CHECK-NEXT:    vmov r1, lr, d4
 158 ; CHECK-NEXT:    vmov r3, r12, d5
 159 ; CHECK-NEXT:    vldrw.u32 q2, [r0, #16]
 160 ; CHECK-NEXT:    vmov r0, r2, d4
 161 ; CHECK-NEXT:    vmov r4, r5, d5
 162 ; CHECK-NEXT:    vstr s0, [r1]
 163 ; CHECK-NEXT:    vstr s1, [lr]
 164 ; CHECK-NEXT:    vstr s2, [r3]
 165 ; CHECK-NEXT:    vstr s3, [r12]
 166 ; CHECK-NEXT:    vstr s4, [r0]
 167 ; CHECK-NEXT:    vstr s5, [r2]
 168 ; CHECK-NEXT:    vstr s6, [r4]
 169 ; CHECK-NEXT:    vstr s7, [r5]
 170 ; CHECK-NEXT:    pop {r4, r5, r7, pc}
 171 entry:
 172   %offs = load <8 x float*>, <8 x float*>* %offptr, align 4
 173   call void @llvm.masked.scatter.v8f32.v8p0f32(<8 x float> %v, <8 x float*> %offs, i32 4, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 174   ret void
 175 }
 176
 177 ; i16
 178
 179 ; Expand.
 180 define arm_aapcs_vfpcc void @ptr_i16(<8 x i16> %v, <8 x i16*>* %offptr) {
 181 ; CHECK-LABEL: ptr_i16:
 182 ; CHECK:       @ %bb.0: @ %entry
 183 ; CHECK-NEXT:    .save {r4, r5, r6, lr}
 184 ; CHECK-NEXT:    push {r4, r5, r6, lr}
 185 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 186 ; CHECK-NEXT:    vmov.u16 r6, q0[0]
 187 ; CHECK-NEXT:    vmov r1, r2, d2
 188 ; CHECK-NEXT:    vmov r3, r12, d3
 189 ; CHECK-NEXT:    vldrw.u32 q1, [r0, #16]
 190 ; CHECK-NEXT:    vmov r0, lr, d2
 191 ; CHECK-NEXT:    vmov r4, r5, d3
 192 ; CHECK-NEXT:    strh r6, [r1]
 193 ; CHECK-NEXT:    vmov.u16 r1, q0[1]
 194 ; CHECK-NEXT:    strh r1, [r2]
 195 ; CHECK-NEXT:    vmov.u16 r1, q0[2]
 196 ; CHECK-NEXT:    strh r1, [r3]
 197 ; CHECK-NEXT:    vmov.u16 r1, q0[3]
 198 ; CHECK-NEXT:    strh.w r1, [r12]
 199 ; CHECK-NEXT:    vmov.u16 r1, q0[4]
 200 ; CHECK-NEXT:    strh r1, [r0]
 201 ; CHECK-NEXT:    vmov.u16 r0, q0[5]
 202 ; CHECK-NEXT:    strh.w r0, [lr]
 203 ; CHECK-NEXT:    vmov.u16 r0, q0[6]
 204 ; CHECK-NEXT:    strh r0, [r4]
 205 ; CHECK-NEXT:    vmov.u16 r0, q0[7]
 206 ; CHECK-NEXT:    strh r0, [r5]
 207 ; CHECK-NEXT:    pop {r4, r5, r6, pc}
 208 entry:
 209   %offs = load <8 x i16*>, <8 x i16*>* %offptr, align 4
 210   call void @llvm.masked.scatter.v8i16.v8p0i16(<8 x i16> %v, <8 x i16*> %offs, i32 2, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 211   ret void
 212 }
 213
 214 ; Expand
 215 define arm_aapcs_vfpcc void @ptr_v2i16_trunc(<2 x i32> %v, <2 x i16*>* %offptr) {
 216 ; CHECK-LABEL: ptr_v2i16_trunc:
 217 ; CHECK:       @ %bb.0: @ %entry
 218 ; CHECK-NEXT:    vmov r2, s0
 219 ; CHECK-NEXT:    ldrd r1, r0, [r0]
 220 ; CHECK-NEXT:    strh r2, [r1]
 221 ; CHECK-NEXT:    vmov r1, s2
 222 ; CHECK-NEXT:    strh r1, [r0]
 223 ; CHECK-NEXT:    bx lr
 224 entry:
 225   %offs = load <2 x i16*>, <2 x i16*>* %offptr, align 4
 226   %ext = trunc <2 x i32> %v to <2 x i16>
 227   call void @llvm.masked.scatter.v2i16.v2p0i16(<2 x i16> %ext, <2 x i16*> %offs, i32 2, <2 x i1> <i1 true, i1 true>)
 228   ret void
 229 }
 230
 231 define arm_aapcs_vfpcc void @ptr_v4i16_trunc(<4 x i32> %v, <4 x i16*>* %offptr) {
 232 ; CHECK-LABEL: ptr_v4i16_trunc:
 233 ; CHECK:       @ %bb.0: @ %entry
 234 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 235 ; CHECK-NEXT:    movs r0, #0
 236 ; CHECK-NEXT:    vstrh.32 q0, [r0, q1]
 237 ; CHECK-NEXT:    bx lr
 238 entry:
 239   %offs = load <4 x i16*>, <4 x i16*>* %offptr, align 4
 240   %ext = trunc <4 x i32> %v to <4 x i16>
 241   call void @llvm.masked.scatter.v4i16.v4p0i16(<4 x i16> %ext, <4 x i16*> %offs, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 242   ret void
 243 }
 244
 245 define arm_aapcs_vfpcc void @ptr_v4i16_trunc_opaque(<4 x i32> %v, ptr %offptr) {
 246 ; CHECK-LABEL: ptr_v4i16_trunc_opaque:
 247 ; CHECK:       @ %bb.0: @ %entry
 248 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 249 ; CHECK-NEXT:    movs r0, #0
 250 ; CHECK-NEXT:    vstrh.32 q0, [r0, q1]
 251 ; CHECK-NEXT:    bx lr
 252 entry:
 253   %offs = load <4 x ptr>, ptr %offptr, align 4
 254   %ext = trunc <4 x i32> %v to <4 x i16>
 255   call void @llvm.masked.scatter.v4i16.v4p0(<4 x i16> %ext, <4 x ptr> %offs, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 256   ret void
 257 }
 258
 259 define arm_aapcs_vfpcc void @ptr_v4i16_dup(i32 %v, <4 x i16*> %offs) {
 260 ; CHECK-LABEL: ptr_v4i16_dup:
 261 ; CHECK:       @ %bb.0: @ %entry
 262 ; CHECK-NEXT:    vdup.32 q1, r0
 263 ; CHECK-NEXT:    movs r1, #0
 264 ; CHECK-NEXT:    vmovlb.u16 q1, q1
 265 ; CHECK-NEXT:    vstrh.32 q1, [r1, q0]
 266 ; CHECK-NEXT:    bx lr
 267 entry:
 268   %ext = trunc i32 %v to i16
 269   %splatinsert = insertelement <4 x i16> poison, i16 %ext, i32 0
 270   %splat = shufflevector <4 x i16> %splatinsert, <4 x i16> poison, <4 x i32> zeroinitializer
 271   call void @llvm.masked.scatter.v4i16.v4p0i16(<4 x i16> %splat, <4 x i16*> %offs, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 272   ret void
 273 }
 274
 275 ; Expand
 276 define arm_aapcs_vfpcc void @ptr_v8i16_trunc(<8 x i32> %v, <8 x i16*>* %offptr) {
 277 ; CHECK-LABEL: ptr_v8i16_trunc:
 278 ; CHECK:       @ %bb.0: @ %entry
 279 ; CHECK-NEXT:    .save {r4, r5, r6, r7, lr}
 280 ; CHECK-NEXT:    push {r4, r5, r6, r7, lr}
 281 ; CHECK-NEXT:    vldrw.u32 q2, [r0]
 282 ; CHECK-NEXT:    vmov r3, r4, d0
 283 ; CHECK-NEXT:    vmov r1, r2, d4
 284 ; CHECK-NEXT:    vmov lr, r12, d5
 285 ; CHECK-NEXT:    vldrw.u32 q2, [r0, #16]
 286 ; CHECK-NEXT:    vmov r0, r5, d1
 287 ; CHECK-NEXT:    strh r3, [r1]
 288 ; CHECK-NEXT:    vmov r1, r7, d4
 289 ; CHECK-NEXT:    strh r4, [r2]
 290 ; CHECK-NEXT:    vmov r2, r4, d5
 291 ; CHECK-NEXT:    strh.w r0, [lr]
 292 ; CHECK-NEXT:    vmov r0, r3, d2
 293 ; CHECK-NEXT:    strh.w r5, [r12]
 294 ; CHECK-NEXT:    vmov r5, r6, d3
 295 ; CHECK-NEXT:    strh r0, [r1]
 296 ; CHECK-NEXT:    strh r3, [r7]
 297 ; CHECK-NEXT:    strh r5, [r2]
 298 ; CHECK-NEXT:    strh r6, [r4]
 299 ; CHECK-NEXT:    pop {r4, r5, r6, r7, pc}
 300 entry:
 301   %offs = load <8 x i16*>, <8 x i16*>* %offptr, align 4
 302   %ext = trunc <8 x i32> %v to <8 x i16>
 303   call void @llvm.masked.scatter.v8i16.v8p0i16(<8 x i16> %ext, <8 x i16*> %offs, i32 2, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 304   ret void
 305 }
 306
 307 ; f16
 308
 309 ; Expand.
 310 define arm_aapcs_vfpcc void @ptr_f16(<8 x half> %v, <8 x half*>* %offptr) {
 311 ; CHECK-LABEL: ptr_f16:
 312 ; CHECK:       @ %bb.0: @ %entry
 313 ; CHECK-NEXT:    vldrw.u32 q2, [r0]
 314 ; CHECK-NEXT:    vldrw.u32 q1, [r0, #16]
 315 ; CHECK-NEXT:    vmov r0, r1, d4
 316 ; CHECK-NEXT:    vstr.16 s0, [r0]
 317 ; CHECK-NEXT:    vmovx.f16 s0, s0
 318 ; CHECK-NEXT:    vstr.16 s0, [r1]
 319 ; CHECK-NEXT:    vmov r0, r1, d5
 320 ; CHECK-NEXT:    vmovx.f16 s0, s1
 321 ; CHECK-NEXT:    vstr.16 s1, [r0]
 322 ; CHECK-NEXT:    vstr.16 s0, [r1]
 323 ; CHECK-NEXT:    vmov r0, r1, d2
 324 ; CHECK-NEXT:    vmovx.f16 s0, s2
 325 ; CHECK-NEXT:    vstr.16 s2, [r0]
 326 ; CHECK-NEXT:    vstr.16 s0, [r1]
 327 ; CHECK-NEXT:    vmov r0, r1, d3
 328 ; CHECK-NEXT:    vmovx.f16 s0, s3
 329 ; CHECK-NEXT:    vstr.16 s3, [r0]
 330 ; CHECK-NEXT:    vstr.16 s0, [r1]
 331 ; CHECK-NEXT:    bx lr
 332 entry:
 333   %offs = load <8 x half*>, <8 x half*>* %offptr, align 4
 334   call void @llvm.masked.scatter.v8f16.v8p0f16(<8 x half> %v, <8 x half*> %offs, i32 2, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 335   ret void
 336 }
 337
 338 define arm_aapcs_vfpcc void @ptr_v4f16(<4 x half> %v, <4 x half*>* %offptr) {
 339 ; CHECK-LABEL: ptr_v4f16:
 340 ; CHECK:       @ %bb.0: @ %entry
 341 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 342 ; CHECK-NEXT:    vmov r0, r1, d2
 343 ; CHECK-NEXT:    vstr.16 s0, [r0]
 344 ; CHECK-NEXT:    vmovx.f16 s0, s0
 345 ; CHECK-NEXT:    vstr.16 s0, [r1]
 346 ; CHECK-NEXT:    vmov r0, r1, d3
 347 ; CHECK-NEXT:    vmovx.f16 s0, s1
 348 ; CHECK-NEXT:    vstr.16 s1, [r0]
 349 ; CHECK-NEXT:    vstr.16 s0, [r1]
 350 ; CHECK-NEXT:    bx lr
 351 entry:
 352   %offs = load <4 x half*>, <4 x half*>* %offptr, align 4
 353   call void @llvm.masked.scatter.v4f16.v4p0f16(<4 x half> %v, <4 x half*> %offs, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 354   ret void
 355 }
 356
 357 define arm_aapcs_vfpcc void @ptr_v4f16_dup(half %v, <4 x half*> %offs) {
 358 ; CHECK-LABEL: ptr_v4f16_dup:
 359 ; CHECK:       @ %bb.0: @ %entry
 360 ; CHECK-NEXT:    vmov r0, r1, d2
 361 ; CHECK-NEXT:    vmov r2, r3, d3
 362 ; CHECK-NEXT:    vstr.16 s0, [r0]
 363 ; CHECK-NEXT:    vstr.16 s0, [r1]
 364 ; CHECK-NEXT:    vstr.16 s0, [r2]
 365 ; CHECK-NEXT:    vstr.16 s0, [r3]
 366 ; CHECK-NEXT:    bx lr
 367 entry:
 368   %splatinsert = insertelement <4 x half> poison, half %v, i32 0
 369   %splat = shufflevector <4 x half> %splatinsert, <4 x half> poison, <4 x i32> zeroinitializer
 370   call void @llvm.masked.scatter.v4f16.v4p0f16(<4 x half> %splat, <4 x half*> %offs, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 371   ret void
 372 }
 373
 374 ; i8
 375
 376 ; Expand.
 377 define arm_aapcs_vfpcc void @ptr_i8(<16 x i8> %v, <16 x i8*>* %offptr) {
 378 ; CHECK-LABEL: ptr_i8:
 379 ; CHECK:       @ %bb.0: @ %entry
 380 ; CHECK-NEXT:    .save {r4, r5, r6, r7, r8, r9, lr}
 381 ; CHECK-NEXT:    push.w {r4, r5, r6, r7, r8, r9, lr}
 382 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 383 ; CHECK-NEXT:    vldrw.u32 q2, [r0, #16]
 384 ; CHECK-NEXT:    vldrw.u32 q3, [r0, #32]
 385 ; CHECK-NEXT:    vmov.u8 r6, q0[0]
 386 ; CHECK-NEXT:    vmov r1, r2, d2
 387 ; CHECK-NEXT:    vmov.u8 r5, q0[4]
 388 ; CHECK-NEXT:    vmov r3, r12, d3
 389 ; CHECK-NEXT:    vldrw.u32 q1, [r0, #48]
 390 ; CHECK-NEXT:    vmov lr, r4, d4
 391 ; CHECK-NEXT:    vmov.u8 r7, q0[6]
 392 ; CHECK-NEXT:    vmov r0, r8, d5
 393 ; CHECK-NEXT:    strb r6, [r1]
 394 ; CHECK-NEXT:    vmov.u8 r1, q0[1]
 395 ; CHECK-NEXT:    strb r1, [r2]
 396 ; CHECK-NEXT:    vmov.u8 r6, q0[2]
 397 ; CHECK-NEXT:    vmov r1, r9, d6
 398 ; CHECK-NEXT:    strb r6, [r3]
 399 ; CHECK-NEXT:    vmov.u8 r3, q0[3]
 400 ; CHECK-NEXT:    vmov.u8 r2, q0[8]
 401 ; CHECK-NEXT:    strb.w r3, [r12]
 402 ; CHECK-NEXT:    vmov r3, r6, d7
 403 ; CHECK-NEXT:    strb.w r5, [lr]
 404 ; CHECK-NEXT:    vmov.u8 r5, q0[5]
 405 ; CHECK-NEXT:    strb r5, [r4]
 406 ; CHECK-NEXT:    vmov r5, r4, d2
 407 ; CHECK-NEXT:    strb r7, [r0]
 408 ; CHECK-NEXT:    vmov.u8 r0, q0[7]
 409 ; CHECK-NEXT:    strb.w r0, [r8]
 410 ; CHECK-NEXT:    vmov r0, r7, d3
 411 ; CHECK-NEXT:    strb r2, [r1]
 412 ; CHECK-NEXT:    vmov.u8 r1, q0[9]
 413 ; CHECK-NEXT:    strb.w r1, [r9]
 414 ; CHECK-NEXT:    vmov.u8 r1, q0[10]
 415 ; CHECK-NEXT:    strb r1, [r3]
 416 ; CHECK-NEXT:    vmov.u8 r1, q0[11]
 417 ; CHECK-NEXT:    strb r1, [r6]
 418 ; CHECK-NEXT:    vmov.u8 r1, q0[12]
 419 ; CHECK-NEXT:    strb r1, [r5]
 420 ; CHECK-NEXT:    vmov.u8 r1, q0[13]
 421 ; CHECK-NEXT:    strb r1, [r4]
 422 ; CHECK-NEXT:    vmov.u8 r1, q0[14]
 423 ; CHECK-NEXT:    strb r1, [r0]
 424 ; CHECK-NEXT:    vmov.u8 r0, q0[15]
 425 ; CHECK-NEXT:    strb r0, [r7]
 426 ; CHECK-NEXT:    pop.w {r4, r5, r6, r7, r8, r9, pc}
 427 entry:
 428   %offs = load <16 x i8*>, <16 x i8*>* %offptr, align 4
 429   call void @llvm.masked.scatter.v16i8.v16p0i8(<16 x i8> %v, <16 x i8*> %offs, i32 2, <16 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 430   ret void
 431 }
 432
 433 ; Expand
 434 define arm_aapcs_vfpcc void @ptr_v8i8_trunc16(<8 x i16> %v, <8 x i8*>* %offptr) {
 435 ; CHECK-LABEL: ptr_v8i8_trunc16:
 436 ; CHECK:       @ %bb.0: @ %entry
 437 ; CHECK-NEXT:    .save {r4, r5, r6, lr}
 438 ; CHECK-NEXT:    push {r4, r5, r6, lr}
 439 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 440 ; CHECK-NEXT:    vmov.u16 r6, q0[0]
 441 ; CHECK-NEXT:    vmov r1, r2, d2
 442 ; CHECK-NEXT:    vmov r3, r12, d3
 443 ; CHECK-NEXT:    vldrw.u32 q1, [r0, #16]
 444 ; CHECK-NEXT:    vmov r0, lr, d2
 445 ; CHECK-NEXT:    vmov r4, r5, d3
 446 ; CHECK-NEXT:    strb r6, [r1]
 447 ; CHECK-NEXT:    vmov.u16 r1, q0[1]
 448 ; CHECK-NEXT:    strb r1, [r2]
 449 ; CHECK-NEXT:    vmov.u16 r1, q0[2]
 450 ; CHECK-NEXT:    strb r1, [r3]
 451 ; CHECK-NEXT:    vmov.u16 r1, q0[3]
 452 ; CHECK-NEXT:    strb.w r1, [r12]
 453 ; CHECK-NEXT:    vmov.u16 r1, q0[4]
 454 ; CHECK-NEXT:    strb r1, [r0]
 455 ; CHECK-NEXT:    vmov.u16 r0, q0[5]
 456 ; CHECK-NEXT:    strb.w r0, [lr]
 457 ; CHECK-NEXT:    vmov.u16 r0, q0[6]
 458 ; CHECK-NEXT:    strb r0, [r4]
 459 ; CHECK-NEXT:    vmov.u16 r0, q0[7]
 460 ; CHECK-NEXT:    strb r0, [r5]
 461 ; CHECK-NEXT:    pop {r4, r5, r6, pc}
 462 entry:
 463   %offs = load <8 x i8*>, <8 x i8*>* %offptr, align 4
 464   %ext = trunc <8 x i16> %v to <8 x i8>
 465   call void @llvm.masked.scatter.v8i8.v8p0i8(<8 x i8> %ext, <8 x i8*> %offs, i32 1, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 466   ret void
 467 }
 468
 469 define arm_aapcs_vfpcc void @ptr_v4i8_trunc32(<4 x i32> %v, <4 x i8*>* %offptr) {
 470 ; CHECK-LABEL: ptr_v4i8_trunc32:
 471 ; CHECK:       @ %bb.0: @ %entry
 472 ; CHECK-NEXT:    vldrw.u32 q1, [r0]
 473 ; CHECK-NEXT:    movs r0, #0
 474 ; CHECK-NEXT:    vstrb.32 q0, [r0, q1]
 475 ; CHECK-NEXT:    bx lr
 476 entry:
 477   %offs = load <4 x i8*>, <4 x i8*>* %offptr, align 4
 478   %ext = trunc <4 x i32> %v to <4 x i8>
 479   call void @llvm.masked.scatter.v4i8.v4p0i8(<4 x i8> %ext, <4 x i8*> %offs, i32 1, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 480   ret void
 481 }
 482
 483 ; Expand
 484 define arm_aapcs_vfpcc void @ptr_v8i8_trunc32(<8 x i32> %v, <8 x i8*>* %offptr) {
 485 ; CHECK-LABEL: ptr_v8i8_trunc32:
 486 ; CHECK:       @ %bb.0: @ %entry
 487 ; CHECK-NEXT:    .save {r4, r5, r6, r7, lr}
 488 ; CHECK-NEXT:    push {r4, r5, r6, r7, lr}
 489 ; CHECK-NEXT:    vldrw.u32 q2, [r0]
 490 ; CHECK-NEXT:    vmov r3, r4, d0
 491 ; CHECK-NEXT:    vmov r1, r2, d4
 492 ; CHECK-NEXT:    vmov lr, r12, d5
 493 ; CHECK-NEXT:    vldrw.u32 q2, [r0, #16]
 494 ; CHECK-NEXT:    vmov r0, r5, d1
 495 ; CHECK-NEXT:    strb r3, [r1]
 496 ; CHECK-NEXT:    vmov r1, r7, d4
 497 ; CHECK-NEXT:    strb r4, [r2]
 498 ; CHECK-NEXT:    vmov r2, r4, d5
 499 ; CHECK-NEXT:    strb.w r0, [lr]
 500 ; CHECK-NEXT:    vmov r0, r3, d2
 501 ; CHECK-NEXT:    strb.w r5, [r12]
 502 ; CHECK-NEXT:    vmov r5, r6, d3
 503 ; CHECK-NEXT:    strb r0, [r1]
 504 ; CHECK-NEXT:    strb r3, [r7]
 505 ; CHECK-NEXT:    strb r5, [r2]
 506 ; CHECK-NEXT:    strb r6, [r4]
 507 ; CHECK-NEXT:    pop {r4, r5, r6, r7, pc}
 508 entry:
 509   %offs = load <8 x i8*>, <8 x i8*>* %offptr, align 4
 510   %ext = trunc <8 x i32> %v to <8 x i8>
 511   call void @llvm.masked.scatter.v8i8.v8p0i8(<8 x i8> %ext, <8 x i8*> %offs, i32 1, <8 x i1> <i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true, i1 true>)
 512   ret void
 513 }
 514
 515 ; loops
 516
 517 define void @foo_ptr_p_int32_t(i32* %dest, i32** %src, i32 %n) {
 518 ; CHECK-LABEL: foo_ptr_p_int32_t:
 519 ; CHECK:       @ %bb.0: @ %entry
 520 ; CHECK-NEXT:    bic r3, r2, #15
 521 ; CHECK-NEXT:    cmp r3, #1
 522 ; CHECK-NEXT:    it lt
 523 ; CHECK-NEXT:    bxlt lr
 524 ; CHECK-NEXT:  .LBB20_1: @ %vector.body
 525 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 526 ; CHECK-NEXT:    vldrw.u32 q0, [r1], #16
 527 ; CHECK-NEXT:    subs r2, #4
 528 ; CHECK-NEXT:    vptt.i32 ne, q0, zr
 529 ; CHECK-NEXT:    vldrwt.u32 q1, [r0], #16
 530 ; CHECK-NEXT:    vstrwt.32 q1, [q0]
 531 ; CHECK-NEXT:    bne .LBB20_1
 532 ; CHECK-NEXT:  @ %bb.2: @ %for.end
 533 ; CHECK-NEXT:    bx lr
 534 entry:
 535   %and = and i32 %n, -16
 536   %cmp11 = icmp sgt i32 %and, 0
 537   br i1 %cmp11, label %vector.body, label %for.end
 538
 539 vector.body:                                      ; preds = %entry, %vector.body
 540   %index = phi i32 [ 0, %entry ], [ %index.next, %vector.body ]
 541   %0 = getelementptr inbounds i32*, i32** %src, i32 %index
 542   %1 = bitcast i32** %0 to <4 x i32*>*
 543   %wide.load = load <4 x i32*>, <4 x i32*>* %1, align 4
 544   %2 = icmp ne <4 x i32*> %wide.load, zeroinitializer
 545   %3 = getelementptr inbounds i32, i32* %dest, i32 %index
 546   %4 = bitcast i32* %3 to <4 x i32>*
 547   %wide.masked.load = call <4 x i32> @llvm.masked.load.v4i32.v4p0i32(<4 x i32>* %4, i32 4, <4 x i1> %2, <4 x i32> undef)
 548   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %wide.masked.load, <4 x i32*> %wide.load, i32 4, <4 x i1> %2)
 549   %index.next = add i32 %index, 4
 550   %5 = icmp eq i32 %index.next, %n
 551   br i1 %5, label %for.end, label %vector.body
 552
 553 for.end:                                          ; preds = %vector.body, %entry
 554   ret void
 555 }
 556
 557 define void @foo_ptr_p_float(float* %dest, float** %src, i32 %n) {
 558 ; CHECK-LABEL: foo_ptr_p_float:
 559 ; CHECK:       @ %bb.0: @ %entry
 560 ; CHECK-NEXT:    bic r3, r2, #15
 561 ; CHECK-NEXT:    cmp r3, #1
 562 ; CHECK-NEXT:    it lt
 563 ; CHECK-NEXT:    bxlt lr
 564 ; CHECK-NEXT:  .LBB21_1: @ %vector.body
 565 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 566 ; CHECK-NEXT:    vldrw.u32 q0, [r1], #16
 567 ; CHECK-NEXT:    subs r2, #4
 568 ; CHECK-NEXT:    vptt.i32 ne, q0, zr
 569 ; CHECK-NEXT:    vldrwt.u32 q1, [r0], #16
 570 ; CHECK-NEXT:    vstrwt.32 q1, [q0]
 571 ; CHECK-NEXT:    bne .LBB21_1
 572 ; CHECK-NEXT:  @ %bb.2: @ %for.end
 573 ; CHECK-NEXT:    bx lr
 574 entry:
 575   %and = and i32 %n, -16
 576   %cmp11 = icmp sgt i32 %and, 0
 577   br i1 %cmp11, label %vector.body, label %for.end
 578
 579 vector.body:                                      ; preds = %entry, %vector.body
 580   %index = phi i32 [ 0, %entry ], [ %index.next, %vector.body ]
 581   %0 = getelementptr inbounds float*, float** %src, i32 %index
 582   %1 = bitcast float** %0 to <4 x float*>*
 583   %wide.load = load <4 x float*>, <4 x float*>* %1, align 4
 584   %2 = icmp ne <4 x float*> %wide.load, zeroinitializer
 585   %3 = getelementptr inbounds float, float* %dest, i32 %index
 586   %4 = bitcast float* %3 to <4 x i32>*
 587   %wide.masked.load = call <4 x i32> @llvm.masked.load.v4i32.v4p0i32(<4 x i32>* %4, i32 4, <4 x i1> %2, <4 x i32> undef)
 588   %5 = bitcast <4 x float*> %wide.load to <4 x i32*>
 589   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %wide.masked.load, <4 x i32*> %5, i32 4, <4 x i1> %2)
 590   %index.next = add i32 %index, 4
 591   %6 = icmp eq i32 %index.next, %n
 592   br i1 %6, label %for.end, label %vector.body
 593
 594 for.end:                                          ; preds = %vector.body, %entry
 595   ret void
 596 }
 597
 598 ; VLSTW.u32 Qd, [P, 4]
 599 define arm_aapcs_vfpcc void @qi4(<4 x i32> %v, <4 x i32*> %p) {
 600 ; CHECK-LABEL: qi4:
 601 ; CHECK:       @ %bb.0: @ %entry
 602 ; CHECK-NEXT:    vmov.i32 q2, #0x10
 603 ; CHECK-NEXT:    vadd.i32 q1, q1, q2
 604 ; CHECK-NEXT:    vstrw.32 q0, [q1]
 605 ; CHECK-NEXT:    bx lr
 606 entry:
 607   %g = getelementptr inbounds i32, <4 x i32*> %p, i32 4
 608   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %v, <4 x i32*> %g, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 609   ret void
 610 }
 611
 612 declare void @llvm.masked.scatter.v2i16.v2p0i16(<2 x i16>, <2 x i16*>, i32, <2 x i1>)
 613 declare void @llvm.masked.scatter.v2i32.v2p0i32(<2 x i32>, <2 x i32*>, i32, <2 x i1>)
 614 declare void @llvm.masked.scatter.v2f32.v2p0f32(<2 x float>, <2 x float*>, i32, <2 x i1>)
 615 declare void @llvm.masked.scatter.v4i8.v4p0i8(<4 x i8>, <4 x i8*>, i32, <4 x i1>)
 616 declare void @llvm.masked.scatter.v4i16.v4p0i16(<4 x i16>, <4 x i16*>, i32, <4 x i1>)
 617 declare void @llvm.masked.scatter.v4i16.v4p0(<4 x i16>, <4 x ptr>, i32, <4 x i1>)
 618 declare void @llvm.masked.scatter.v4f16.v4p0f16(<4 x half>, <4 x half*>, i32, <4 x i1>)
 619 declare void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32>, <4 x i32*>, i32, <4 x i1>)
 620 declare void @llvm.masked.scatter.v4f32.v4p0f32(<4 x float>, <4 x float*>, i32, <4 x i1>)
 621 declare void @llvm.masked.scatter.v8i8.v8p0i8(<8 x i8>, <8 x i8*>, i32, <8 x i1>)
 622 declare void @llvm.masked.scatter.v8i16.v8p0i16(<8 x i16>, <8 x i16*>, i32, <8 x i1>)
 623 declare void @llvm.masked.scatter.v8f16.v8p0f16(<8 x half>, <8 x half*>, i32, <8 x i1>)
 624 declare void @llvm.masked.scatter.v8i32.v8p0i32(<8 x i32>, <8 x i32*>, i32, <8 x i1>)
 625 declare void @llvm.masked.scatter.v8f32.v8p0f32(<8 x float>, <8 x float*>, i32, <8 x i1>)
 626 declare void @llvm.masked.scatter.v16i8.v16p0i8(<16 x i8>, <16 x i8*>, i32, <16 x i1>)
 627 declare void @llvm.masked.scatter.v16i32.v16p0i32(<16 x i32>, <16 x i32*>, i32, <16 x i1>)
 628 declare <4 x i32> @llvm.masked.load.v4i32.v4p0i32(<4 x i32>*, i32, <4 x i1>, <4 x i32>)