llvm/test/CodeGen/Thumb2/mve-gather-scatter-optimisation.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2
   3 ; RUN: llc -mtriple=thumbv8.1m.main-none-none-eabi -mattr=+mve.fp --arm-memtransfer-tploop=allow %s -o - | FileCheck %s
   4
   5 !0 = !{i32 1, !"wchar_size", i32 4}
   6 !1 = !{i32 1, !"min_enum_size", i32 4}
   7 !2 = !{!"clang version 11.0.0 (git@github.com:llvm/llvm-project.git 26f04d01a39a33d73fd23165c208b215bf5c350d)"}
   8 !3 = !{!4, !4, i64 0}
   9 !4 = !{!"int", !5, i64 0}
  10 !5 = !{!"omnipotent char", !6, i64 0}
  11 !6 = !{!"Simple C/C++ TBAA"}
  12 !7 = distinct !{!7, !8}
  13 !8 = !{!"llvm.loop.isvectorized", i32 1}
  14 !9 = distinct !{!9, !10, !8}
  15 !10 = !{!"llvm.loop.unroll.runtime.disable"}
  16
  17
  18
  19 define arm_aapcs_vfpcc void @push_out_mul_gather(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec) {
  20 ; CHECK-LABEL: push_out_mul_gather:
  21 ; CHECK:       @ %bb.0: @ %vector.ph
  22 ; CHECK-NEXT:    adr r3, .LCPI0_0
  23 ; CHECK-NEXT:    vldrw.u32 q0, [r3]
  24 ; CHECK-NEXT:    vadd.i32 q0, q0, r0
  25 ; CHECK-NEXT:  .LBB0_1: @ %vector.body
  26 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
  27 ; CHECK-NEXT:    vldrw.u32 q1, [q0, #96]!
  28 ; CHECK-NEXT:    subs r2, #4
  29 ; CHECK-NEXT:    vstrb.8 q1, [r1], #16
  30 ; CHECK-NEXT:    bne .LBB0_1
  31 ; CHECK-NEXT:  @ %bb.2: @ %end
  32 ; CHECK-NEXT:    bx lr
  33 ; CHECK-NEXT:    .p2align 4
  34 ; CHECK-NEXT:  @ %bb.3:
  35 ; CHECK-NEXT:  .LCPI0_0:
  36 ; CHECK-NEXT:    .long 4294967200 @ 0xffffffa0
  37 ; CHECK-NEXT:    .long 4294967224 @ 0xffffffb8
  38 ; CHECK-NEXT:    .long 4294967248 @ 0xffffffd0
  39 ; CHECK-NEXT:    .long 4294967272 @ 0xffffffe8
  40
  41 vector.ph:                                        ; preds = %for.body.preheader
  42   br label %vector.body
  43
  44 vector.body:                                      ; preds = %vector.body, %vector.ph
  45   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
  46   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
  47   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
  48   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
  49   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
  50   %2 = getelementptr inbounds i32, i32* %dst, i32 %index
  51   %3 = bitcast i32* %2 to <4 x i32>*
  52   store <4 x i32> %wide.masked.gather, <4 x i32>* %3, align 4
  53   %index.next = add i32 %index, 4
  54   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
  55   %4 = icmp eq i32 %index.next, %n.vec
  56   br i1 %4, label %end, label %vector.body
  57
  58 end:
  59   ret void;
  60 }
  61
  62 define arm_aapcs_vfpcc void @push_out_add_gather(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec) {
  63 ; CHECK-LABEL: push_out_add_gather:
  64 ; CHECK:       @ %bb.0: @ %vector.ph
  65 ; CHECK-NEXT:    adr r3, .LCPI1_0
  66 ; CHECK-NEXT:    vldrw.u32 q0, [r3]
  67 ; CHECK-NEXT:    vadd.i32 q0, q0, r0
  68 ; CHECK-NEXT:  .LBB1_1: @ %vector.body
  69 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
  70 ; CHECK-NEXT:    vldrw.u32 q1, [q0, #32]!
  71 ; CHECK-NEXT:    subs r2, #4
  72 ; CHECK-NEXT:    vstrb.8 q1, [r1], #16
  73 ; CHECK-NEXT:    bne .LBB1_1
  74 ; CHECK-NEXT:  @ %bb.2: @ %end
  75 ; CHECK-NEXT:    bx lr
  76 ; CHECK-NEXT:    .p2align 4
  77 ; CHECK-NEXT:  @ %bb.3:
  78 ; CHECK-NEXT:  .LCPI1_0:
  79 ; CHECK-NEXT:    .long 4294967288 @ 0xfffffff8
  80 ; CHECK-NEXT:    .long 0 @ 0x0
  81 ; CHECK-NEXT:    .long 8 @ 0x8
  82 ; CHECK-NEXT:    .long 16 @ 0x10
  83
  84 vector.ph:                                        ; preds = %for.body.preheader
  85   br label %vector.body
  86
  87 vector.body:                                      ; preds = %vector.body, %vector.ph
  88   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
  89   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
  90   %0 = add <4 x i32> %vec.ind, <i32 6, i32 6, i32 6, i32 6>
  91   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
  92   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
  93   %2 = getelementptr inbounds i32, i32* %dst, i32 %index
  94   %3 = bitcast i32* %2 to <4 x i32>*
  95   store <4 x i32> %wide.masked.gather, <4 x i32>* %3, align 4
  96   %index.next = add i32 %index, 4
  97   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
  98   %4 = icmp eq i32 %index.next, %n.vec
  99   br i1 %4, label %end, label %vector.body
 100
 101 end:
 102   ret void;
 103 }
 104
 105 define arm_aapcs_vfpcc void @push_out_mul_add_gather(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec) {
 106 ; CHECK-LABEL: push_out_mul_add_gather:
 107 ; CHECK:       @ %bb.0: @ %vector.ph
 108 ; CHECK-NEXT:    adr r3, .LCPI2_0
 109 ; CHECK-NEXT:    vldrw.u32 q0, [r3]
 110 ; CHECK-NEXT:    vadd.i32 q0, q0, r0
 111 ; CHECK-NEXT:  .LBB2_1: @ %vector.body
 112 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 113 ; CHECK-NEXT:    vldrw.u32 q1, [q0, #96]!
 114 ; CHECK-NEXT:    subs r2, #4
 115 ; CHECK-NEXT:    vstrb.8 q1, [r1], #16
 116 ; CHECK-NEXT:    bne .LBB2_1
 117 ; CHECK-NEXT:  @ %bb.2: @ %end
 118 ; CHECK-NEXT:    bx lr
 119 ; CHECK-NEXT:    .p2align 4
 120 ; CHECK-NEXT:  @ %bb.3:
 121 ; CHECK-NEXT:  .LCPI2_0:
 122 ; CHECK-NEXT:    .long 4294967224 @ 0xffffffb8
 123 ; CHECK-NEXT:    .long 4294967248 @ 0xffffffd0
 124 ; CHECK-NEXT:    .long 4294967272 @ 0xffffffe8
 125 ; CHECK-NEXT:    .long 0 @ 0x0
 126
 127 vector.ph:                                        ; preds = %for.body.preheader
 128   br label %vector.body
 129
 130 vector.body:                                      ; preds = %vector.body, %vector.ph
 131   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 132   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 133   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 134   %1 = add <4 x i32> %0, <i32 6, i32 6, i32 6, i32 6>
 135   %2 = getelementptr inbounds i32, i32* %data, <4 x i32> %1
 136   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %2, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 137   %3 = getelementptr inbounds i32, i32* %dst, i32 %index
 138   %4 = bitcast i32* %3 to <4 x i32>*
 139   store <4 x i32> %wide.masked.gather, <4 x i32>* %4, align 4
 140   %index.next = add i32 %index, 4
 141   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 142   %5 = icmp eq i32 %index.next, %n.vec
 143   br i1 %5, label %end, label %vector.body
 144
 145 end:
 146   ret void;
 147 }
 148
 149 define arm_aapcs_vfpcc void @push_out_mul_add_gather_opaque(ptr noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec) {
 150 ; CHECK-LABEL: push_out_mul_add_gather_opaque:
 151 ; CHECK:       @ %bb.0: @ %vector.ph
 152 ; CHECK-NEXT:    adr r3, .LCPI3_0
 153 ; CHECK-NEXT:    vldrw.u32 q0, [r3]
 154 ; CHECK-NEXT:    vadd.i32 q0, q0, r0
 155 ; CHECK-NEXT:  .LBB3_1: @ %vector.body
 156 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 157 ; CHECK-NEXT:    vldrw.u32 q1, [q0, #96]!
 158 ; CHECK-NEXT:    subs r2, #4
 159 ; CHECK-NEXT:    vstrb.8 q1, [r1], #16
 160 ; CHECK-NEXT:    bne .LBB3_1
 161 ; CHECK-NEXT:  @ %bb.2: @ %end
 162 ; CHECK-NEXT:    bx lr
 163 ; CHECK-NEXT:    .p2align 4
 164 ; CHECK-NEXT:  @ %bb.3:
 165 ; CHECK-NEXT:  .LCPI3_0:
 166 ; CHECK-NEXT:    .long 4294967224 @ 0xffffffb8
 167 ; CHECK-NEXT:    .long 4294967248 @ 0xffffffd0
 168 ; CHECK-NEXT:    .long 4294967272 @ 0xffffffe8
 169 ; CHECK-NEXT:    .long 0 @ 0x0
 170
 171 vector.ph:                                        ; preds = %for.body.preheader
 172   br label %vector.body
 173
 174 vector.body:                                      ; preds = %vector.body, %vector.ph
 175   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 176   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 177   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 178   %1 = add <4 x i32> %0, <i32 6, i32 6, i32 6, i32 6>
 179   %2 = getelementptr inbounds i32, ptr %data, <4 x i32> %1
 180   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0(<4 x ptr> %2, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 181   %3 = getelementptr inbounds i32, i32* %dst, i32 %index
 182   %4 = bitcast i32* %3 to <4 x i32>*
 183   store <4 x i32> %wide.masked.gather, <4 x i32>* %4, align 4
 184   %index.next = add i32 %index, 4
 185   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 186   %5 = icmp eq i32 %index.next, %n.vec
 187   br i1 %5, label %end, label %vector.body
 188
 189 end:
 190   ret void;
 191 }
 192
 193 define arm_aapcs_vfpcc void @push_out_mul_scatter(i32* noalias nocapture readonly %data,
 194 ; CHECK-LABEL: push_out_mul_scatter:
 195 ; CHECK:       @ %bb.0: @ %vector.ph
 196 ; CHECK-NEXT:    adr r1, .LCPI4_0
 197 ; CHECK-NEXT:    vldrw.u32 q1, [r1]
 198 ; CHECK-NEXT:    vadd.i32 q1, q1, r0
 199 ; CHECK-NEXT:  .LBB4_1: @ %vector.body
 200 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 201 ; CHECK-NEXT:    subs r2, #4
 202 ; CHECK-NEXT:    vstrw.32 q0, [q1, #96]!
 203 ; CHECK-NEXT:    bne .LBB4_1
 204 ; CHECK-NEXT:  @ %bb.2: @ %end
 205 ; CHECK-NEXT:    bx lr
 206 ; CHECK-NEXT:    .p2align 4
 207 ; CHECK-NEXT:  @ %bb.3:
 208 ; CHECK-NEXT:  .LCPI4_0:
 209 ; CHECK-NEXT:    .long 4294967200 @ 0xffffffa0
 210 ; CHECK-NEXT:    .long 4294967224 @ 0xffffffb8
 211 ; CHECK-NEXT:    .long 4294967248 @ 0xffffffd0
 212 ; CHECK-NEXT:    .long 4294967272 @ 0xffffffe8
 213                                                   i32* noalias nocapture %dst, i32 %n.vec,
 214                                                   <4 x i32> %to.store) {
 215
 216 vector.ph:                                        ; preds = %for.body.preheader
 217   br label %vector.body
 218
 219 vector.body:                                      ; preds = %vector.body, %vector.ph
 220   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 221   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 222   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 223   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
 224   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %to.store, <4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 225   %index.next = add i32 %index, 4
 226   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 227   %2 = icmp eq i32 %index.next, %n.vec
 228   br i1 %2, label %end, label %vector.body
 229
 230 end:
 231   ret void;
 232 }
 233
 234 define arm_aapcs_vfpcc void @push_out_add_scatter(i32* noalias nocapture readonly %data,
 235 ; CHECK-LABEL: push_out_add_scatter:
 236 ; CHECK:       @ %bb.0: @ %vector.ph
 237 ; CHECK-NEXT:    adr r1, .LCPI5_0
 238 ; CHECK-NEXT:    vldrw.u32 q1, [r1]
 239 ; CHECK-NEXT:    vadd.i32 q1, q1, r0
 240 ; CHECK-NEXT:  .LBB5_1: @ %vector.body
 241 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 242 ; CHECK-NEXT:    subs r2, #4
 243 ; CHECK-NEXT:    vstrw.32 q0, [q1, #32]!
 244 ; CHECK-NEXT:    bne .LBB5_1
 245 ; CHECK-NEXT:  @ %bb.2: @ %end
 246 ; CHECK-NEXT:    bx lr
 247 ; CHECK-NEXT:    .p2align 4
 248 ; CHECK-NEXT:  @ %bb.3:
 249 ; CHECK-NEXT:  .LCPI5_0:
 250 ; CHECK-NEXT:    .long 4294967288 @ 0xfffffff8
 251 ; CHECK-NEXT:    .long 0 @ 0x0
 252 ; CHECK-NEXT:    .long 8 @ 0x8
 253 ; CHECK-NEXT:    .long 16 @ 0x10
 254                                                   i32* noalias nocapture %dst, i32 %n.vec,
 255                                                   <4 x i32> %to.store) {
 256
 257 vector.ph:                                        ; preds = %for.body.preheader
 258   br label %vector.body
 259
 260 vector.body:                                      ; preds = %vector.body, %vector.ph
 261   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 262   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 263   %0 = add <4 x i32> %vec.ind, <i32 6, i32 6, i32 6, i32 6>
 264   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
 265   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %to.store, <4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 266   %index.next = add i32 %index, 4
 267   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 268   %2 = icmp eq i32 %index.next, %n.vec
 269   br i1 %2, label %end, label %vector.body
 270
 271 end:
 272   ret void;
 273 }
 274
 275 define arm_aapcs_vfpcc void @push_out_mul_gather_scatter(i32* noalias nocapture readonly %data,
 276 ; CHECK-LABEL: push_out_mul_gather_scatter:
 277 ; CHECK:       @ %bb.0: @ %vector.ph
 278 ; CHECK-NEXT:    adr r1, .LCPI6_0
 279 ; CHECK-NEXT:    vmov.i32 q0, #0x18
 280 ; CHECK-NEXT:    vldrw.u32 q1, [r1]
 281 ; CHECK-NEXT:  .LBB6_1: @ %vector.body
 282 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 283 ; CHECK-NEXT:    vldrw.u32 q2, [r0, q1, uxtw #2]
 284 ; CHECK-NEXT:    vadd.i32 q3, q1, q0
 285 ; CHECK-NEXT:    subs r2, #4
 286 ; CHECK-NEXT:    vstrw.32 q2, [r0, q1, uxtw #2]
 287 ; CHECK-NEXT:    vmov q1, q3
 288 ; CHECK-NEXT:    bne .LBB6_1
 289 ; CHECK-NEXT:  @ %bb.2: @ %end
 290 ; CHECK-NEXT:    bx lr
 291 ; CHECK-NEXT:    .p2align 4
 292 ; CHECK-NEXT:  @ %bb.3:
 293 ; CHECK-NEXT:  .LCPI6_0:
 294 ; CHECK-NEXT:    .long 0 @ 0x0
 295 ; CHECK-NEXT:    .long 6 @ 0x6
 296 ; CHECK-NEXT:    .long 12 @ 0xc
 297 ; CHECK-NEXT:    .long 18 @ 0x12
 298                                                          i32* noalias nocapture %dst, i32 %n.vec) {
 299
 300 vector.ph:                                        ; preds = %for.body.preheader
 301   br label %vector.body
 302
 303 vector.body:                                      ; preds = %vector.body, %vector.ph
 304   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 305   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 306   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 307   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
 308   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 309   call void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32> %wide.masked.gather, <4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>)
 310   %index.next = add i32 %index, 4
 311   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 312   %2 = icmp eq i32 %index.next, %n.vec
 313   br i1 %2, label %end, label %vector.body
 314
 315 end:
 316   ret void;
 317 }
 318
 319 define arm_aapcs_vfpcc void @push_out_add_sub_block(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec) {
 320 ; CHECK-LABEL: push_out_add_sub_block:
 321 ; CHECK:       @ %bb.0: @ %vector.ph
 322 ; CHECK-NEXT:    adr r3, .LCPI7_0
 323 ; CHECK-NEXT:    vldrw.u32 q0, [r3]
 324 ; CHECK-NEXT:    vadd.i32 q0, q0, r0
 325 ; CHECK-NEXT:  .LBB7_1: @ %vector.body
 326 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 327 ; CHECK-NEXT:    vldrw.u32 q1, [q0, #32]!
 328 ; CHECK-NEXT:    subs r2, #4
 329 ; CHECK-NEXT:    vstrb.8 q1, [r1], #16
 330 ; CHECK-NEXT:    bne .LBB7_1
 331 ; CHECK-NEXT:  @ %bb.2: @ %end
 332 ; CHECK-NEXT:    bx lr
 333 ; CHECK-NEXT:    .p2align 4
 334 ; CHECK-NEXT:  @ %bb.3:
 335 ; CHECK-NEXT:  .LCPI7_0:
 336 ; CHECK-NEXT:    .long 4294967288 @ 0xfffffff8
 337 ; CHECK-NEXT:    .long 0 @ 0x0
 338 ; CHECK-NEXT:    .long 8 @ 0x8
 339 ; CHECK-NEXT:    .long 16 @ 0x10
 340
 341 vector.ph:                                        ; preds = %for.body.preheader
 342   br label %vector.body
 343
 344 vector.body:                                      ; preds = %vector.body, %vector.ph
 345   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body.end ]
 346   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body.end ]
 347   br label %lower.block;
 348
 349 lower.block:                             ; preds = %vector.body
 350   %0 = add <4 x i32> %vec.ind, <i32 6, i32 6, i32 6, i32 6>
 351   %1 = getelementptr inbounds i32, i32* %data, <4 x i32> %0
 352   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %1, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 353   %2 = getelementptr inbounds i32, i32* %dst, i32 %index
 354   %3 = bitcast i32* %2 to <4 x i32>*
 355   store <4 x i32> %wide.masked.gather, <4 x i32>* %3, align 4
 356   %index.next = add i32 %index, 4
 357   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 358   br label %vector.body.end
 359
 360 vector.body.end:                             ; preds = %lower.block
 361   %4 = icmp eq i32 %index.next, %n.vec
 362   br i1 %4, label %end, label %vector.body
 363
 364 end:
 365   ret void;
 366 }
 367
 368 define arm_aapcs_vfpcc void @non_gatscat_use1(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec, <4 x i32>* %x) {
 369 ; CHECK-LABEL: non_gatscat_use1:
 370 ; CHECK:       @ %bb.0: @ %vector.ph
 371 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13}
 372 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13}
 373 ; CHECK-NEXT:    adr.w r12, .LCPI8_0
 374 ; CHECK-NEXT:    vmov.i32 q0, #0x9
 375 ; CHECK-NEXT:    vldrw.u32 q3, [r12]
 376 ; CHECK-NEXT:    vmov.i32 q1, #0xc
 377 ; CHECK-NEXT:    vmov.i32 q2, #0x8
 378 ; CHECK-NEXT:  .LBB8_1: @ %vector.body
 379 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 380 ; CHECK-NEXT:    vadd.i32 q4, q3, q2
 381 ; CHECK-NEXT:    vmul.i32 q5, q3, q0
 382 ; CHECK-NEXT:    vmlas.u32 q3, q1, r0
 383 ; CHECK-NEXT:    subs r2, #4
 384 ; CHECK-NEXT:    vldrw.u32 q6, [q3, #24]
 385 ; CHECK-NEXT:    vmov q3, q4
 386 ; CHECK-NEXT:    vstrw.32 q5, [r3]
 387 ; CHECK-NEXT:    vstrb.8 q6, [r1], #16
 388 ; CHECK-NEXT:    bne .LBB8_1
 389 ; CHECK-NEXT:  @ %bb.2: @ %end
 390 ; CHECK-NEXT:    vpop {d8, d9, d10, d11, d12, d13}
 391 ; CHECK-NEXT:    bx lr
 392 ; CHECK-NEXT:    .p2align 4
 393 ; CHECK-NEXT:  @ %bb.3:
 394 ; CHECK-NEXT:  .LCPI8_0:
 395 ; CHECK-NEXT:    .long 0 @ 0x0
 396 ; CHECK-NEXT:    .long 2 @ 0x2
 397 ; CHECK-NEXT:    .long 4 @ 0x4
 398 ; CHECK-NEXT:    .long 6 @ 0x6
 399
 400 vector.ph:                                        ; preds = %for.body.preheader
 401   br label %vector.body
 402
 403 vector.body:                                      ; preds = %vector.body, %vector.ph
 404   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 405   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 406   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 407   %1 = add <4 x i32> %0, <i32 6, i32 6, i32 6, i32 6>
 408   %2 = getelementptr inbounds i32, i32* %data, <4 x i32> %1
 409   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %2, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 410   %3 = getelementptr inbounds i32, i32* %dst, i32 %index
 411   %4 = bitcast i32* %3 to <4 x i32>*
 412   store <4 x i32> %wide.masked.gather, <4 x i32>* %4, align 4
 413   %non_gatscat_use = mul <4 x i32> %0, <i32 3, i32 3, i32 3, i32 3>
 414   store <4 x i32> %non_gatscat_use, <4 x i32>* %x, align 4
 415   %index.next = add i32 %index, 4
 416   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 417   %5 = icmp eq i32 %index.next, %n.vec
 418   br i1 %5, label %end, label %vector.body
 419
 420 end:
 421   ret void;
 422 }
 423
 424 define arm_aapcs_vfpcc void @non_gatscat_use2(i32* noalias nocapture readonly %data, i32* noalias nocapture %dst, i32 %n.vec, <4 x i32>* %x) {
 425 ; CHECK-LABEL: non_gatscat_use2:
 426 ; CHECK:       @ %bb.0: @ %vector.ph
 427 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
 428 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13, d14, d15}
 429 ; CHECK-NEXT:    adr.w r12, .LCPI9_0
 430 ; CHECK-NEXT:    vmov.i32 q0, #0x12
 431 ; CHECK-NEXT:    vldrw.u32 q4, [r12]
 432 ; CHECK-NEXT:    vmov.i32 q1, #0x9
 433 ; CHECK-NEXT:    vmov.i32 q2, #0x8
 434 ; CHECK-NEXT:    vmov.i32 q3, #0xc
 435 ; CHECK-NEXT:  .LBB9_1: @ %vector.body
 436 ; CHECK-NEXT:    @ =>This Inner Loop Header: Depth=1
 437 ; CHECK-NEXT:    vadd.i32 q5, q4, q2
 438 ; CHECK-NEXT:    vmul.i32 q6, q4, q1
 439 ; CHECK-NEXT:    vmlas.u32 q4, q3, r0
 440 ; CHECK-NEXT:    subs r2, #4
 441 ; CHECK-NEXT:    vldrw.u32 q7, [q4, #24]
 442 ; CHECK-NEXT:    vadd.i32 q4, q6, q0
 443 ; CHECK-NEXT:    vstrw.32 q4, [r3]
 444 ; CHECK-NEXT:    vmov q4, q5
 445 ; CHECK-NEXT:    vstrb.8 q7, [r1], #16
 446 ; CHECK-NEXT:    bne .LBB9_1
 447 ; CHECK-NEXT:  @ %bb.2: @ %end
 448 ; CHECK-NEXT:    vpop {d8, d9, d10, d11, d12, d13, d14, d15}
 449 ; CHECK-NEXT:    bx lr
 450 ; CHECK-NEXT:    .p2align 4
 451 ; CHECK-NEXT:  @ %bb.3:
 452 ; CHECK-NEXT:  .LCPI9_0:
 453 ; CHECK-NEXT:    .long 0 @ 0x0
 454 ; CHECK-NEXT:    .long 2 @ 0x2
 455 ; CHECK-NEXT:    .long 4 @ 0x4
 456 ; CHECK-NEXT:    .long 6 @ 0x6
 457
 458 vector.ph:                                        ; preds = %for.body.preheader
 459   br label %vector.body
 460
 461 vector.body:                                      ; preds = %vector.body, %vector.ph
 462   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 463   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 464   %0 = mul <4 x i32> %vec.ind, <i32 3, i32 3, i32 3, i32 3>
 465   %1 = add <4 x i32> %0, <i32 6, i32 6, i32 6, i32 6>
 466   %2 = getelementptr inbounds i32, i32* %data, <4 x i32> %1
 467   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %2, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef)
 468   %3 = getelementptr inbounds i32, i32* %dst, i32 %index
 469   %4 = bitcast i32* %3 to <4 x i32>*
 470   store <4 x i32> %wide.masked.gather, <4 x i32>* %4, align 4
 471   %non_gatscat_use = mul <4 x i32> %1, <i32 3, i32 3, i32 3, i32 3>
 472   store <4 x i32> %non_gatscat_use, <4 x i32>* %x, align 4
 473   %index.next = add i32 %index, 4
 474   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 475   %5 = icmp eq i32 %index.next, %n.vec
 476   br i1 %5, label %end, label %vector.body
 477
 478 end:
 479   ret void;
 480 }
 481
 482 define dso_local void @arm_mat_mult_q31(i32* noalias nocapture readonly %A, i32* noalias nocapture readonly %B, i32* noalias nocapture %C, i32 %n, i32 %m, i32 %l) local_unnamed_addr #0 {
 483 ; CHECK-LABEL: arm_mat_mult_q31:
 484 ; CHECK:       @ %bb.0: @ %for.cond8.preheader.us.us.preheader.preheader
 485 ; CHECK-NEXT:    .save {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 486 ; CHECK-NEXT:    push.w {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 487 ; CHECK-NEXT:    .pad #4
 488 ; CHECK-NEXT:    sub sp, #4
 489 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
 490 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13, d14, d15}
 491 ; CHECK-NEXT:    .pad #16
 492 ; CHECK-NEXT:    sub sp, #16
 493 ; CHECK-NEXT:    ldrd r9, r12, [sp, #120]
 494 ; CHECK-NEXT:    sub.w r7, r12, #1
 495 ; CHECK-NEXT:    movs r6, #1
 496 ; CHECK-NEXT:    mov.w r8, #0
 497 ; CHECK-NEXT:    add.w r7, r6, r7, lsr #1
 498 ; CHECK-NEXT:    vdup.32 q1, r9
 499 ; CHECK-NEXT:    bic r7, r7, #3
 500 ; CHECK-NEXT:    vshl.i32 q3, q1, #3
 501 ; CHECK-NEXT:    subs r7, #4
 502 ; CHECK-NEXT:    add.w r10, r6, r7, lsr #2
 503 ; CHECK-NEXT:    adr r7, .LCPI10_0
 504 ; CHECK-NEXT:    adr r6, .LCPI10_1
 505 ; CHECK-NEXT:    vldrw.u32 q2, [r7]
 506 ; CHECK-NEXT:    vldrw.u32 q0, [r6]
 507 ; CHECK-NEXT:    vstrw.32 q0, [sp] @ 16-byte Spill
 508 ; CHECK-NEXT:  .LBB10_1: @ %for.cond8.preheader.us.us.preheader
 509 ; CHECK-NEXT:    @ =>This Loop Header: Depth=1
 510 ; CHECK-NEXT:    @ Child Loop BB10_2 Depth 2
 511 ; CHECK-NEXT:    @ Child Loop BB10_3 Depth 3
 512 ; CHECK-NEXT:    mul r11, r8, r9
 513 ; CHECK-NEXT:    movs r5, #0
 514 ; CHECK-NEXT:    mul r7, r8, r12
 515 ; CHECK-NEXT:  .LBB10_2: @ %vector.ph
 516 ; CHECK-NEXT:    @ Parent Loop BB10_1 Depth=1
 517 ; CHECK-NEXT:    @ => This Loop Header: Depth=2
 518 ; CHECK-NEXT:    @ Child Loop BB10_3 Depth 3
 519 ; CHECK-NEXT:    vdup.32 q5, r7
 520 ; CHECK-NEXT:    vldrw.u32 q0, [sp] @ 16-byte Reload
 521 ; CHECK-NEXT:    vshl.i32 q5, q5, #2
 522 ; CHECK-NEXT:    vmov q6, q1
 523 ; CHECK-NEXT:    vadd.i32 q5, q5, r0
 524 ; CHECK-NEXT:    dls lr, r10
 525 ; CHECK-NEXT:    vmov.i32 q4, #0x0
 526 ; CHECK-NEXT:    vadd.i32 q5, q5, q0
 527 ; CHECK-NEXT:    vmlas.u32 q6, q2, r5
 528 ; CHECK-NEXT:  .LBB10_3: @ %vector.body
 529 ; CHECK-NEXT:    @ Parent Loop BB10_1 Depth=1
 530 ; CHECK-NEXT:    @ Parent Loop BB10_2 Depth=2
 531 ; CHECK-NEXT:    @ => This Inner Loop Header: Depth=3
 532 ; CHECK-NEXT:    vadd.i32 q7, q6, q3
 533 ; CHECK-NEXT:    vldrw.u32 q0, [r1, q6, uxtw #2]
 534 ; CHECK-NEXT:    vldrw.u32 q6, [q5, #32]!
 535 ; CHECK-NEXT:    vmul.i32 q0, q0, q6
 536 ; CHECK-NEXT:    vmov q6, q7
 537 ; CHECK-NEXT:    vadd.i32 q4, q0, q4
 538 ; CHECK-NEXT:    le lr, .LBB10_3
 539 ; CHECK-NEXT:  @ %bb.4: @ %middle.block
 540 ; CHECK-NEXT:    @ in Loop: Header=BB10_2 Depth=2
 541 ; CHECK-NEXT:    add.w r4, r5, r11
 542 ; CHECK-NEXT:    adds r5, #1
 543 ; CHECK-NEXT:    vaddv.u32 r6, q4
 544 ; CHECK-NEXT:    cmp r5, r9
 545 ; CHECK-NEXT:    str.w r6, [r2, r4, lsl #2]
 546 ; CHECK-NEXT:    bne .LBB10_2
 547 ; CHECK-NEXT:  @ %bb.5: @ %for.cond4.for.cond.cleanup6_crit_edge.us
 548 ; CHECK-NEXT:    @ in Loop: Header=BB10_1 Depth=1
 549 ; CHECK-NEXT:    add.w r8, r8, #1
 550 ; CHECK-NEXT:    cmp r8, r3
 551 ; CHECK-NEXT:    bne .LBB10_1
 552 ; CHECK-NEXT:  @ %bb.6: @ %for.end25
 553 ; CHECK-NEXT:    add sp, #16
 554 ; CHECK-NEXT:    vpop {d8, d9, d10, d11, d12, d13, d14, d15}
 555 ; CHECK-NEXT:    add sp, #4
 556 ; CHECK-NEXT:    pop.w {r4, r5, r6, r7, r8, r9, r10, r11, pc}
 557 ; CHECK-NEXT:    .p2align 4
 558 ; CHECK-NEXT:  @ %bb.7:
 559 ; CHECK-NEXT:  .LCPI10_0:
 560 ; CHECK-NEXT:    .long 0 @ 0x0
 561 ; CHECK-NEXT:    .long 2 @ 0x2
 562 ; CHECK-NEXT:    .long 4 @ 0x4
 563 ; CHECK-NEXT:    .long 6 @ 0x6
 564 ; CHECK-NEXT:  .LCPI10_1:
 565 ; CHECK-NEXT:    .long 4294967264 @ 0xffffffe0
 566 ; CHECK-NEXT:    .long 4294967272 @ 0xffffffe8
 567 ; CHECK-NEXT:    .long 4294967280 @ 0xfffffff0
 568 ; CHECK-NEXT:    .long 4294967288 @ 0xfffffff8
 569
 570 for.cond8.preheader.us.us.preheader.preheader:    ; preds = %entry
 571   %0 = add i32 %l, -1
 572   %1 = lshr i32 %0, 1
 573   %2 = add nuw i32 %1, 1
 574   %min.iters.check = icmp ult i32 %0, 6
 575   %n.vec = and i32 %2, -4
 576   %broadcast.splatinsert86 = insertelement <4 x i32> undef, i32 %m, i32 0
 577   %broadcast.splat87 = shufflevector <4 x i32> %broadcast.splatinsert86, <4 x i32> undef, <4 x i32> zeroinitializer
 578   %cmp.n = icmp eq i32 %2, %n.vec
 579   br label %for.cond8.preheader.us.us.preheader
 580
 581 for.cond8.preheader.us.us.preheader:              ; preds = %for.cond8.preheader.us.us.preheader.preheader, %for.cond4.for.cond.cleanup6_crit_edge.us
 582   %i.054.us = phi i32 [ %inc24.us, %for.cond4.for.cond.cleanup6_crit_edge.us ], [ 0, %for.cond8.preheader.us.us.preheader.preheader ]
 583   %mul.us = mul i32 %i.054.us, %l
 584   %mul18.us = mul i32 %i.054.us, %m
 585   %broadcast.splatinsert = insertelement <4 x i32> undef, i32 %mul.us, i32 0
 586   %broadcast.splat = shufflevector <4 x i32> %broadcast.splatinsert, <4 x i32> undef, <4 x i32> zeroinitializer
 587   br label %vector.ph
 588
 589 for.cond4.for.cond.cleanup6_crit_edge.us:         ; preds = %for.cond8.for.cond.cleanup10_crit_edge.us.us
 590   %inc24.us = add nuw nsw i32 %i.054.us, 1
 591   %exitcond85 = icmp eq i32 %inc24.us, %n
 592   br i1 %exitcond85, label %for.end25, label %for.cond8.preheader.us.us.preheader
 593
 594 vector.ph:                        ; preds = %middle.block, %for.cond8.preheader.us.us.preheader
 595   %j.051.us.us = phi i32 [ %inc.us.us, %middle.block ], [ 0, %for.cond8.preheader.us.us.preheader ]
 596   %broadcast.splatinsert88 = insertelement <4 x i32> undef, i32 %j.051.us.us, i32 0
 597   %broadcast.splat89 = shufflevector <4 x i32> %broadcast.splatinsert88, <4 x i32> undef, <4 x i32> zeroinitializer
 598   br label %vector.body
 599
 600 vector.body:                                      ; preds = %vector.body, %vector.ph
 601   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 602   %vec.ind = phi <4 x i32> [ <i32 0, i32 2, i32 4, i32 6>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 603   %vec.phi = phi <4 x i32> [ zeroinitializer, %vector.ph ], [ %9, %vector.body ]
 604   %3 = add <4 x i32> %vec.ind, %broadcast.splat
 605   %4 = getelementptr inbounds i32, i32* %A, <4 x i32> %3
 606   %wide.masked.gather = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %4, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef), !tbaa !3
 607   %5 = mul <4 x i32> %vec.ind, %broadcast.splat87
 608   %6 = add <4 x i32> %5, %broadcast.splat89
 609   %7 = getelementptr inbounds i32, i32* %B, <4 x i32> %6
 610   %wide.masked.gather90 = call <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*> %7, i32 4, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i32> undef), !tbaa !3
 611   %8 = mul nsw <4 x i32> %wide.masked.gather90, %wide.masked.gather
 612   %9 = add <4 x i32> %8, %vec.phi
 613   %index.next = add i32 %index, 4
 614   %vec.ind.next = add <4 x i32> %vec.ind, <i32 8, i32 8, i32 8, i32 8>
 615   %10 = icmp eq i32 %index.next, %n.vec
 616   br i1 %10, label %middle.block, label %vector.body, !llvm.loop !7
 617
 618 middle.block:                                     ; preds = %vector.body
 619   %11 = call i32 @llvm.vector.reduce.add.v4i32(<4 x i32> %9)
 620 ;for.cond8.for.cond.cleanup10_crit_edge.us.us:     ; preds = %for.body11.us.us, %middle.block
 621   %add19.us.us = add i32 %j.051.us.us, %mul18.us
 622   %arrayidx20.us.us = getelementptr inbounds i32, i32* %C, i32 %add19.us.us
 623   store i32 %11, i32* %arrayidx20.us.us, align 4, !tbaa !3
 624   %inc.us.us = add nuw nsw i32 %j.051.us.us, 1
 625   %exitcond = icmp eq i32 %inc.us.us, %m
 626   br i1 %exitcond, label %for.cond4.for.cond.cleanup6_crit_edge.us, label %vector.ph
 627
 628 for.end25:                                        ; preds = %for.cond4.for.cond.cleanup6_crit_edge.us, %entry
 629   ret void
 630 }
 631
 632 define dso_local void @arm_mat_mult_q15(i16* noalias nocapture readonly %A, i16* noalias nocapture readonly %B, i16* noalias nocapture %C, i32 %n, i32 %m, i32 %l) local_unnamed_addr #0 {
 633 ; CHECK-LABEL: arm_mat_mult_q15:
 634 ; CHECK:       @ %bb.0: @ %entry
 635 ; CHECK-NEXT:    .save {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 636 ; CHECK-NEXT:    push.w {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 637 ; CHECK-NEXT:    .pad #4
 638 ; CHECK-NEXT:    sub sp, #4
 639 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
 640 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13, d14, d15}
 641 ; CHECK-NEXT:    .pad #32
 642 ; CHECK-NEXT:    sub sp, #32
 643 ; CHECK-NEXT:    strd r0, r2, [sp, #24] @ 8-byte Folded Spill
 644 ; CHECK-NEXT:    cmp r3, #0
 645 ; CHECK-NEXT:    str r3, [sp, #8] @ 4-byte Spill
 646 ; CHECK-NEXT:    mov r0, r3
 647 ; CHECK-NEXT:    itt ne
 648 ; CHECK-NEXT:    ldrne r0, [sp, #136]
 649 ; CHECK-NEXT:    cmpne r0, #0
 650 ; CHECK-NEXT:    bne .LBB11_2
 651 ; CHECK-NEXT:  .LBB11_1: @ %for.cond.cleanup
 652 ; CHECK-NEXT:    add sp, #32
 653 ; CHECK-NEXT:    vpop {d8, d9, d10, d11, d12, d13, d14, d15}
 654 ; CHECK-NEXT:    add sp, #4
 655 ; CHECK-NEXT:    pop.w {r4, r5, r6, r7, r8, r9, r10, r11, pc}
 656 ; CHECK-NEXT:  .LBB11_2: @ %for.cond1.preheader.us.preheader
 657 ; CHECK-NEXT:    ldr.w r12, [sp, #140]
 658 ; CHECK-NEXT:    movs r7, #1
 659 ; CHECK-NEXT:    mov.w r11, #0
 660 ; CHECK-NEXT:    vmov.i32 q0, #0x0
 661 ; CHECK-NEXT:    bic r2, r12, #3
 662 ; CHECK-NEXT:    subs r3, r2, #4
 663 ; CHECK-NEXT:    add.w r0, r7, r3, lsr #2
 664 ; CHECK-NEXT:    ldr r7, [sp, #136]
 665 ; CHECK-NEXT:    adr r3, .LCPI11_0
 666 ; CHECK-NEXT:    str r0, [sp, #16] @ 4-byte Spill
 667 ; CHECK-NEXT:    lsl.w r0, r12, #1
 668 ; CHECK-NEXT:    vdup.32 q1, r7
 669 ; CHECK-NEXT:    vldrw.u32 q2, [r3]
 670 ; CHECK-NEXT:    str r0, [sp, #4] @ 4-byte Spill
 671 ; CHECK-NEXT:    ldr r0, [sp, #24] @ 4-byte Reload
 672 ; CHECK-NEXT:    lsls r6, r7, #1
 673 ; CHECK-NEXT:    vshl.i32 q3, q1, #2
 674 ; CHECK-NEXT:    movs r3, #0
 675 ; CHECK-NEXT:    str r0, [sp, #20] @ 4-byte Spill
 676 ; CHECK-NEXT:    b .LBB11_5
 677 ; CHECK-NEXT:  .LBB11_3: @ %for.cond5.preheader.us73.preheader
 678 ; CHECK-NEXT:    @ in Loop: Header=BB11_5 Depth=1
 679 ; CHECK-NEXT:    ldr r0, [sp, #28] @ 4-byte Reload
 680 ; CHECK-NEXT:    add.w r3, r0, r5, lsl #1
 681 ; CHECK-NEXT:    wlstp.8 lr, r6, .LBB11_4
 682 ; CHECK-NEXT:    b .LBB11_15
 683 ; CHECK-NEXT:  .LBB11_4: @ %for.cond1.for.cond.cleanup3_crit_edge.us
 684 ; CHECK-NEXT:    @ in Loop: Header=BB11_5 Depth=1
 685 ; CHECK-NEXT:    ldr r0, [sp, #4] @ 4-byte Reload
 686 ; CHECK-NEXT:    add r11, r12
 687 ; CHECK-NEXT:    ldr r3, [sp, #20] @ 4-byte Reload
 688 ; CHECK-NEXT:    add r3, r0
 689 ; CHECK-NEXT:    str r3, [sp, #20] @ 4-byte Spill
 690 ; CHECK-NEXT:    ldr r3, [sp, #12] @ 4-byte Reload
 691 ; CHECK-NEXT:    ldr r0, [sp, #8] @ 4-byte Reload
 692 ; CHECK-NEXT:    adds r3, #1
 693 ; CHECK-NEXT:    cmp r3, r0
 694 ; CHECK-NEXT:    beq .LBB11_1
 695 ; CHECK-NEXT:  .LBB11_5: @ %for.cond1.preheader.us
 696 ; CHECK-NEXT:    @ =>This Loop Header: Depth=1
 697 ; CHECK-NEXT:    @ Child Loop BB11_8 Depth 2
 698 ; CHECK-NEXT:    @ Child Loop BB11_11 Depth 3
 699 ; CHECK-NEXT:    @ Child Loop BB11_14 Depth 3
 700 ; CHECK-NEXT:    @ Child Loop BB11_15 Depth 2
 701 ; CHECK-NEXT:    mul r5, r3, r7
 702 ; CHECK-NEXT:    cmp.w r12, #0
 703 ; CHECK-NEXT:    str r3, [sp, #12] @ 4-byte Spill
 704 ; CHECK-NEXT:    beq .LBB11_3
 705 ; CHECK-NEXT:  @ %bb.6: @ %for.cond5.preheader.us.us.preheader
 706 ; CHECK-NEXT:    @ in Loop: Header=BB11_5 Depth=1
 707 ; CHECK-NEXT:    mov.w r8, #0
 708 ; CHECK-NEXT:    b .LBB11_8
 709 ; CHECK-NEXT:  .LBB11_7: @ %for.cond5.for.cond.cleanup7_crit_edge.us.us
 710 ; CHECK-NEXT:    @ in Loop: Header=BB11_8 Depth=2
 711 ; CHECK-NEXT:    ldr r3, [sp, #28] @ 4-byte Reload
 712 ; CHECK-NEXT:    add.w r0, r8, r5
 713 ; CHECK-NEXT:    add.w r8, r8, #1
 714 ; CHECK-NEXT:    cmp r8, r7
 715 ; CHECK-NEXT:    strh.w r10, [r3, r0, lsl #1]
 716 ; CHECK-NEXT:    beq .LBB11_4
 717 ; CHECK-NEXT:  .LBB11_8: @ %for.cond5.preheader.us.us
 718 ; CHECK-NEXT:    @ Parent Loop BB11_5 Depth=1
 719 ; CHECK-NEXT:    @ => This Loop Header: Depth=2
 720 ; CHECK-NEXT:    @ Child Loop BB11_11 Depth 3
 721 ; CHECK-NEXT:    @ Child Loop BB11_14 Depth 3
 722 ; CHECK-NEXT:    cmp.w r12, #3
 723 ; CHECK-NEXT:    bhi .LBB11_10
 724 ; CHECK-NEXT:  @ %bb.9: @ in Loop: Header=BB11_8 Depth=2
 725 ; CHECK-NEXT:    movs r4, #0
 726 ; CHECK-NEXT:    mov.w r10, #0
 727 ; CHECK-NEXT:    b .LBB11_13
 728 ; CHECK-NEXT:  .LBB11_10: @ %vector.ph
 729 ; CHECK-NEXT:    @ in Loop: Header=BB11_8 Depth=2
 730 ; CHECK-NEXT:    ldr r0, [sp, #16] @ 4-byte Reload
 731 ; CHECK-NEXT:    vmov q5, q1
 732 ; CHECK-NEXT:    vmov.i32 q4, #0x0
 733 ; CHECK-NEXT:    vmlas.u32 q5, q2, r8
 734 ; CHECK-NEXT:    dls lr, r0
 735 ; CHECK-NEXT:    ldr r3, [sp, #20] @ 4-byte Reload
 736 ; CHECK-NEXT:  .LBB11_11: @ %vector.body
 737 ; CHECK-NEXT:    @ Parent Loop BB11_5 Depth=1
 738 ; CHECK-NEXT:    @ Parent Loop BB11_8 Depth=2
 739 ; CHECK-NEXT:    @ => This Inner Loop Header: Depth=3
 740 ; CHECK-NEXT:    vadd.i32 q6, q5, q3
 741 ; CHECK-NEXT:    vldrh.s32 q7, [r1, q5, uxtw #1]
 742 ; CHECK-NEXT:    vldrh.s32 q5, [r3], #8
 743 ; CHECK-NEXT:    vmul.i32 q5, q7, q5
 744 ; CHECK-NEXT:    vadd.i32 q4, q5, q4
 745 ; CHECK-NEXT:    vmov q5, q6
 746 ; CHECK-NEXT:    le lr, .LBB11_11
 747 ; CHECK-NEXT:  @ %bb.12: @ %middle.block
 748 ; CHECK-NEXT:    @ in Loop: Header=BB11_8 Depth=2
 749 ; CHECK-NEXT:    vaddv.u32 r10, q4
 750 ; CHECK-NEXT:    cmp r2, r12
 751 ; CHECK-NEXT:    mov r4, r2
 752 ; CHECK-NEXT:    beq .LBB11_7
 753 ; CHECK-NEXT:  .LBB11_13: @ %for.body8.us.us.preheader
 754 ; CHECK-NEXT:    @ in Loop: Header=BB11_8 Depth=2
 755 ; CHECK-NEXT:    mla r3, r7, r4, r8
 756 ; CHECK-NEXT:    add.w r0, r11, r4
 757 ; CHECK-NEXT:    ldr r7, [sp, #24] @ 4-byte Reload
 758 ; CHECK-NEXT:    sub.w lr, r12, r4
 759 ; CHECK-NEXT:    add.w r9, r7, r0, lsl #1
 760 ; CHECK-NEXT:    ldr r7, [sp, #136]
 761 ; CHECK-NEXT:    add.w r3, r1, r3, lsl #1
 762 ; CHECK-NEXT:  .LBB11_14: @ %for.body8.us.us
 763 ; CHECK-NEXT:    @ Parent Loop BB11_5 Depth=1
 764 ; CHECK-NEXT:    @ Parent Loop BB11_8 Depth=2
 765 ; CHECK-NEXT:    @ => This Inner Loop Header: Depth=3
 766 ; CHECK-NEXT:    ldrsh.w r4, [r3]
 767 ; CHECK-NEXT:    add r3, r6
 768 ; CHECK-NEXT:    ldrsh r0, [r9], #2
 769 ; CHECK-NEXT:    smlabb r10, r4, r0, r10
 770 ; CHECK-NEXT:    le lr, .LBB11_14
 771 ; CHECK-NEXT:    b .LBB11_7
 772 ; CHECK-NEXT:  .LBB11_15: @ Parent Loop BB11_5 Depth=1
 773 ; CHECK-NEXT:    @ => This Inner Loop Header: Depth=2
 774 ; CHECK-NEXT:    vstrb.8 q0, [r3], #16
 775 ; CHECK-NEXT:    letp lr, .LBB11_15
 776 ; CHECK-NEXT:    b .LBB11_4
 777 ; CHECK-NEXT:    .p2align 4
 778 ; CHECK-NEXT:  @ %bb.16:
 779 ; CHECK-NEXT:  .LCPI11_0:
 780 ; CHECK-NEXT:    .long 0 @ 0x0
 781 ; CHECK-NEXT:    .long 1 @ 0x1
 782 ; CHECK-NEXT:    .long 2 @ 0x2
 783 ; CHECK-NEXT:    .long 3 @ 0x3
 784 entry:
 785   %cmp48 = icmp eq i32 %n, 0
 786   br i1 %cmp48, label %for.cond.cleanup, label %for.cond1.preheader.lr.ph
 787
 788 for.cond1.preheader.lr.ph:                        ; preds = %entry
 789   %cmp245 = icmp eq i32 %m, 0
 790   %cmp642 = icmp eq i32 %l, 0
 791   br i1 %cmp245, label %for.cond.cleanup, label %for.cond1.preheader.us.preheader
 792
 793 for.cond1.preheader.us.preheader:                 ; preds = %for.cond1.preheader.lr.ph
 794   %0 = shl nuw i32 %m, 1
 795   %min.iters.check = icmp ult i32 %l, 4
 796   %n.vec = and i32 %l, -4
 797   %broadcast.splatinsert = insertelement <4 x i32> undef, i32 %m, i32 0
 798   %broadcast.splat = shufflevector <4 x i32> %broadcast.splatinsert, <4 x i32> undef, <4 x i32> zeroinitializer
 799   %cmp.n = icmp eq i32 %n.vec, %l
 800   br label %for.cond1.preheader.us
 801
 802 for.cond1.preheader.us:                           ; preds = %for.cond1.for.cond.cleanup3_crit_edge.us, %for.cond1.preheader.us.preheader
 803   %i.049.us = phi i32 [ %inc23.us, %for.cond1.for.cond.cleanup3_crit_edge.us ], [ 0, %for.cond1.preheader.us.preheader ]
 804   %1 = mul i32 %i.049.us, %m
 805   %mul.us = mul i32 %i.049.us, %l
 806   br i1 %cmp642, label %for.cond5.preheader.us73.preheader, label %for.cond5.preheader.us.us
 807
 808 for.cond5.preheader.us73.preheader:               ; preds = %for.cond1.preheader.us
 809   %scevgep = getelementptr i16, i16* %C, i32 %1
 810   %scevgep82 = bitcast i16* %scevgep to i8*
 811   call void @llvm.memset.p0i8.i32(i8* align 2 %scevgep82, i8 0, i32 %0, i1 false)
 812   br label %for.cond1.for.cond.cleanup3_crit_edge.us
 813
 814 for.cond1.for.cond.cleanup3_crit_edge.us:         ; preds = %for.cond5.for.cond.cleanup7_crit_edge.us.us, %for.cond5.preheader.us73.preheader
 815   %inc23.us = add nuw nsw i32 %i.049.us, 1
 816   %exitcond84 = icmp eq i32 %inc23.us, %n
 817   br i1 %exitcond84, label %for.cond.cleanup, label %for.cond1.preheader.us
 818
 819 for.cond5.preheader.us.us:                        ; preds = %for.cond1.preheader.us, %for.cond5.for.cond.cleanup7_crit_edge.us.us
 820   %j.046.us.us = phi i32 [ %inc20.us.us, %for.cond5.for.cond.cleanup7_crit_edge.us.us ], [ 0, %for.cond1.preheader.us ]
 821   br i1 %min.iters.check, label %for.body8.us.us.preheader, label %vector.ph
 822
 823 for.body8.us.us.preheader:                        ; preds = %middle.block, %for.cond5.preheader.us.us
 824   %k.044.us.us.ph = phi i32 [ 0, %for.cond5.preheader.us.us ], [ %n.vec, %middle.block ]
 825   %sum.043.us.us.ph = phi i32 [ 0, %for.cond5.preheader.us.us ], [ %13, %middle.block ]
 826   br label %for.body8.us.us
 827
 828 vector.ph:                                        ; preds = %for.cond5.preheader.us.us
 829   %broadcast.splatinsert85 = insertelement <4 x i32> undef, i32 %j.046.us.us, i32 0
 830   %broadcast.splat86 = shufflevector <4 x i32> %broadcast.splatinsert85, <4 x i32> undef, <4 x i32> zeroinitializer
 831   br label %vector.body
 832
 833 vector.body:                                      ; preds = %vector.body, %vector.ph
 834   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
 835   %vec.ind = phi <4 x i32> [ <i32 0, i32 1, i32 2, i32 3>, %vector.ph ], [ %vec.ind.next, %vector.body ]
 836   %vec.phi = phi <4 x i32> [ zeroinitializer, %vector.ph ], [ %11, %vector.body ]
 837   %2 = add i32 %index, %mul.us
 838   %3 = getelementptr inbounds i16, i16* %A, i32 %2
 839   %4 = bitcast i16* %3 to <4 x i16>*
 840   %wide.load = load <4 x i16>, <4 x i16>* %4, align 2, !tbaa !3
 841   %5 = sext <4 x i16> %wide.load to <4 x i32>
 842   %6 = mul <4 x i32> %vec.ind, %broadcast.splat
 843   %7 = add <4 x i32> %6, %broadcast.splat86
 844   %8 = getelementptr inbounds i16, i16* %B, <4 x i32> %7
 845   %wide.masked.gather = call <4 x i16> @llvm.masked.gather.v4i16.v4p0i16(<4 x i16*> %8, i32 2, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i16> undef), !tbaa !3
 846   %9 = sext <4 x i16> %wide.masked.gather to <4 x i32>
 847   %10 = mul nsw <4 x i32> %9, %5
 848   %11 = add <4 x i32> %10, %vec.phi
 849   %index.next = add i32 %index, 4
 850   %vec.ind.next = add <4 x i32> %vec.ind, <i32 4, i32 4, i32 4, i32 4>
 851   %12 = icmp eq i32 %index.next, %n.vec
 852   br i1 %12, label %middle.block, label %vector.body, !llvm.loop !7
 853
 854 middle.block:                                     ; preds = %vector.body
 855   %13 = call i32 @llvm.vector.reduce.add.v4i32(<4 x i32> %11)
 856   br i1 %cmp.n, label %for.cond5.for.cond.cleanup7_crit_edge.us.us, label %for.body8.us.us.preheader
 857
 858 for.cond5.for.cond.cleanup7_crit_edge.us.us:      ; preds = %for.body8.us.us, %middle.block
 859   %add14.us.us.lcssa = phi i32 [ %13, %middle.block ], [ %add14.us.us, %for.body8.us.us ]
 860   %conv15.us.us = trunc i32 %add14.us.us.lcssa to i16
 861   %add17.us.us = add i32 %j.046.us.us, %1
 862   %arrayidx18.us.us = getelementptr inbounds i16, i16* %C, i32 %add17.us.us
 863   store i16 %conv15.us.us, i16* %arrayidx18.us.us, align 2, !tbaa !3
 864   %inc20.us.us = add nuw nsw i32 %j.046.us.us, 1
 865   %exitcond83 = icmp eq i32 %inc20.us.us, %m
 866   br i1 %exitcond83, label %for.cond1.for.cond.cleanup3_crit_edge.us, label %for.cond5.preheader.us.us
 867
 868 for.body8.us.us:                                  ; preds = %for.body8.us.us.preheader, %for.body8.us.us
 869   %k.044.us.us = phi i32 [ %inc.us.us, %for.body8.us.us ], [ %k.044.us.us.ph, %for.body8.us.us.preheader ]
 870   %sum.043.us.us = phi i32 [ %add14.us.us, %for.body8.us.us ], [ %sum.043.us.us.ph, %for.body8.us.us.preheader ]
 871   %add.us.us = add i32 %k.044.us.us, %mul.us
 872   %arrayidx.us.us = getelementptr inbounds i16, i16* %A, i32 %add.us.us
 873   %14 = load i16, i16* %arrayidx.us.us, align 2, !tbaa !3
 874   %conv.us.us = sext i16 %14 to i32
 875   %mul9.us.us = mul i32 %k.044.us.us, %m
 876   %add10.us.us = add i32 %mul9.us.us, %j.046.us.us
 877   %arrayidx11.us.us = getelementptr inbounds i16, i16* %B, i32 %add10.us.us
 878   %15 = load i16, i16* %arrayidx11.us.us, align 2, !tbaa !3
 879   %conv12.us.us = sext i16 %15 to i32
 880   %mul13.us.us = mul nsw i32 %conv12.us.us, %conv.us.us
 881   %add14.us.us = add nsw i32 %mul13.us.us, %sum.043.us.us
 882   %inc.us.us = add nuw nsw i32 %k.044.us.us, 1
 883   %exitcond = icmp eq i32 %inc.us.us, %l
 884   br i1 %exitcond, label %for.cond5.for.cond.cleanup7_crit_edge.us.us, label %for.body8.us.us, !llvm.loop !9
 885
 886 for.cond.cleanup:                                 ; preds = %for.cond1.for.cond.cleanup3_crit_edge.us, %for.cond1.preheader.lr.ph, %entry
 887   ret void
 888 }
 889
 890 define hidden arm_aapcs_vfpcc i32 @arm_depthwise_conv_s8(i8* nocapture readonly %input, i16 zeroext %input_x, i16 zeroext %input_y, i16 zeroext %input_ch, i8* nocapture readonly %kernel, i16 zeroext %output_ch, i16 zeroext %ch_mult, i16 zeroext %kernel_x, i16 zeroext %kernel_y, i16 zeroext %pad_x, i16 zeroext %pad_y, i16 zeroext %stride_x, i16 zeroext %stride_y, i32* nocapture readonly %bias, i8* nocapture %output, i32* nocapture readonly %output_shift, i32* nocapture readonly %output_mult, i16 zeroext %output_x, i16 zeroext %output_y, i32 %output_offset, i32 %input_offset, i32 %output_activation_min, i32 %output_activation_max, i16 zeroext %dilation_x, i16 zeroext %dilation_y, i16* nocapture readnone %buffer_a) local_unnamed_addr #0 {
 891 ; CHECK-LABEL: arm_depthwise_conv_s8:
 892 ; CHECK:       @ %bb.0: @ %entry
 893 ; CHECK-NEXT:    .save {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 894 ; CHECK-NEXT:    push.w {r4, r5, r6, r7, r8, r9, r10, r11, lr}
 895 ; CHECK-NEXT:    .pad #4
 896 ; CHECK-NEXT:    sub sp, #4
 897 ; CHECK-NEXT:    .vsave {d8, d9, d10, d11, d12, d13}
 898 ; CHECK-NEXT:    vpush {d8, d9, d10, d11, d12, d13}
 899 ; CHECK-NEXT:    .pad #8
 900 ; CHECK-NEXT:    sub sp, #8
 901 ; CHECK-NEXT:    ldrd r2, r7, [sp, #104]
 902 ; CHECK-NEXT:    add.w r8, r7, #10
 903 ; CHECK-NEXT:    adr r7, .LCPI12_0
 904 ; CHECK-NEXT:    ldr r1, [sp, #96]
 905 ; CHECK-NEXT:    vdup.32 q0, r2
 906 ; CHECK-NEXT:    vldrw.u32 q1, [r7]
 907 ; CHECK-NEXT:    mov.w r10, #0
 908 ; CHECK-NEXT:    mov.w r9, #6
 909 ; CHECK-NEXT:    movs r6, #11
 910 ; CHECK-NEXT:    vshl.i32 q0, q0, #2
 911 ; CHECK-NEXT:    movs r5, #0
 912 ; CHECK-NEXT:  .LBB12_1: @ %for.body10.i
 913 ; CHECK-NEXT:    @ =>This Loop Header: Depth=1
 914 ; CHECK-NEXT:    @ Child Loop BB12_2 Depth 2
 915 ; CHECK-NEXT:    @ Child Loop BB12_3 Depth 3
 916 ; CHECK-NEXT:    @ Child Loop BB12_4 Depth 4
 917 ; CHECK-NEXT:    @ Child Loop BB12_5 Depth 5
 918 ; CHECK-NEXT:    movs r7, #0
 919 ; CHECK-NEXT:    str r5, [sp, #4] @ 4-byte Spill
 920 ; CHECK-NEXT:  .LBB12_2: @ %for.cond22.preheader.i
 921 ; CHECK-NEXT:    @ Parent Loop BB12_1 Depth=1
 922 ; CHECK-NEXT:    @ => This Loop Header: Depth=2
 923 ; CHECK-NEXT:    @ Child Loop BB12_3 Depth 3
 924 ; CHECK-NEXT:    @ Child Loop BB12_4 Depth 4
 925 ; CHECK-NEXT:    @ Child Loop BB12_5 Depth 5
 926 ; CHECK-NEXT:    movs r5, #0
 927 ; CHECK-NEXT:  .LBB12_3: @ %for.body27.i
 928 ; CHECK-NEXT:    @ Parent Loop BB12_1 Depth=1
 929 ; CHECK-NEXT:    @ Parent Loop BB12_2 Depth=2
 930 ; CHECK-NEXT:    @ => This Loop Header: Depth=3
 931 ; CHECK-NEXT:    @ Child Loop BB12_4 Depth 4
 932 ; CHECK-NEXT:    @ Child Loop BB12_5 Depth 5
 933 ; CHECK-NEXT:    dls lr, r9
 934 ; CHECK-NEXT:    mov.w r12, #0
 935 ; CHECK-NEXT:    mov.w r11, #4
 936 ; CHECK-NEXT:  .LBB12_4: @ %for.body78.us.i
 937 ; CHECK-NEXT:    @ Parent Loop BB12_1 Depth=1
 938 ; CHECK-NEXT:    @ Parent Loop BB12_2 Depth=2
 939 ; CHECK-NEXT:    @ Parent Loop BB12_3 Depth=3
 940 ; CHECK-NEXT:    @ => This Loop Header: Depth=4
 941 ; CHECK-NEXT:    @ Child Loop BB12_5 Depth 5
 942 ; CHECK-NEXT:    mul r4, r11, r6
 943 ; CHECK-NEXT:    vdup.32 q3, r5
 944 ; CHECK-NEXT:    vdup.32 q2, r7
 945 ; CHECK-NEXT:    vadd.i32 q4, q1, r4
 946 ; CHECK-NEXT:    vmla.u32 q3, q4, r2
 947 ; CHECK-NEXT:    adds r4, #113
 948 ; CHECK-NEXT:    vadd.i32 q4, q1, r4
 949 ; CHECK-NEXT:    mov r4, r8
 950 ; CHECK-NEXT:    vmla.u32 q2, q4, r2
 951 ; CHECK-NEXT:  .LBB12_5: @ %vector.body
 952 ; CHECK-NEXT:    @ Parent Loop BB12_1 Depth=1
 953 ; CHECK-NEXT:    @ Parent Loop BB12_2 Depth=2
 954 ; CHECK-NEXT:    @ Parent Loop BB12_3 Depth=3
 955 ; CHECK-NEXT:    @ Parent Loop BB12_4 Depth=4
 956 ; CHECK-NEXT:    @ => This Inner Loop Header: Depth=5
 957 ; CHECK-NEXT:    vldrb.s32 q6, [r0, q2]
 958 ; CHECK-NEXT:    vadd.i32 q5, q2, q0
 959 ; CHECK-NEXT:    vadd.i32 q4, q3, q0
 960 ; CHECK-NEXT:    subs r4, #4
 961 ; CHECK-NEXT:    vadd.i32 q2, q6, r2
 962 ; CHECK-NEXT:    vldrb.s32 q6, [r1, q3]
 963 ; CHECK-NEXT:    vmov q3, q4
 964 ; CHECK-NEXT:    vmlava.u32 r12, q2, q6
 965 ; CHECK-NEXT:    vmov q2, q5
 966 ; CHECK-NEXT:    bne .LBB12_5
 967 ; CHECK-NEXT:  @ %bb.6: @ %middle.block
 968 ; CHECK-NEXT:    @ in Loop: Header=BB12_4 Depth=4
 969 ; CHECK-NEXT:    add.w r11, r11, #1
 970 ; CHECK-NEXT:    le lr, .LBB12_4
 971 ; CHECK-NEXT:  @ %bb.7: @ %for.cond.cleanup77.i
 972 ; CHECK-NEXT:    @ in Loop: Header=BB12_3 Depth=3
 973 ; CHECK-NEXT:    adds r5, #1
 974 ; CHECK-NEXT:    add.w r10, r10, #1
 975 ; CHECK-NEXT:    cmp r5, r2
 976 ; CHECK-NEXT:    bne .LBB12_3
 977 ; CHECK-NEXT:  @ %bb.8: @ %for.cond.cleanup26.i
 978 ; CHECK-NEXT:    @ in Loop: Header=BB12_2 Depth=2
 979 ; CHECK-NEXT:    adds r7, #1
 980 ; CHECK-NEXT:    cmp r7, r3
 981 ; CHECK-NEXT:    bne .LBB12_2
 982 ; CHECK-NEXT:  @ %bb.9: @ %for.cond.cleanup20.i
 983 ; CHECK-NEXT:    @ in Loop: Header=BB12_1 Depth=1
 984 ; CHECK-NEXT:    ldr r5, [sp, #4] @ 4-byte Reload
 985 ; CHECK-NEXT:    ldr r7, [sp, #148]
 986 ; CHECK-NEXT:    adds r5, #1
 987 ; CHECK-NEXT:    cmp r5, r7
 988 ; CHECK-NEXT:    it eq
 989 ; CHECK-NEXT:    moveq r5, #0
 990 ; CHECK-NEXT:    b .LBB12_1
 991 ; CHECK-NEXT:    .p2align 4
 992 ; CHECK-NEXT:  @ %bb.10:
 993 ; CHECK-NEXT:  .LCPI12_0:
 994 ; CHECK-NEXT:    .long 0 @ 0x0
 995 ; CHECK-NEXT:    .long 1 @ 0x1
 996 ; CHECK-NEXT:    .long 2 @ 0x2
 997 ; CHECK-NEXT:    .long 3 @ 0x3
 998 entry:
 999   %conv = zext i16 %ch_mult to i32
1000   %conv6.i = zext i16 %output_x to i32
1001   %conv17.i = zext i16 %input_ch to i32
1002   %conv60.i = zext i16 %kernel_x to i32
1003   %broadcast.splatinsert63 = insertelement <4 x i32> undef, i32 %conv, i32 0
1004   %broadcast.splat64 = shufflevector <4 x i32> %broadcast.splatinsert63, <4 x i32> undef, <4 x i32> zeroinitializer
1005   %broadcast.splatinsert69 = insertelement <4 x i32> undef, i32 %conv, i32 0
1006   %broadcast.splat70 = shufflevector <4 x i32> %broadcast.splatinsert69, <4 x i32> undef, <4 x i32> zeroinitializer
1007   %broadcast.splatinsert73 = insertelement <4 x i32> undef, i32 %conv, i32 0
1008   %broadcast.splat74 = shufflevector <4 x i32> %broadcast.splatinsert73, <4 x i32> undef, <4 x i32> zeroinitializer
1009   %unroll_iter = and i32 %conv, 65534
1010   br label %for.body.i38
1011
1012 for.body.i38:                                     ; preds = %for.cond.cleanup9.i, %entry
1013   %i_out.024.i = phi i32 [ 0, %entry ], [ %i_out.1.lcssa.i, %for.cond.cleanup9.i ]
1014   %i_out_y.023.i = phi i32 [ 0, %entry ], [ %inc140.i, %for.cond.cleanup9.i ]
1015   br label %for.body10.i
1016
1017 for.cond.cleanup9.i:                              ; preds = %for.cond.cleanup20.i, %for.body.i38
1018   %i_out.1.lcssa.i = phi i32 [ %i_out.2.lcssa.i, %for.cond.cleanup20.i ]
1019   %inc140.i = add nuw nsw i32 %i_out_y.023.i, 1
1020   br i1 0, label %if.end, label %for.body.i38
1021
1022 for.body10.i:                                     ; preds = %for.cond.cleanup20.i, %for.body.i38
1023   %i_out.120.i = phi i32 [ %i_out.024.i, %for.body.i38 ], [ %i_out.2.lcssa.i, %for.cond.cleanup20.i ]
1024   %i_out_x.019.i = phi i32 [ 0, %for.body.i38 ], [ %inc137.i, %for.cond.cleanup20.i ]
1025   %n.vec = add nsw i32  %conv60.i, 10
1026   br i1 0, label %for.cond.cleanup20.i, label %for.cond22.preheader.lr.ph.i
1027
1028 for.cond22.preheader.lr.ph.i:                     ; preds = %for.body10.i
1029   %.splatinsert = insertelement <4 x i32> undef, i32 0, i32 0
1030   %.splat = shufflevector <4 x i32> %.splatinsert, <4 x i32> undef, <4 x i32> zeroinitializer
1031   %induction = add <4 x i32> %.splat, <i32 0, i32 1, i32 2, i32 3>
1032   %cmp.n = icmp eq i32 10, %n.vec
1033   br label %for.cond22.preheader.i
1034
1035 for.cond22.preheader.i:                           ; preds = %for.cond.cleanup26.i, %for.cond22.preheader.lr.ph.i
1036   %i_out.216.i = phi i32 [ %i_out.120.i, %for.cond22.preheader.lr.ph.i ], [ %i_out.3.lcssa.i, %for.cond.cleanup26.i ]
1037   %i_input_ch.014.i = phi i32 [ 0, %for.cond22.preheader.lr.ph.i ], [ %inc134.i, %for.cond.cleanup26.i ]
1038   br i1 0, label %for.cond.cleanup26.i, label %for.body27.lr.ph.i
1039
1040 for.body27.lr.ph.i:                               ; preds = %for.cond22.preheader.i
1041   br i1  0, label %for.body27.i.us.preheader, label %for.body27.i.preheader
1042
1043 for.body27.i.preheader:                           ; preds = %for.body27.lr.ph.i
1044   %broadcast.splatinsert65 = insertelement <4 x i32> undef, i32 %i_input_ch.014.i, i32 0
1045   %broadcast.splat66 = shufflevector <4 x i32> %broadcast.splatinsert65, <4 x i32> undef, <4 x i32> zeroinitializer
1046   br label %for.body27.i
1047
1048 for.body27.i.us.preheader:                        ; preds = %for.body27.lr.ph.i
1049   br i1 0, label %for.cond.cleanup26.i.loopexit.unr-lcssa, label %for.body27.i.us
1050
1051 for.body27.i.us:                                  ; preds = %for.body27.i.us, %for.body27.i.us.preheader
1052   %i_out.311.i.us = phi i32 [ %inc128.i.us.1, %for.body27.i.us ], [ %i_out.216.i, %for.body27.i.us.preheader ]
1053   %i_ch_mult.010.i.us = phi i32 [ %inc131.i.us.1, %for.body27.i.us ], [ 0, %for.body27.i.us.preheader ]
1054   %niter = phi i32 [ 0, %for.body27.i.us ], [ %unroll_iter, %for.body27.i.us.preheader ]
1055   %inc128.i.us.1 = add nsw i32 %i_out.311.i.us, 2
1056   %inc131.i.us.1 = add nuw nsw i32 %i_ch_mult.010.i.us, 2
1057   br i1 0, label %for.cond.cleanup26.i.loopexit.unr-lcssa, label %for.body27.i.us
1058
1059 for.cond.cleanup20.i:                             ; preds = %for.cond.cleanup26.i, %for.body10.i
1060   %i_out.2.lcssa.i = phi i32 [ %i_out.120.i, %for.body10.i ], [ %i_out.3.lcssa.i, %for.cond.cleanup26.i ]
1061   %inc137.i = add nuw nsw i32 %i_out_x.019.i, 1
1062   %exitcond27.i = icmp eq i32 %inc137.i, %conv6.i
1063   br i1 %exitcond27.i, label %for.cond.cleanup9.i, label %for.body10.i
1064
1065 for.cond.cleanup26.i.loopexit.unr-lcssa:          ; preds = %for.body27.i.us, %for.body27.i.us.preheader
1066   %inc128.i.us.lcssa.ph = phi i32 [ undef, %for.body27.i.us.preheader ], [ %inc128.i.us.1, %for.body27.i.us ]
1067   br label %for.cond.cleanup26.i
1068
1069 for.cond.cleanup26.i:                             ; preds = %for.cond.cleanup77.i, %for.cond.cleanup26.i.loopexit.unr-lcssa, %for.cond22.preheader.i
1070   %i_out.3.lcssa.i = phi i32 [ %i_out.216.i, %for.cond22.preheader.i ], [ %inc128.i.us.lcssa.ph, %for.cond.cleanup26.i.loopexit.unr-lcssa ], [ %inc128.i, %for.cond.cleanup77.i ]
1071   %inc134.i = add nuw nsw i32 %i_input_ch.014.i, 1
1072   %exitcond26.i = icmp eq i32 %inc134.i, %conv17.i
1073   br i1 %exitcond26.i, label %for.cond.cleanup20.i, label %for.cond22.preheader.i
1074
1075 for.body27.i:                                     ; preds = %for.cond.cleanup77.i, %for.body27.i.preheader
1076   %i_out.311.i = phi i32 [ %inc128.i, %for.cond.cleanup77.i ], [ %i_out.216.i, %for.body27.i.preheader ]
1077   %i_ch_mult.010.i = phi i32 [ %inc131.i, %for.cond.cleanup77.i ], [ 0, %for.body27.i.preheader ]
1078   %broadcast.splatinsert71 = insertelement <4 x i32> undef, i32 %i_ch_mult.010.i, i32 0
1079   %broadcast.splat72 = shufflevector <4 x i32> %broadcast.splatinsert71, <4 x i32> undef, <4 x i32> zeroinitializer
1080   br label %for.body78.us.i
1081
1082 for.body78.us.i:                                  ; preds = %middle.block, %for.body27.i
1083   %i_ker_y.06.us.i = phi i32 [ %inc110.us.i, %middle.block ], [ 4, %for.body27.i ]
1084   %acc_0.05.us.i = phi i32 [ %tmp89, %middle.block ], [ 0, %for.body27.i ]
1085   %add80.us.i43 = add nsw i32 %i_ker_y.06.us.i, 10
1086   %mul89.us.i = mul nsw i32 %add80.us.i43, 11
1087   %add87.us.i44 = add i32 %mul89.us.i, 3
1088   %mul95.us.i = mul nsw i32 %i_ker_y.06.us.i, 11
1089   br label %vector.ph
1090
1091 vector.ph:                                        ; preds = %for.body78.us.i
1092   %broadcast.splatinsert = insertelement <4 x i32> undef, i32 %add87.us.i44, i32 0
1093   %broadcast.splat = shufflevector <4 x i32> %broadcast.splatinsert, <4 x i32> undef, <4 x i32> zeroinitializer
1094   %broadcast.splatinsert67 = insertelement <4 x i32> undef, i32 %mul95.us.i, i32 0
1095   %broadcast.splat68 = shufflevector <4 x i32> %broadcast.splatinsert67, <4 x i32> undef, <4 x i32> zeroinitializer
1096   br label %vector.body
1097
1098 vector.body:                                      ; preds = %vector.body, %vector.ph
1099   %index = phi i32 [ 0, %vector.ph ], [ %index.next, %vector.body ]
1100   %vec.ind = phi <4 x i32> [ %induction, %vector.ph ], [ %vec.ind.next, %vector.body ]
1101   %vec.phi = phi i32 [ %acc_0.05.us.i, %vector.ph ], [ %tmp89, %vector.body ]
1102   %tmp76 = add <4 x i32> %broadcast.splat, %vec.ind
1103   %tmp77 = mul nsw <4 x i32> %tmp76, %broadcast.splat64
1104   %tmp78 = add nsw <4 x i32> %tmp77, %broadcast.splat66
1105   %tmp79 = add nsw <4 x i32> %vec.ind, %broadcast.splat68
1106   %tmp80 = mul nsw <4 x i32> %broadcast.splat70, %tmp79
1107   %tmp81 = add nsw <4 x i32> %tmp80, %broadcast.splat72
1108   %tmp82 = getelementptr inbounds i8, i8* %input, <4 x i32> %tmp78
1109   %wide.masked.gather = call <4 x i8> @llvm.masked.gather.v4i8.v4p0i8(<4 x i8*> %tmp82, i32 1, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i8> undef)
1110   %tmp83 = sext <4 x i8> %wide.masked.gather to <4 x i32>
1111   %tmp84 = add nsw <4 x i32> %broadcast.splat74, %tmp83
1112   %tmp85 = getelementptr inbounds i8, i8* %kernel, <4 x i32> %tmp81
1113   %wide.masked.gather75 = call <4 x i8> @llvm.masked.gather.v4i8.v4p0i8(<4 x i8*> %tmp85, i32 1, <4 x i1> <i1 true, i1 true, i1 true, i1 true>, <4 x i8> undef)
1114   %tmp86 = sext <4 x i8> %wide.masked.gather75 to <4 x i32>
1115   %tmp87 = mul nsw <4 x i32> %tmp84, %tmp86
1116   %tmp88 = call i32 @llvm.vector.reduce.add.v4i32(<4 x i32> %tmp87)
1117   %tmp89 = add i32 %tmp88, %vec.phi
1118   %index.next = add i32 %index, 4
1119   %vec.ind.next = add <4 x i32> %vec.ind, <i32 4, i32 4, i32 4, i32 4>
1120   %tmp90 = icmp eq i32 %index.next, %n.vec
1121   br i1 %tmp90, label %middle.block, label %vector.body
1122
1123 middle.block:                                     ; preds = %vector.body
1124   %inc110.us.i = add nsw i32 %i_ker_y.06.us.i, 1
1125   %cmp75.us.i = icmp slt i32 %inc110.us.i, 10
1126   br i1 %cmp75.us.i, label %for.body78.us.i, label %for.cond.cleanup77.i
1127
1128 for.cond.cleanup77.i:                             ; preds = %middle.block
1129   %inc128.i = add nsw i32 %i_out.311.i, 1
1130   %inc131.i = add nuw nsw i32 %i_ch_mult.010.i, 1
1131   %exitcond.i50 = icmp eq i32 %inc131.i, %conv
1132   br i1 %exitcond.i50, label %for.cond.cleanup26.i, label %for.body27.i
1133
1134 if.end:                                           ; preds = %for.cond.cleanup9.i, %entry, %for.cond.cleanup7.i, %if.then
1135   ret i32 0
1136 }
1137
1138 declare <4 x i32> @llvm.masked.gather.v4i32.v4p0i32(<4 x i32*>, i32, <4 x i1>, <4 x i32>)
1139 declare <4 x i32> @llvm.masked.gather.v4i32.v4p0(<4 x ptr>, i32, <4 x i1>, <4 x i32>)
1140 declare <4 x i16> @llvm.masked.gather.v4i16.v4p0i16(<4 x i16*>, i32, <4 x i1>, <4 x i16>)
1141 declare <4 x i8> @llvm.masked.gather.v4i8.v4p0i8(<4 x i8*>, i32 immarg, <4 x i1>, <4 x i8>) #3
1142
1143 declare i32 @llvm.vector.reduce.add.v4i32(<4 x i32>)
1144 declare void @llvm.memset.p0i8.i32(i8* align 2, i8, i32, i1)
1145
1146 declare void @llvm.masked.scatter.v4i32.v4p0i32(<4 x i32>, <4 x i32*>, i32, <4 x i1>)