test/Transforms/LoopVectorize/gcc-examples.ll

   1 ; RUN: opt < %s  -basicaa -loop-vectorize -force-vector-width=4 -force-vector-interleave=1 -dce -instcombine -S | FileCheck %s
   2 ; RUN: opt < %s  -basicaa -loop-vectorize -force-vector-width=4 -force-vector-interleave=4 -dce -instcombine -S | FileCheck %s -check-prefix=UNROLL
   3
   4 target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-i16:16:16-i32:32:32-i64:64:64-f32:32:32-f64:64:64-v64:64:64-v128:128:128-a0:0:64-s0:64:64-f80:128:128-n8:16:32:64-S128"
   5
   6 @b = common global [2048 x i32] zeroinitializer, align 16
   7 @c = common global [2048 x i32] zeroinitializer, align 16
   8 @a = common global [2048 x i32] zeroinitializer, align 16
   9 @G = common global [32 x [1024 x i32]] zeroinitializer, align 16
  10 @ub = common global [1024 x i32] zeroinitializer, align 16
  11 @uc = common global [1024 x i32] zeroinitializer, align 16
  12 @d = common global [2048 x i32] zeroinitializer, align 16
  13 @fa = common global [1024 x float] zeroinitializer, align 16
  14 @fb = common global [1024 x float] zeroinitializer, align 16
  15 @ic = common global [1024 x i32] zeroinitializer, align 16
  16 @da = common global [1024 x float] zeroinitializer, align 16
  17 @db = common global [1024 x float] zeroinitializer, align 16
  18 @dc = common global [1024 x float] zeroinitializer, align 16
  19 @dd = common global [1024 x float] zeroinitializer, align 16
  20 @dj = common global [1024 x i32] zeroinitializer, align 16
  21
  22 ;CHECK-LABEL: @example1(
  23 ;CHECK: load <4 x i32>
  24 ;CHECK: add nsw <4 x i32>
  25 ;CHECK: store <4 x i32>
  26 ;CHECK: ret void
  27 ;UNROLL-LABEL: @example1(
  28 ;UNROLL: load <4 x i32>
  29 ;UNROLL: load <4 x i32>
  30 ;UNROLL: load <4 x i32>
  31 ;UNROLL: load <4 x i32>
  32 ;UNROLL: add nsw <4 x i32>
  33 ;UNROLL: add nsw <4 x i32>
  34 ;UNROLL: add nsw <4 x i32>
  35 ;UNROLL: add nsw <4 x i32>
  36 ;UNROLL: store <4 x i32>
  37 ;UNROLL: store <4 x i32>
  38 ;UNROLL: store <4 x i32>
  39 ;UNROLL: store <4 x i32>
  40 ;UNROLL: ret void
  41 define void @example1() nounwind uwtable ssp {
  42   br label %1
  43
  44 ; <label>:1                                       ; preds = %1, %0
  45   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
  46   %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
  47   %3 = load i32, i32* %2, align 4
  48   %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
  49   %5 = load i32, i32* %4, align 4
  50   %6 = add nsw i32 %5, %3
  51   %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
  52   store i32 %6, i32* %7, align 4
  53   %indvars.iv.next = add i64 %indvars.iv, 1
  54   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
  55   %exitcond = icmp eq i32 %lftr.wideiv, 256
  56   br i1 %exitcond, label %8, label %1
  57
  58 ; <label>:8                                       ; preds = %1
  59   ret void
  60 }
  61
  62 ;CHECK-LABEL: @example2(
  63 ;CHECK: store <4 x i32>
  64 ;CHECK: ret void
  65 ;UNROLL-LABEL: @example2(
  66 ;UNROLL: store <4 x i32>
  67 ;UNROLL: store <4 x i32>
  68 ;UNROLL: store <4 x i32>
  69 ;UNROLL: store <4 x i32>
  70 ;UNROLL: ret void
  71 define void @example2(i32 %n, i32 %x) nounwind uwtable ssp {
  72   %1 = icmp sgt i32 %n, 0
  73   br i1 %1, label %.lr.ph5, label %.preheader
  74
  75 ..preheader_crit_edge:                            ; preds = %.lr.ph5
  76   %phitmp = sext i32 %n to i64
  77   br label %.preheader
  78
  79 .preheader:                                       ; preds = %..preheader_crit_edge, %0
  80   %i.0.lcssa = phi i64 [ %phitmp, %..preheader_crit_edge ], [ 0, %0 ]
  81   %2 = icmp eq i32 %n, 0
  82   br i1 %2, label %._crit_edge, label %.lr.ph
  83
  84 .lr.ph5:                                          ; preds = %0, %.lr.ph5
  85   %indvars.iv6 = phi i64 [ %indvars.iv.next7, %.lr.ph5 ], [ 0, %0 ]
  86   %3 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv6
  87   store i32 %x, i32* %3, align 4
  88   %indvars.iv.next7 = add i64 %indvars.iv6, 1
  89   %lftr.wideiv = trunc i64 %indvars.iv.next7 to i32
  90   %exitcond = icmp eq i32 %lftr.wideiv, %n
  91   br i1 %exitcond, label %..preheader_crit_edge, label %.lr.ph5
  92
  93 .lr.ph:                                           ; preds = %.preheader, %.lr.ph
  94   %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ %i.0.lcssa, %.preheader ]
  95   %.02 = phi i32 [ %4, %.lr.ph ], [ %n, %.preheader ]
  96   %4 = add nsw i32 %.02, -1
  97   %5 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
  98   %6 = load i32, i32* %5, align 4
  99   %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
 100   %8 = load i32, i32* %7, align 4
 101   %9 = and i32 %8, %6
 102   %10 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
 103   store i32 %9, i32* %10, align 4
 104   %indvars.iv.next = add i64 %indvars.iv, 1
 105   %11 = icmp eq i32 %4, 0
 106   br i1 %11, label %._crit_edge, label %.lr.ph
 107
 108 ._crit_edge:                                      ; preds = %.lr.ph, %.preheader
 109   ret void
 110 }
 111
 112 ;CHECK-LABEL: @example3(
 113 ;CHECK: <4 x i32>
 114 ;CHECK: ret void
 115 ;UNROLL-LABEL: @example3(
 116 ;UNROLL: <4 x i32>
 117 ;UNROLL: <4 x i32>
 118 ;UNROLL: <4 x i32>
 119 ;UNROLL: <4 x i32>
 120 ;UNROLL: ret void
 121 define void @example3(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
 122   %1 = icmp eq i32 %n, 0
 123   br i1 %1, label %._crit_edge, label %.lr.ph
 124
 125 .lr.ph:                                           ; preds = %0, %.lr.ph
 126   %.05 = phi i32 [ %2, %.lr.ph ], [ %n, %0 ]
 127   %.014 = phi i32* [ %5, %.lr.ph ], [ %p, %0 ]
 128   %.023 = phi i32* [ %3, %.lr.ph ], [ %q, %0 ]
 129   %2 = add nsw i32 %.05, -1
 130   %3 = getelementptr inbounds i32, i32* %.023, i64 1
 131   %4 = load i32, i32* %.023, align 16
 132   %5 = getelementptr inbounds i32, i32* %.014, i64 1
 133   store i32 %4, i32* %.014, align 16
 134   %6 = icmp eq i32 %2, 0
 135   br i1 %6, label %._crit_edge, label %.lr.ph
 136
 137 ._crit_edge:                                      ; preds = %.lr.ph, %0
 138   ret void
 139 }
 140
 141 ;CHECK-LABEL: @example4(
 142 ;CHECK: load <4 x i32>
 143 ;CHECK: ret void
 144 ;UNROLL-LABEL: @example4(
 145 ;UNROLL: load <4 x i32>
 146 ;UNROLL: load <4 x i32>
 147 ;UNROLL: load <4 x i32>
 148 ;UNROLL: load <4 x i32>
 149 ;UNROLL: ret void
 150 define void @example4(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
 151   %1 = add nsw i32 %n, -1
 152   %2 = icmp eq i32 %n, 0
 153   br i1 %2, label %.preheader4, label %.lr.ph10
 154
 155 .preheader4:                                      ; preds = %0
 156   %3 = icmp sgt i32 %1, 0
 157   br i1 %3, label %.lr.ph6, label %._crit_edge
 158
 159 .lr.ph10:                                         ; preds = %0, %.lr.ph10
 160   %4 = phi i32 [ %9, %.lr.ph10 ], [ %1, %0 ]
 161   %.018 = phi i32* [ %8, %.lr.ph10 ], [ %p, %0 ]
 162   %.027 = phi i32* [ %5, %.lr.ph10 ], [ %q, %0 ]
 163   %5 = getelementptr inbounds i32, i32* %.027, i64 1
 164   %6 = load i32, i32* %.027, align 16
 165   %7 = add nsw i32 %6, 5
 166   %8 = getelementptr inbounds i32, i32* %.018, i64 1
 167   store i32 %7, i32* %.018, align 16
 168   %9 = add nsw i32 %4, -1
 169   %10 = icmp eq i32 %4, 0
 170   br i1 %10, label %._crit_edge, label %.lr.ph10
 171
 172 .preheader:                                       ; preds = %.lr.ph6
 173   br i1 %3, label %.lr.ph, label %._crit_edge
 174
 175 .lr.ph6:                                          ; preds = %.preheader4, %.lr.ph6
 176   %indvars.iv11 = phi i64 [ %indvars.iv.next12, %.lr.ph6 ], [ 0, %.preheader4 ]
 177   %indvars.iv.next12 = add i64 %indvars.iv11, 1
 178   %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv.next12
 179   %12 = load i32, i32* %11, align 4
 180   %13 = add nsw i64 %indvars.iv11, 3
 181   %14 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %13
 182   %15 = load i32, i32* %14, align 4
 183   %16 = add nsw i32 %15, %12
 184   %17 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv11
 185   store i32 %16, i32* %17, align 4
 186   %lftr.wideiv13 = trunc i64 %indvars.iv.next12 to i32
 187   %exitcond14 = icmp eq i32 %lftr.wideiv13, %1
 188   br i1 %exitcond14, label %.preheader, label %.lr.ph6
 189
 190 .lr.ph:                                           ; preds = %.preheader, %.lr.ph
 191   %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ 0, %.preheader ]
 192   %18 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
 193   %19 = load i32, i32* %18, align 4
 194   %20 = icmp sgt i32 %19, 4
 195   %21 = select i1 %20, i32 4, i32 0
 196   %22 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
 197   store i32 %21, i32* %22, align 4
 198   %indvars.iv.next = add i64 %indvars.iv, 1
 199   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 200   %exitcond = icmp eq i32 %lftr.wideiv, %1
 201   br i1 %exitcond, label %._crit_edge, label %.lr.ph
 202
 203 ._crit_edge:                                      ; preds = %.lr.ph10, %.preheader4, %.lr.ph, %.preheader
 204   ret void
 205 }
 206
 207 ;CHECK-LABEL: @example8(
 208 ;CHECK: store <4 x i32>
 209 ;CHECK: ret void
 210 ;UNROLL-LABEL: @example8(
 211 ;UNROLL: store <4 x i32>
 212 ;UNROLL: store <4 x i32>
 213 ;UNROLL: store <4 x i32>
 214 ;UNROLL: store <4 x i32>
 215 ;UNROLL: ret void
 216 define void @example8(i32 %x) nounwind uwtable ssp {
 217   br label %.preheader
 218
 219 .preheader:                                       ; preds = %3, %0
 220   %indvars.iv3 = phi i64 [ 0, %0 ], [ %indvars.iv.next4, %3 ]
 221   br label %1
 222
 223 ; <label>:1                                       ; preds = %1, %.preheader
 224   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %1 ]
 225   %2 = getelementptr inbounds [32 x [1024 x i32]], [32 x [1024 x i32]]* @G, i64 0, i64 %indvars.iv3, i64 %indvars.iv
 226   store i32 %x, i32* %2, align 4
 227   %indvars.iv.next = add i64 %indvars.iv, 1
 228   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 229   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 230   br i1 %exitcond, label %3, label %1
 231
 232 ; <label>:3                                       ; preds = %1
 233   %indvars.iv.next4 = add i64 %indvars.iv3, 1
 234   %lftr.wideiv5 = trunc i64 %indvars.iv.next4 to i32
 235   %exitcond6 = icmp eq i32 %lftr.wideiv5, 32
 236   br i1 %exitcond6, label %4, label %.preheader
 237
 238 ; <label>:4                                       ; preds = %3
 239   ret void
 240 }
 241
 242 ;CHECK-LABEL: @example9(
 243 ;CHECK: phi <4 x i32>
 244 ;CHECK: ret i32
 245 define i32 @example9() nounwind uwtable readonly ssp {
 246   br label %1
 247
 248 ; <label>:1                                       ; preds = %1, %0
 249   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 250   %diff.01 = phi i32 [ 0, %0 ], [ %7, %1 ]
 251   %2 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ub, i64 0, i64 %indvars.iv
 252   %3 = load i32, i32* %2, align 4
 253   %4 = getelementptr inbounds [1024 x i32], [1024 x i32]* @uc, i64 0, i64 %indvars.iv
 254   %5 = load i32, i32* %4, align 4
 255   %6 = add i32 %3, %diff.01
 256   %7 = sub i32 %6, %5
 257   %indvars.iv.next = add i64 %indvars.iv, 1
 258   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 259   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 260   br i1 %exitcond, label %8, label %1
 261
 262 ; <label>:8                                       ; preds = %1
 263   ret i32 %7
 264 }
 265
 266 ;CHECK-LABEL: @example10a(
 267 ;CHECK: load <4 x i32>
 268 ;CHECK: add nsw <4 x i32>
 269 ;CHECK: load <4 x i16>
 270 ;CHECK: add <4 x i16>
 271 ;CHECK: store <4 x i16>
 272 ;CHECK: ret void
 273 define void @example10a(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
 274   br label %1
 275
 276 ; <label>:1                                       ; preds = %1, %0
 277   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 278   %2 = getelementptr inbounds i32, i32* %ib, i64 %indvars.iv
 279   %3 = load i32, i32* %2, align 4
 280   %4 = getelementptr inbounds i32, i32* %ic, i64 %indvars.iv
 281   %5 = load i32, i32* %4, align 4
 282   %6 = add nsw i32 %5, %3
 283   %7 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
 284   store i32 %6, i32* %7, align 4
 285   %8 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
 286   %9 = load i16, i16* %8, align 2
 287   %10 = getelementptr inbounds i16, i16* %sc, i64 %indvars.iv
 288   %11 = load i16, i16* %10, align 2
 289   %12 = add i16 %11, %9
 290   %13 = getelementptr inbounds i16, i16* %sa, i64 %indvars.iv
 291   store i16 %12, i16* %13, align 2
 292   %indvars.iv.next = add i64 %indvars.iv, 1
 293   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 294   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 295   br i1 %exitcond, label %14, label %1
 296
 297 ; <label>:14                                      ; preds = %1
 298   ret void
 299 }
 300
 301 ;CHECK-LABEL: @example10b(
 302 ;CHECK: load <4 x i16>
 303 ;CHECK: sext <4 x i16>
 304 ;CHECK: store <4 x i32>
 305 ;CHECK: ret void
 306 define void @example10b(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
 307   br label %1
 308
 309 ; <label>:1                                       ; preds = %1, %0
 310   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 311   %2 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
 312   %3 = load i16, i16* %2, align 2
 313   %4 = sext i16 %3 to i32
 314   %5 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
 315   store i32 %4, i32* %5, align 4
 316   %indvars.iv.next = add i64 %indvars.iv, 1
 317   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 318   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 319   br i1 %exitcond, label %6, label %1
 320
 321 ; <label>:6                                       ; preds = %1
 322   ret void
 323 }
 324
 325 ;CHECK-LABEL: @example11(
 326 ;CHECK: load i32
 327 ;CHECK: load i32
 328 ;CHECK: load i32
 329 ;CHECK: load i32
 330 ;CHECK: insertelement
 331 ;CHECK: insertelement
 332 ;CHECK: insertelement
 333 ;CHECK: insertelement
 334 ;CHECK: ret void
 335 define void @example11() nounwind uwtable ssp {
 336   br label %1
 337
 338 ; <label>:1                                       ; preds = %1, %0
 339   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 340   %2 = shl nsw i64 %indvars.iv, 1
 341   %3 = or i64 %2, 1
 342   %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %3
 343   %5 = load i32, i32* %4, align 4
 344   %6 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %3
 345   %7 = load i32, i32* %6, align 4
 346   %8 = mul nsw i32 %7, %5
 347   %9 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %2
 348   %10 = load i32, i32* %9, align 8
 349   %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %2
 350   %12 = load i32, i32* %11, align 8
 351   %13 = mul nsw i32 %12, %10
 352   %14 = sub nsw i32 %8, %13
 353   %15 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
 354   store i32 %14, i32* %15, align 4
 355   %16 = mul nsw i32 %7, %10
 356   %17 = mul nsw i32 %12, %5
 357   %18 = add nsw i32 %17, %16
 358   %19 = getelementptr inbounds [2048 x i32], [2048 x i32]* @d, i64 0, i64 %indvars.iv
 359   store i32 %18, i32* %19, align 4
 360   %indvars.iv.next = add i64 %indvars.iv, 1
 361   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 362   %exitcond = icmp eq i32 %lftr.wideiv, 512
 363   br i1 %exitcond, label %20, label %1
 364
 365 ; <label>:20                                      ; preds = %1
 366   ret void
 367 }
 368
 369 ;CHECK-LABEL: @example12(
 370 ;CHECK: %vec.ind1 = phi <4 x i32>
 371 ;CHECK: store <4 x i32>
 372 ;CHECK: ret void
 373 define void @example12() nounwind uwtable ssp {
 374   br label %1
 375
 376 ; <label>:1                                       ; preds = %1, %0
 377   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 378   %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
 379   %3 = trunc i64 %indvars.iv to i32
 380   store i32 %3, i32* %2, align 4
 381   %indvars.iv.next = add i64 %indvars.iv, 1
 382   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 383   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 384   br i1 %exitcond, label %4, label %1
 385
 386 ; <label>:4                                       ; preds = %1
 387   ret void
 388 }
 389
 390 ;CHECK-LABEL: @example13(
 391 ;CHECK: <4 x i32>
 392 ;CHECK: ret void
 393 define void @example13(i32** nocapture %A, i32** nocapture %B, i32* nocapture %out) nounwind uwtable ssp {
 394   br label %.preheader
 395
 396 .preheader:                                       ; preds = %14, %0
 397   %indvars.iv4 = phi i64 [ 0, %0 ], [ %indvars.iv.next5, %14 ]
 398   %1 = getelementptr inbounds i32*, i32** %A, i64 %indvars.iv4
 399   %2 = load i32*, i32** %1, align 8
 400   %3 = getelementptr inbounds i32*, i32** %B, i64 %indvars.iv4
 401   %4 = load i32*, i32** %3, align 8
 402   br label %5
 403
 404 ; <label>:5                                       ; preds = %.preheader, %5
 405   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %5 ]
 406   %diff.02 = phi i32 [ 0, %.preheader ], [ %11, %5 ]
 407   %6 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv
 408   %7 = load i32, i32* %6, align 4
 409   %8 = getelementptr inbounds i32, i32* %4, i64 %indvars.iv
 410   %9 = load i32, i32* %8, align 4
 411   %10 = add i32 %7, %diff.02
 412   %11 = sub i32 %10, %9
 413   %indvars.iv.next = add i64 %indvars.iv, 8
 414   %12 = trunc i64 %indvars.iv.next to i32
 415   %13 = icmp slt i32 %12, 1024
 416   br i1 %13, label %5, label %14
 417
 418 ; <label>:14                                      ; preds = %5
 419   %15 = getelementptr inbounds i32, i32* %out, i64 %indvars.iv4
 420   store i32 %11, i32* %15, align 4
 421   %indvars.iv.next5 = add i64 %indvars.iv4, 1
 422   %lftr.wideiv = trunc i64 %indvars.iv.next5 to i32
 423   %exitcond = icmp eq i32 %lftr.wideiv, 32
 424   br i1 %exitcond, label %16, label %.preheader
 425
 426 ; <label>:16                                      ; preds = %14
 427   ret void
 428 }
 429
 430 ; Can vectorize.
 431 ;CHECK-LABEL: @example14(
 432 ;CHECK: <4 x i32>
 433 ;CHECK: ret void
 434 define void @example14(i32** nocapture %in, i32** nocapture %coeff, i32* nocapture %out) nounwind uwtable ssp {
 435 .preheader3:
 436   br label %.preheader
 437
 438 .preheader:                                       ; preds = %11, %.preheader3
 439   %indvars.iv7 = phi i64 [ 0, %.preheader3 ], [ %indvars.iv.next8, %11 ]
 440   %sum.05 = phi i32 [ 0, %.preheader3 ], [ %10, %11 ]
 441   br label %0
 442
 443 ; <label>:0                                       ; preds = %0, %.preheader
 444   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %0 ]
 445   %sum.12 = phi i32 [ %sum.05, %.preheader ], [ %10, %0 ]
 446   %1 = getelementptr inbounds i32*, i32** %in, i64 %indvars.iv
 447   %2 = load i32*, i32** %1, align 8
 448   %3 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv7
 449   %4 = load i32, i32* %3, align 4
 450   %5 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv
 451   %6 = load i32*, i32** %5, align 8
 452   %7 = getelementptr inbounds i32, i32* %6, i64 %indvars.iv7
 453   %8 = load i32, i32* %7, align 4
 454   %9 = mul nsw i32 %8, %4
 455   %10 = add nsw i32 %9, %sum.12
 456   %indvars.iv.next = add i64 %indvars.iv, 1
 457   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 458   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 459   br i1 %exitcond, label %11, label %0
 460
 461 ; <label>:11                                      ; preds = %0
 462   %indvars.iv.next8 = add i64 %indvars.iv7, 1
 463   %lftr.wideiv9 = trunc i64 %indvars.iv.next8 to i32
 464   %exitcond10 = icmp eq i32 %lftr.wideiv9, 32
 465   br i1 %exitcond10, label %.preheader3.1, label %.preheader
 466
 467 .preheader3.1:                                    ; preds = %11
 468   store i32 %10, i32* %out, align 4
 469   br label %.preheader.1
 470
 471 .preheader.1:                                     ; preds = %24, %.preheader3.1
 472   %indvars.iv7.1 = phi i64 [ 0, %.preheader3.1 ], [ %indvars.iv.next8.1, %24 ]
 473   %sum.05.1 = phi i32 [ 0, %.preheader3.1 ], [ %23, %24 ]
 474   br label %12
 475
 476 ; <label>:12                                      ; preds = %12, %.preheader.1
 477   %indvars.iv.1 = phi i64 [ 0, %.preheader.1 ], [ %13, %12 ]
 478   %sum.12.1 = phi i32 [ %sum.05.1, %.preheader.1 ], [ %23, %12 ]
 479   %13 = add nsw i64 %indvars.iv.1, 1
 480   %14 = getelementptr inbounds i32*, i32** %in, i64 %13
 481   %15 = load i32*, i32** %14, align 8
 482   %16 = getelementptr inbounds i32, i32* %15, i64 %indvars.iv7.1
 483   %17 = load i32, i32* %16, align 4
 484   %18 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.1
 485   %19 = load i32*, i32** %18, align 8
 486   %20 = getelementptr inbounds i32, i32* %19, i64 %indvars.iv7.1
 487   %21 = load i32, i32* %20, align 4
 488   %22 = mul nsw i32 %21, %17
 489   %23 = add nsw i32 %22, %sum.12.1
 490   %lftr.wideiv.1 = trunc i64 %13 to i32
 491   %exitcond.1 = icmp eq i32 %lftr.wideiv.1, 1024
 492   br i1 %exitcond.1, label %24, label %12
 493
 494 ; <label>:24                                      ; preds = %12
 495   %indvars.iv.next8.1 = add i64 %indvars.iv7.1, 1
 496   %lftr.wideiv9.1 = trunc i64 %indvars.iv.next8.1 to i32
 497   %exitcond10.1 = icmp eq i32 %lftr.wideiv9.1, 32
 498   br i1 %exitcond10.1, label %.preheader3.2, label %.preheader.1
 499
 500 .preheader3.2:                                    ; preds = %24
 501   %25 = getelementptr inbounds i32, i32* %out, i64 1
 502   store i32 %23, i32* %25, align 4
 503   br label %.preheader.2
 504
 505 .preheader.2:                                     ; preds = %38, %.preheader3.2
 506   %indvars.iv7.2 = phi i64 [ 0, %.preheader3.2 ], [ %indvars.iv.next8.2, %38 ]
 507   %sum.05.2 = phi i32 [ 0, %.preheader3.2 ], [ %37, %38 ]
 508   br label %26
 509
 510 ; <label>:26                                      ; preds = %26, %.preheader.2
 511   %indvars.iv.2 = phi i64 [ 0, %.preheader.2 ], [ %indvars.iv.next.2, %26 ]
 512   %sum.12.2 = phi i32 [ %sum.05.2, %.preheader.2 ], [ %37, %26 ]
 513   %27 = add nsw i64 %indvars.iv.2, 2
 514   %28 = getelementptr inbounds i32*, i32** %in, i64 %27
 515   %29 = load i32*, i32** %28, align 8
 516   %30 = getelementptr inbounds i32, i32* %29, i64 %indvars.iv7.2
 517   %31 = load i32, i32* %30, align 4
 518   %32 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.2
 519   %33 = load i32*, i32** %32, align 8
 520   %34 = getelementptr inbounds i32, i32* %33, i64 %indvars.iv7.2
 521   %35 = load i32, i32* %34, align 4
 522   %36 = mul nsw i32 %35, %31
 523   %37 = add nsw i32 %36, %sum.12.2
 524   %indvars.iv.next.2 = add i64 %indvars.iv.2, 1
 525   %lftr.wideiv.2 = trunc i64 %indvars.iv.next.2 to i32
 526   %exitcond.2 = icmp eq i32 %lftr.wideiv.2, 1024
 527   br i1 %exitcond.2, label %38, label %26
 528
 529 ; <label>:38                                      ; preds = %26
 530   %indvars.iv.next8.2 = add i64 %indvars.iv7.2, 1
 531   %lftr.wideiv9.2 = trunc i64 %indvars.iv.next8.2 to i32
 532   %exitcond10.2 = icmp eq i32 %lftr.wideiv9.2, 32
 533   br i1 %exitcond10.2, label %.preheader3.3, label %.preheader.2
 534
 535 .preheader3.3:                                    ; preds = %38
 536   %39 = getelementptr inbounds i32, i32* %out, i64 2
 537   store i32 %37, i32* %39, align 4
 538   br label %.preheader.3
 539
 540 .preheader.3:                                     ; preds = %52, %.preheader3.3
 541   %indvars.iv7.3 = phi i64 [ 0, %.preheader3.3 ], [ %indvars.iv.next8.3, %52 ]
 542   %sum.05.3 = phi i32 [ 0, %.preheader3.3 ], [ %51, %52 ]
 543   br label %40
 544
 545 ; <label>:40                                      ; preds = %40, %.preheader.3
 546   %indvars.iv.3 = phi i64 [ 0, %.preheader.3 ], [ %indvars.iv.next.3, %40 ]
 547   %sum.12.3 = phi i32 [ %sum.05.3, %.preheader.3 ], [ %51, %40 ]
 548   %41 = add nsw i64 %indvars.iv.3, 3
 549   %42 = getelementptr inbounds i32*, i32** %in, i64 %41
 550   %43 = load i32*, i32** %42, align 8
 551   %44 = getelementptr inbounds i32, i32* %43, i64 %indvars.iv7.3
 552   %45 = load i32, i32* %44, align 4
 553   %46 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.3
 554   %47 = load i32*, i32** %46, align 8
 555   %48 = getelementptr inbounds i32, i32* %47, i64 %indvars.iv7.3
 556   %49 = load i32, i32* %48, align 4
 557   %50 = mul nsw i32 %49, %45
 558   %51 = add nsw i32 %50, %sum.12.3
 559   %indvars.iv.next.3 = add i64 %indvars.iv.3, 1
 560   %lftr.wideiv.3 = trunc i64 %indvars.iv.next.3 to i32
 561   %exitcond.3 = icmp eq i32 %lftr.wideiv.3, 1024
 562   br i1 %exitcond.3, label %52, label %40
 563
 564 ; <label>:52                                      ; preds = %40
 565   %indvars.iv.next8.3 = add i64 %indvars.iv7.3, 1
 566   %lftr.wideiv9.3 = trunc i64 %indvars.iv.next8.3 to i32
 567   %exitcond10.3 = icmp eq i32 %lftr.wideiv9.3, 32
 568   br i1 %exitcond10.3, label %53, label %.preheader.3
 569
 570 ; <label>:53                                      ; preds = %52
 571   %54 = getelementptr inbounds i32, i32* %out, i64 3
 572   store i32 %51, i32* %54, align 4
 573   ret void
 574 }
 575
 576 ;CHECK-LABEL: @example21(
 577 ;CHECK: load <4 x i32>
 578 ;CHECK: shufflevector {{.*}} <i32 3, i32 2, i32 1, i32 0>
 579 ;CHECK: ret i32
 580 define i32 @example21(i32* nocapture %b, i32 %n) nounwind uwtable readonly ssp {
 581   %1 = icmp sgt i32 %n, 0
 582   br i1 %1, label %.lr.ph, label %._crit_edge
 583
 584 .lr.ph:                                           ; preds = %0
 585   %2 = sext i32 %n to i64
 586   br label %3
 587
 588 ; <label>:3                                       ; preds = %.lr.ph, %3
 589   %indvars.iv = phi i64 [ %2, %.lr.ph ], [ %indvars.iv.next, %3 ]
 590   %a.02 = phi i32 [ 0, %.lr.ph ], [ %6, %3 ]
 591   %indvars.iv.next = add i64 %indvars.iv, -1
 592   %4 = getelementptr inbounds i32, i32* %b, i64 %indvars.iv.next
 593   %5 = load i32, i32* %4, align 4
 594   %6 = add nsw i32 %5, %a.02
 595   %7 = trunc i64 %indvars.iv.next to i32
 596   %8 = icmp sgt i32 %7, 0
 597   br i1 %8, label %3, label %._crit_edge
 598
 599 ._crit_edge:                                      ; preds = %3, %0
 600   %a.0.lcssa = phi i32 [ 0, %0 ], [ %6, %3 ]
 601   ret i32 %a.0.lcssa
 602 }
 603
 604 ;CHECK-LABEL: @example23(
 605 ;CHECK: <4 x i32>
 606 ;CHECK: ret void
 607 define void @example23(i16* nocapture %src, i32* nocapture %dst) nounwind uwtable ssp {
 608   br label %1
 609
 610 ; <label>:1                                       ; preds = %1, %0
 611   %.04 = phi i16* [ %src, %0 ], [ %2, %1 ]
 612   %.013 = phi i32* [ %dst, %0 ], [ %6, %1 ]
 613   %i.02 = phi i32 [ 0, %0 ], [ %7, %1 ]
 614   %2 = getelementptr inbounds i16, i16* %.04, i64 1
 615   %3 = load i16, i16* %.04, align 2
 616   %4 = zext i16 %3 to i32
 617   %5 = shl nuw nsw i32 %4, 7
 618   %6 = getelementptr inbounds i32, i32* %.013, i64 1
 619   store i32 %5, i32* %.013, align 4
 620   %7 = add nsw i32 %i.02, 1
 621   %exitcond = icmp eq i32 %7, 256
 622   br i1 %exitcond, label %8, label %1
 623
 624 ; <label>:8                                       ; preds = %1
 625   ret void
 626 }
 627
 628 ;CHECK-LABEL: @example24(
 629 ;CHECK: shufflevector <4 x i16>
 630 ;CHECK: ret void
 631 define void @example24(i16 signext %x, i16 signext %y) nounwind uwtable ssp {
 632   br label %1
 633
 634 ; <label>:1                                       ; preds = %1, %0
 635   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 636   %2 = getelementptr inbounds [1024 x float], [1024 x float]* @fa, i64 0, i64 %indvars.iv
 637   %3 = load float, float* %2, align 4
 638   %4 = getelementptr inbounds [1024 x float], [1024 x float]* @fb, i64 0, i64 %indvars.iv
 639   %5 = load float, float* %4, align 4
 640   %6 = fcmp olt float %3, %5
 641   %x.y = select i1 %6, i16 %x, i16 %y
 642   %7 = sext i16 %x.y to i32
 643   %8 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ic, i64 0, i64 %indvars.iv
 644   store i32 %7, i32* %8, align 4
 645   %indvars.iv.next = add i64 %indvars.iv, 1
 646   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 647   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 648   br i1 %exitcond, label %9, label %1
 649
 650 ; <label>:9                                       ; preds = %1
 651   ret void
 652 }
 653
 654 ;CHECK-LABEL: @example25(
 655 ;CHECK: and <4 x i1>
 656 ;CHECK: zext <4 x i1>
 657 ;CHECK: ret void
 658 define void @example25() nounwind uwtable ssp {
 659   br label %1
 660
 661 ; <label>:1                                       ; preds = %1, %0
 662   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
 663   %2 = getelementptr inbounds [1024 x float], [1024 x float]* @da, i64 0, i64 %indvars.iv
 664   %3 = load float, float* %2, align 4
 665   %4 = getelementptr inbounds [1024 x float], [1024 x float]* @db, i64 0, i64 %indvars.iv
 666   %5 = load float, float* %4, align 4
 667   %6 = fcmp olt float %3, %5
 668   %7 = getelementptr inbounds [1024 x float], [1024 x float]* @dc, i64 0, i64 %indvars.iv
 669   %8 = load float, float* %7, align 4
 670   %9 = getelementptr inbounds [1024 x float], [1024 x float]* @dd, i64 0, i64 %indvars.iv
 671   %10 = load float, float* %9, align 4
 672   %11 = fcmp olt float %8, %10
 673   %12 = and i1 %6, %11
 674   %13 = zext i1 %12 to i32
 675   %14 = getelementptr inbounds [1024 x i32], [1024 x i32]* @dj, i64 0, i64 %indvars.iv
 676   store i32 %13, i32* %14, align 4
 677   %indvars.iv.next = add i64 %indvars.iv, 1
 678   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
 679   %exitcond = icmp eq i32 %lftr.wideiv, 1024
 680   br i1 %exitcond, label %15, label %1
 681
 682 ; <label>:15                                      ; preds = %1
 683   ret void
 684 }
 685