llvm/test/Transforms/LoopVectorize/vector-geps.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt < %s -passes=loop-vectorize,instcombine -force-vector-width=4 -force-vector-interleave=1 -S | FileCheck %s
   3
   4 target datalayout = "e-m:e-i64:64-i128:128-n32:64-S128"
   5
   6 ;
   7 define void @vector_gep_stored(ptr %a, ptr %b, i64 %n) {
   8 ; CHECK-LABEL: @vector_gep_stored(
   9 ; CHECK-NEXT:  entry:
  10 ; CHECK-NEXT:    [[SMAX:%.*]] = call i64 @llvm.smax.i64(i64 [[N:%.*]], i64 1)
  11 ; CHECK-NEXT:    [[MIN_ITERS_CHECK:%.*]] = icmp ult i64 [[SMAX]], 4
  12 ; CHECK-NEXT:    br i1 [[MIN_ITERS_CHECK]], label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
  13 ; CHECK:       vector.ph:
  14 ; CHECK-NEXT:    [[N_VEC:%.*]] = and i64 [[SMAX]], 9223372036854775804
  15 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
  16 ; CHECK:       vector.body:
  17 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
  18 ; CHECK-NEXT:    [[VEC_IND:%.*]] = phi <4 x i64> [ <i64 0, i64 1, i64 2, i64 3>, [[VECTOR_PH]] ], [ [[VEC_IND_NEXT:%.*]], [[VECTOR_BODY]] ]
  19 ; CHECK-NEXT:    [[TMP0:%.*]] = getelementptr inbounds i32, ptr [[B:%.*]], <4 x i64> [[VEC_IND]]
  20 ; CHECK-NEXT:    [[TMP1:%.*]] = getelementptr inbounds ptr, ptr [[A:%.*]], i64 [[INDEX]]
  21 ; CHECK-NEXT:    store <4 x ptr> [[TMP0]], ptr [[TMP1]], align 8
  22 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 4
  23 ; CHECK-NEXT:    [[VEC_IND_NEXT]] = add <4 x i64> [[VEC_IND]], <i64 4, i64 4, i64 4, i64 4>
  24 ; CHECK-NEXT:    [[TMP3:%.*]] = icmp eq i64 [[INDEX_NEXT]], [[N_VEC]]
  25 ; CHECK-NEXT:    br i1 [[TMP3]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP0:![0-9]+]]
  26 ; CHECK:       middle.block:
  27 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 [[SMAX]], [[N_VEC]]
  28 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[FOR_END:%.*]], label [[SCALAR_PH]]
  29 ; CHECK:       scalar.ph:
  30 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
  31 ; CHECK-NEXT:    br label [[FOR_BODY:%.*]]
  32 ; CHECK:       for.body:
  33 ; CHECK-NEXT:    [[I:%.*]] = phi i64 [ [[I_NEXT:%.*]], [[FOR_BODY]] ], [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ]
  34 ; CHECK-NEXT:    [[VAR0:%.*]] = getelementptr inbounds i32, ptr [[B]], i64 [[I]]
  35 ; CHECK-NEXT:    [[VAR1:%.*]] = getelementptr inbounds ptr, ptr [[A]], i64 [[I]]
  36 ; CHECK-NEXT:    store ptr [[VAR0]], ptr [[VAR1]], align 8
  37 ; CHECK-NEXT:    [[I_NEXT]] = add nuw nsw i64 [[I]], 1
  38 ; CHECK-NEXT:    [[COND:%.*]] = icmp slt i64 [[I_NEXT]], [[N]]
  39 ; CHECK-NEXT:    br i1 [[COND]], label [[FOR_BODY]], label [[FOR_END]], !llvm.loop [[LOOP2:![0-9]+]]
  40 ; CHECK:       for.end:
  41 ; CHECK-NEXT:    ret void
  42 ;
  43 entry:
  44   br label %for.body
  45
  46 for.body:
  47   %i = phi i64 [ %i.next, %for.body ], [ 0, %entry ]
  48   %var0 = getelementptr inbounds i32, ptr %b, i64 %i
  49   %var1 = getelementptr inbounds ptr, ptr %a, i64 %i
  50   store ptr %var0, ptr %var1, align 8
  51   %i.next = add nuw nsw i64 %i, 1
  52   %cond = icmp slt i64 %i.next, %n
  53   br i1 %cond, label %for.body, label %for.end
  54
  55 for.end:
  56   ret void
  57 }
  58
  59 ;
  60 define void @uniform_vector_gep_stored(ptr %a, ptr %b, i64 %n) {
  61 ; CHECK-LABEL: @uniform_vector_gep_stored(
  62 ; CHECK-NEXT:  entry:
  63 ; CHECK-NEXT:    [[SMAX:%.*]] = call i64 @llvm.smax.i64(i64 [[N:%.*]], i64 1)
  64 ; CHECK-NEXT:    [[MIN_ITERS_CHECK:%.*]] = icmp ult i64 [[SMAX]], 4
  65 ; CHECK-NEXT:    br i1 [[MIN_ITERS_CHECK]], label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
  66 ; CHECK:       vector.ph:
  67 ; CHECK-NEXT:    [[N_VEC:%.*]] = and i64 [[SMAX]], 9223372036854775804
  68 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
  69 ; CHECK:       vector.body:
  70 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
  71 ; CHECK-NEXT:    [[TMP0:%.*]] = getelementptr inbounds i32, ptr [[B:%.*]], i64 1
  72 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <4 x ptr> poison, ptr [[TMP0]], i64 0
  73 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <4 x ptr> [[DOTSPLATINSERT]], <4 x ptr> poison, <4 x i32> zeroinitializer
  74 ; CHECK-NEXT:    [[TMP1:%.*]] = getelementptr inbounds ptr, ptr [[A:%.*]], i64 [[INDEX]]
  75 ; CHECK-NEXT:    store <4 x ptr> [[DOTSPLAT]], ptr [[TMP1]], align 8
  76 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 4
  77 ; CHECK-NEXT:    [[TMP3:%.*]] = icmp eq i64 [[INDEX_NEXT]], [[N_VEC]]
  78 ; CHECK-NEXT:    br i1 [[TMP3]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP4:![0-9]+]]
  79 ; CHECK:       middle.block:
  80 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 [[SMAX]], [[N_VEC]]
  81 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[FOR_END:%.*]], label [[SCALAR_PH]]
  82 ; CHECK:       scalar.ph:
  83 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
  84 ; CHECK-NEXT:    br label [[FOR_BODY:%.*]]
  85 ; CHECK:       for.body:
  86 ; CHECK-NEXT:    [[I:%.*]] = phi i64 [ [[I_NEXT:%.*]], [[FOR_BODY]] ], [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ]
  87 ; CHECK-NEXT:    [[VAR0:%.*]] = getelementptr inbounds i32, ptr [[B]], i64 1
  88 ; CHECK-NEXT:    [[VAR1:%.*]] = getelementptr inbounds ptr, ptr [[A]], i64 [[I]]
  89 ; CHECK-NEXT:    store ptr [[VAR0]], ptr [[VAR1]], align 8
  90 ; CHECK-NEXT:    [[I_NEXT]] = add nuw nsw i64 [[I]], 1
  91 ; CHECK-NEXT:    [[COND:%.*]] = icmp slt i64 [[I_NEXT]], [[N]]
  92 ; CHECK-NEXT:    br i1 [[COND]], label [[FOR_BODY]], label [[FOR_END]], !llvm.loop [[LOOP5:![0-9]+]]
  93 ; CHECK:       for.end:
  94 ; CHECK-NEXT:    ret void
  95 ;
  96 entry:
  97   br label %for.body
  98
  99 for.body:
 100   %i = phi i64 [ %i.next, %for.body ], [ 0, %entry ]
 101   %var0 = getelementptr inbounds i32, ptr %b, i64 1
 102   %var1 = getelementptr inbounds ptr, ptr %a, i64 %i
 103   store ptr %var0, ptr %var1, align 8
 104   %i.next = add nuw nsw i64 %i, 1
 105   %cond = icmp slt i64 %i.next, %n
 106   br i1 %cond, label %for.body, label %for.end
 107
 108 for.end:
 109   ret void
 110 }