llvm/test/Transforms/LoopVectorize/SystemZ/predicated-first-order-recurrence.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -passes=loop-vectorize -mtriple=s390x-ibm-linux -mcpu=z13 -force-vector-width=2 -S %s | FileCheck %s
   3
   4 ; Test case from PR44020.
   5
   6 ; In func_21, %rec forms a first order recurrence and we predicate to avoid
   7 ; scalar iteration overhead for a low trip count loop. Make sure we pick
   8 ; the correct insertion point when fixing first order recurrences.
   9
  10 @A = external dso_local global [5 x i32], align 4
  11 @B = external dso_local global [5 x i32], align 4
  12
  13 define void @func_21() {
  14 ; CHECK-LABEL: @func_21(
  15 ; CHECK-NEXT:  entry:
  16 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
  17 ; CHECK:       vector.ph:
  18 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
  19 ; CHECK:       vector.body:
  20 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[PRED_STORE_CONTINUE4:%.*]] ]
  21 ; CHECK-NEXT:    [[VECTOR_RECUR:%.*]] = phi <2 x i32> [ <i32 poison, i32 0>, [[VECTOR_PH]] ], [ [[TMP12:%.*]], [[PRED_STORE_CONTINUE4]] ]
  22 ; CHECK-NEXT:    [[VEC_IND:%.*]] = phi <2 x i64> [ <i64 0, i64 1>, [[VECTOR_PH]] ], [ [[VEC_IND_NEXT:%.*]], [[PRED_STORE_CONTINUE4]] ]
  23 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
  24 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
  25 ; CHECK-NEXT:    [[TMP2:%.*]] = icmp ule <2 x i64> [[VEC_IND]], splat (i64 4)
  26 ; CHECK-NEXT:    [[TMP3:%.*]] = extractelement <2 x i1> [[TMP2]], i32 0
  27 ; CHECK-NEXT:    br i1 [[TMP3]], label [[PRED_LOAD_IF:%.*]], label [[PRED_LOAD_CONTINUE:%.*]]
  28 ; CHECK:       pred.load.if:
  29 ; CHECK-NEXT:    [[TMP4:%.*]] = getelementptr inbounds [5 x i32], ptr @A, i64 0, i64 [[TMP0]]
  30 ; CHECK-NEXT:    [[TMP5:%.*]] = load i32, ptr [[TMP4]], align 4
  31 ; CHECK-NEXT:    [[TMP6:%.*]] = insertelement <2 x i32> poison, i32 [[TMP5]], i32 0
  32 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE]]
  33 ; CHECK:       pred.load.continue:
  34 ; CHECK-NEXT:    [[TMP7:%.*]] = phi <2 x i32> [ poison, [[VECTOR_BODY]] ], [ [[TMP6]], [[PRED_LOAD_IF]] ]
  35 ; CHECK-NEXT:    [[TMP8:%.*]] = extractelement <2 x i1> [[TMP2]], i32 1
  36 ; CHECK-NEXT:    br i1 [[TMP8]], label [[PRED_LOAD_IF1:%.*]], label [[PRED_LOAD_CONTINUE2:%.*]]
  37 ; CHECK:       pred.load.if1:
  38 ; CHECK-NEXT:    [[TMP9:%.*]] = getelementptr inbounds [5 x i32], ptr @A, i64 0, i64 [[TMP1]]
  39 ; CHECK-NEXT:    [[TMP10:%.*]] = load i32, ptr [[TMP9]], align 4
  40 ; CHECK-NEXT:    [[TMP11:%.*]] = insertelement <2 x i32> [[TMP7]], i32 [[TMP10]], i32 1
  41 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE2]]
  42 ; CHECK:       pred.load.continue2:
  43 ; CHECK-NEXT:    [[TMP12]] = phi <2 x i32> [ [[TMP7]], [[PRED_LOAD_CONTINUE]] ], [ [[TMP11]], [[PRED_LOAD_IF1]] ]
  44 ; CHECK-NEXT:    [[TMP13:%.*]] = shufflevector <2 x i32> [[VECTOR_RECUR]], <2 x i32> [[TMP12]], <2 x i32> <i32 1, i32 2>
  45 ; CHECK-NEXT:    [[TMP14:%.*]] = extractelement <2 x i1> [[TMP2]], i32 0
  46 ; CHECK-NEXT:    br i1 [[TMP14]], label [[PRED_STORE_IF:%.*]], label [[PRED_STORE_CONTINUE:%.*]]
  47 ; CHECK:       pred.store.if:
  48 ; CHECK-NEXT:    [[TMP15:%.*]] = getelementptr inbounds [5 x i32], ptr @B, i64 0, i64 [[TMP0]]
  49 ; CHECK-NEXT:    [[TMP16:%.*]] = extractelement <2 x i32> [[TMP13]], i32 0
  50 ; CHECK-NEXT:    store i32 [[TMP16]], ptr [[TMP15]], align 4
  51 ; CHECK-NEXT:    br label [[PRED_STORE_CONTINUE]]
  52 ; CHECK:       pred.store.continue:
  53 ; CHECK-NEXT:    [[TMP17:%.*]] = extractelement <2 x i1> [[TMP2]], i32 1
  54 ; CHECK-NEXT:    br i1 [[TMP17]], label [[PRED_STORE_IF3:%.*]], label [[PRED_STORE_CONTINUE4]]
  55 ; CHECK:       pred.store.if3:
  56 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds [5 x i32], ptr @B, i64 0, i64 [[TMP1]]
  57 ; CHECK-NEXT:    [[TMP19:%.*]] = extractelement <2 x i32> [[TMP13]], i32 1
  58 ; CHECK-NEXT:    store i32 [[TMP19]], ptr [[TMP18]], align 4
  59 ; CHECK-NEXT:    br label [[PRED_STORE_CONTINUE4]]
  60 ; CHECK:       pred.store.continue4:
  61 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 2
  62 ; CHECK-NEXT:    [[VEC_IND_NEXT]] = add <2 x i64> [[VEC_IND]], splat (i64 2)
  63 ; CHECK-NEXT:    [[TMP20:%.*]] = icmp eq i64 [[INDEX_NEXT]], 6
  64 ; CHECK-NEXT:    br i1 [[TMP20]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop [[LOOP0:![0-9]+]]
  65 ; CHECK:       middle.block:
  66 ; CHECK-NEXT:    [[VECTOR_RECUR_EXTRACT:%.*]] = extractelement <2 x i32> [[TMP12]], i32 1
  67 ; CHECK-NEXT:    br i1 true, label [[EXIT:%.*]], label [[SCALAR_PH]]
  68 ; CHECK:       scalar.ph:
  69 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 6, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
  70 ; CHECK-NEXT:    [[SCALAR_RECUR_INIT:%.*]] = phi i32 [ [[VECTOR_RECUR_EXTRACT]], [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY]] ]
  71 ; CHECK-NEXT:    br label [[LOOP:%.*]]
  72 ; CHECK:       loop:
  73 ; CHECK-NEXT:    [[SCALAR_RECUR:%.*]] = phi i32 [ [[SCALAR_RECUR_INIT]], [[SCALAR_PH]] ], [ [[LV:%.*]], [[LOOP]] ]
  74 ; CHECK-NEXT:    [[INDVARS_IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[INDVARS_IV_NEXT:%.*]], [[LOOP]] ]
  75 ; CHECK-NEXT:    [[A_PTR:%.*]] = getelementptr inbounds [5 x i32], ptr @A, i64 0, i64 [[INDVARS_IV]]
  76 ; CHECK-NEXT:    [[LV]] = load i32, ptr [[A_PTR]], align 4
  77 ; CHECK-NEXT:    [[B_PTR:%.*]] = getelementptr inbounds [5 x i32], ptr @B, i64 0, i64 [[INDVARS_IV]]
  78 ; CHECK-NEXT:    store i32 [[SCALAR_RECUR]], ptr [[B_PTR]], align 4
  79 ; CHECK-NEXT:    [[INDVARS_IV_NEXT]] = add nuw nsw i64 [[INDVARS_IV]], 1
  80 ; CHECK-NEXT:    [[EXITCOND:%.*]] = icmp eq i64 [[INDVARS_IV_NEXT]], 5
  81 ; CHECK-NEXT:    br i1 [[EXITCOND]], label [[EXIT]], label [[LOOP]], !llvm.loop [[LOOP3:![0-9]+]]
  82 ; CHECK:       exit:
  83 ; CHECK-NEXT:    ret void
  84 ;
  85 entry:
  86   br label %loop
  87
  88 loop:                                    ; preds = %loop, %entry
  89   %rec = phi i32 [ 0, %entry], [ %lv, %loop ]
  90   %indvars.iv = phi i64 [ 0, %entry], [ %indvars.iv.next, %loop ]
  91   %A.ptr= getelementptr inbounds [5 x i32], ptr @A, i64 0, i64 %indvars.iv
  92   %lv = load i32, ptr %A.ptr, align 4
  93   %B.ptr = getelementptr inbounds [5 x i32], ptr @B, i64 0, i64 %indvars.iv
  94   store i32 %rec, ptr %B.ptr, align 4
  95   %indvars.iv.next = add nuw nsw i64 %indvars.iv, 1
  96   %exitcond = icmp eq i64 %indvars.iv.next, 5
  97   br i1 %exitcond, label %exit, label %loop
  98
  99 exit:                                             ; preds = %loop
 100   ret void
 101 }