test/Transforms/SLPVectorizer/AArch64/tsc-s352.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt < %s -slp-vectorizer -S -mtriple=aarch64-unknown-unknown -mcpu=cortex-a53 | FileCheck %s
   3
   4 target datalayout = "e-m:e-i8:8:32-i16:16:32-i64:64-i128:128-n32:64-S128"
   5
   6 ; This test is reduced from the TSVC evaluation of vectorizers:
   7 ; https://github.com/llvm/llvm-test-suite/commits/master/MultiSource/Benchmarks/TSVC/LoopRerolling-flt/tsc.c
   8 ; Two loads and an fmul are expected to be vectorized to <2 x float>.
   9 ; Otherwise, performance will suffer on Cortex-A53.
  10 ; See https://bugs.llvm.org/show_bug.cgi?id=36280 for more details.
  11
  12 %struct.GlobalData = type { [32000 x float], [3 x i32], [4 x i8], [32000 x float], [5 x i32], [12 x i8], [32000 x float], [7 x i32], [4 x i8], [32000 x float], [11 x i32], [4 x i8], [32000 x float], [13 x i32], [12 x i8], [256 x [256 x float]], [17 x i32], [12 x i8], [256 x [256 x float]], [19 x i32], [4 x i8], [256 x [256 x float]], [23 x i32], [4 x i8], [256 x [256 x float]] }
  13
  14 @global_data = common dso_local global %struct.GlobalData zeroinitializer, align 16
  15
  16 define i32 @s352() {
  17 ; CHECK-LABEL: @s352(
  18 ; CHECK-NEXT:  entry:
  19 ; CHECK-NEXT:    br label [[PREHEADER:%.*]]
  20 ; CHECK:       preheader:
  21 ; CHECK-NEXT:    [[NL_017:%.*]] = phi i32 [ 0, [[ENTRY:%.*]] ], [ [[INC:%.*]], [[FOR_COND_CLEANUP3:%.*]] ]
  22 ; CHECK-NEXT:    br label [[FOR_BODY:%.*]]
  23 ; CHECK:       for.cond.cleanup:
  24 ; CHECK-NEXT:    ret i32 0
  25 ; CHECK:       for.cond.cleanup3:
  26 ; CHECK-NEXT:    [[INC]] = add nuw nsw i32 [[NL_017]], 1
  27 ; CHECK-NEXT:    [[EXITCOND:%.*]] = icmp eq i32 [[INC]], 1600000
  28 ; CHECK-NEXT:    br i1 [[EXITCOND]], label [[FOR_COND_CLEANUP:%.*]], label [[PREHEADER]]
  29 ; CHECK:       for.body:
  30 ; CHECK-NEXT:    [[INDVARS_IV:%.*]] = phi i64 [ 0, [[PREHEADER]] ], [ [[INDVARS_IV_NEXT:%.*]], [[FOR_BODY]] ]
  31 ; CHECK-NEXT:    [[DOT_115:%.*]] = phi float [ 0.000000e+00, [[PREHEADER]] ], [ [[ADD39:%.*]], [[FOR_BODY]] ]
  32 ; CHECK-NEXT:    [[ARRAYIDX:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA:%.*]], %struct.GlobalData* @global_data, i64 0, i32 0, i64 [[INDVARS_IV]]
  33 ; CHECK-NEXT:    [[TMP0:%.*]] = load float, float* [[ARRAYIDX]], align 4
  34 ; CHECK-NEXT:    [[ARRAYIDX6:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 3, i64 [[INDVARS_IV]]
  35 ; CHECK-NEXT:    [[TMP1:%.*]] = load float, float* [[ARRAYIDX6]], align 4
  36 ; CHECK-NEXT:    [[MUL7:%.*]] = fmul float [[TMP0]], [[TMP1]]
  37 ; CHECK-NEXT:    [[ADD:%.*]] = fadd float [[DOT_115]], [[MUL7]]
  38 ; CHECK-NEXT:    [[TMP2:%.*]] = add nuw nsw i64 [[INDVARS_IV]], 1
  39 ; CHECK-NEXT:    [[ARRAYIDX10:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 0, i64 [[TMP2]]
  40 ; CHECK-NEXT:    [[TMP3:%.*]] = load float, float* [[ARRAYIDX10]], align 4
  41 ; CHECK-NEXT:    [[ARRAYIDX13:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 3, i64 [[TMP2]]
  42 ; CHECK-NEXT:    [[TMP4:%.*]] = load float, float* [[ARRAYIDX13]], align 4
  43 ; CHECK-NEXT:    [[MUL14:%.*]] = fmul float [[TMP3]], [[TMP4]]
  44 ; CHECK-NEXT:    [[ADD15:%.*]] = fadd float [[ADD]], [[MUL14]]
  45 ; CHECK-NEXT:    [[TMP5:%.*]] = add nuw nsw i64 [[INDVARS_IV]], 2
  46 ; CHECK-NEXT:    [[ARRAYIDX18:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 0, i64 [[TMP5]]
  47 ; CHECK-NEXT:    [[ARRAYIDX21:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 3, i64 [[TMP5]]
  48 ; CHECK-NEXT:    [[TMP6:%.*]] = add nuw nsw i64 [[INDVARS_IV]], 3
  49 ; CHECK-NEXT:    [[ARRAYIDX26:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 0, i64 [[TMP6]]
  50 ; CHECK-NEXT:    [[TMP7:%.*]] = bitcast float* [[ARRAYIDX18]] to <2 x float>*
  51 ; CHECK-NEXT:    [[TMP8:%.*]] = load <2 x float>, <2 x float>* [[TMP7]], align 4
  52 ; CHECK-NEXT:    [[ARRAYIDX29:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 3, i64 [[TMP6]]
  53 ; CHECK-NEXT:    [[TMP9:%.*]] = bitcast float* [[ARRAYIDX21]] to <2 x float>*
  54 ; CHECK-NEXT:    [[TMP10:%.*]] = load <2 x float>, <2 x float>* [[TMP9]], align 4
  55 ; CHECK-NEXT:    [[TMP11:%.*]] = fmul <2 x float> [[TMP8]], [[TMP10]]
  56 ; CHECK-NEXT:    [[TMP12:%.*]] = extractelement <2 x float> [[TMP11]], i32 0
  57 ; CHECK-NEXT:    [[ADD23:%.*]] = fadd float [[ADD15]], [[TMP12]]
  58 ; CHECK-NEXT:    [[TMP13:%.*]] = extractelement <2 x float> [[TMP11]], i32 1
  59 ; CHECK-NEXT:    [[ADD31:%.*]] = fadd float [[ADD23]], [[TMP13]]
  60 ; CHECK-NEXT:    [[TMP14:%.*]] = add nuw nsw i64 [[INDVARS_IV]], 4
  61 ; CHECK-NEXT:    [[ARRAYIDX34:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 0, i64 [[TMP14]]
  62 ; CHECK-NEXT:    [[TMP15:%.*]] = load float, float* [[ARRAYIDX34]], align 4
  63 ; CHECK-NEXT:    [[ARRAYIDX37:%.*]] = getelementptr inbounds [[STRUCT_GLOBALDATA]], %struct.GlobalData* @global_data, i64 0, i32 3, i64 [[TMP14]]
  64 ; CHECK-NEXT:    [[TMP16:%.*]] = load float, float* [[ARRAYIDX37]], align 4
  65 ; CHECK-NEXT:    [[MUL38:%.*]] = fmul float [[TMP15]], [[TMP16]]
  66 ; CHECK-NEXT:    [[ADD39]] = fadd float [[ADD31]], [[MUL38]]
  67 ; CHECK-NEXT:    [[INDVARS_IV_NEXT]] = add nuw nsw i64 [[INDVARS_IV]], 5
  68 ; CHECK-NEXT:    [[CMP2:%.*]] = icmp ult i64 [[INDVARS_IV_NEXT]], 32000
  69 ; CHECK-NEXT:    br i1 [[CMP2]], label [[FOR_BODY]], label [[FOR_COND_CLEANUP3]]
  70 ;
  71 entry:
  72   br label %preheader
  73
  74 preheader:
  75   %nl.017 = phi i32 [ 0, %entry ], [ %inc, %for.cond.cleanup3 ]
  76   br label %for.body
  77
  78 for.cond.cleanup:
  79   ret i32 0
  80
  81 for.cond.cleanup3:
  82   %inc = add nuw nsw i32 %nl.017, 1
  83   %exitcond = icmp eq i32 %inc, 1600000
  84   br i1 %exitcond, label %for.cond.cleanup, label %preheader
  85
  86 for.body:
  87   %indvars.iv = phi i64 [ 0, %preheader ], [ %indvars.iv.next, %for.body ]
  88   %dot.115 = phi float [ 0.000000e+00, %preheader ], [ %add39, %for.body ]
  89   %arrayidx = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 0, i64 %indvars.iv
  90   %0 = load float, float* %arrayidx, align 4
  91   %arrayidx6 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 3, i64 %indvars.iv
  92   %1 = load float, float* %arrayidx6, align 4
  93   %mul7 = fmul float %0, %1
  94   %add = fadd float %dot.115, %mul7
  95   %2 = add nuw nsw i64 %indvars.iv, 1
  96   %arrayidx10 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 0, i64 %2
  97   %3 = load float, float* %arrayidx10, align 4
  98   %arrayidx13 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 3, i64 %2
  99   %4 = load float, float* %arrayidx13, align 4
 100   %mul14 = fmul float %3, %4
 101   %add15 = fadd float %add, %mul14
 102   %5 = add nuw nsw i64 %indvars.iv, 2
 103   %arrayidx18 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 0, i64 %5
 104   %6 = load float, float* %arrayidx18, align 4
 105   %arrayidx21 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 3, i64 %5
 106   %7 = load float, float* %arrayidx21, align 4
 107   %mul22 = fmul float %6, %7
 108   %add23 = fadd float %add15, %mul22
 109   %8 = add nuw nsw i64 %indvars.iv, 3
 110   %arrayidx26 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 0, i64 %8
 111   %9 = load float, float* %arrayidx26, align 4
 112   %arrayidx29 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 3, i64 %8
 113   %10 = load float, float* %arrayidx29, align 4
 114   %mul30 = fmul float %9, %10
 115   %add31 = fadd float %add23, %mul30
 116   %11 = add nuw nsw i64 %indvars.iv, 4
 117   %arrayidx34 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 0, i64 %11
 118   %12 = load float, float* %arrayidx34, align 4
 119   %arrayidx37 = getelementptr inbounds %struct.GlobalData, %struct.GlobalData* @global_data, i64 0, i32 3, i64 %11
 120   %13 = load float, float* %arrayidx37, align 4
 121   %mul38 = fmul float %12, %13
 122   %add39 = fadd float %add31, %mul38
 123   %indvars.iv.next = add nuw nsw i64 %indvars.iv, 5
 124   %cmp2 = icmp ult i64 %indvars.iv.next, 32000
 125   br i1 %cmp2, label %for.body, label %for.cond.cleanup3
 126 }
 127