llvm/test/Transforms/LoopVectorize/AArch64/interleaved_cost.ll

   1 ; RUN: opt -passes=loop-vectorize -force-vector-width=2 -debug-only=loop-vectorize -disable-output < %s 2>&1 | FileCheck %s --check-prefix=VF_2
   2 ; RUN: opt -passes=loop-vectorize -force-vector-width=4 -debug-only=loop-vectorize -disable-output < %s 2>&1 | FileCheck %s --check-prefix=VF_4
   3 ; RUN: opt -passes=loop-vectorize -force-vector-width=8 -debug-only=loop-vectorize -disable-output < %s 2>&1 | FileCheck %s --check-prefix=VF_8
   4 ; RUN: opt -passes=loop-vectorize -force-vector-width=16 -debug-only=loop-vectorize -disable-output < %s 2>&1 | FileCheck %s --check-prefix=VF_16
   5 ; REQUIRES: asserts
   6
   7 target datalayout = "e-m:e-i64:64-i128:128-n32:64-S128"
   8 target triple = "aarch64"
   9
  10 %i8.2 = type {i8, i8}
  11 define void @i8_factor_2(ptr %data, i64 %n) {
  12 entry:
  13   br label %for.body
  14
  15 ; VF_8-LABEL:  Checking a loop in 'i8_factor_2'
  16 ; VF_8:          Found an estimated cost of 2 for VF 8 For instruction: %tmp2 = load i8, ptr %tmp0, align 1
  17 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: %tmp3 = load i8, ptr %tmp1, align 1
  18 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: store i8 %tmp2, ptr %tmp0, align 1
  19 ; VF_8-NEXT:     Found an estimated cost of 2 for VF 8 For instruction: store i8 %tmp3, ptr %tmp1, align 1
  20 ; VF_16-LABEL: Checking a loop in 'i8_factor_2'
  21 ; VF_16:         Found an estimated cost of 2 for VF 16 For instruction: %tmp2 = load i8, ptr %tmp0, align 1
  22 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: %tmp3 = load i8, ptr %tmp1, align 1
  23 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: store i8 %tmp2, ptr %tmp0, align 1
  24 ; VF_16-NEXT:    Found an estimated cost of 2 for VF 16 For instruction: store i8 %tmp3, ptr %tmp1, align 1
  25 for.body:
  26   %i = phi i64 [ 0, %entry ], [ %i.next, %for.body ]
  27   %tmp0 = getelementptr inbounds %i8.2, ptr %data, i64 %i, i32 0
  28   %tmp1 = getelementptr inbounds %i8.2, ptr %data, i64 %i, i32 1
  29   %tmp2 = load i8, ptr %tmp0, align 1
  30   %tmp3 = load i8, ptr %tmp1, align 1
  31   store i8 %tmp2, ptr %tmp0, align 1
  32   store i8 %tmp3, ptr %tmp1, align 1
  33   %i.next = add nuw nsw i64 %i, 1
  34   %cond = icmp slt i64 %i.next, %n
  35   br i1 %cond, label %for.body, label %for.end
  36
  37 for.end:
  38   ret void
  39 }
  40
  41 %i16.2 = type {i16, i16}
  42 define void @i16_factor_2(ptr %data, i64 %n) {
  43 entry:
  44   br label %for.body
  45
  46 ; VF_4-LABEL: Checking a loop in 'i16_factor_2'
  47 ; VF_4:          Found an estimated cost of 2 for VF 4 For instruction: %tmp2 = load i16, ptr %tmp0, align 2
  48 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: %tmp3 = load i16, ptr %tmp1, align 2
  49 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: store i16 %tmp2, ptr %tmp0, align 2
  50 ; VF_4-NEXT:     Found an estimated cost of 2 for VF 4 For instruction: store i16 %tmp3, ptr %tmp1, align 2
  51 ; VF_8-LABEL:  Checking a loop in 'i16_factor_2'
  52 ; VF_8:          Found an estimated cost of 2 for VF 8 For instruction: %tmp2 = load i16, ptr %tmp0, align 2
  53 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: %tmp3 = load i16, ptr %tmp1, align 2
  54 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: store i16 %tmp2, ptr %tmp0, align 2
  55 ; VF_8-NEXT:     Found an estimated cost of 2 for VF 8 For instruction: store i16 %tmp3, ptr %tmp1, align 2
  56 ; VF_16-LABEL: Checking a loop in 'i16_factor_2'
  57 ; VF_16:         Found an estimated cost of 4 for VF 16 For instruction: %tmp2 = load i16, ptr %tmp0, align 2
  58 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: %tmp3 = load i16, ptr %tmp1, align 2
  59 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: store i16 %tmp2, ptr %tmp0, align 2
  60 ; VF_16-NEXT:    Found an estimated cost of 4 for VF 16 For instruction: store i16 %tmp3, ptr %tmp1, align 2
  61 for.body:
  62   %i = phi i64 [ 0, %entry ], [ %i.next, %for.body ]
  63   %tmp0 = getelementptr inbounds %i16.2, ptr %data, i64 %i, i32 0
  64   %tmp1 = getelementptr inbounds %i16.2, ptr %data, i64 %i, i32 1
  65   %tmp2 = load i16, ptr %tmp0, align 2
  66   %tmp3 = load i16, ptr %tmp1, align 2
  67   store i16 %tmp2, ptr %tmp0, align 2
  68   store i16 %tmp3, ptr %tmp1, align 2
  69   %i.next = add nuw nsw i64 %i, 1
  70   %cond = icmp slt i64 %i.next, %n
  71   br i1 %cond, label %for.body, label %for.end
  72
  73 for.end:
  74   ret void
  75 }
  76
  77 %i32.2 = type {i32, i32}
  78 define void @i32_factor_2(ptr %data, i64 %n) {
  79 entry:
  80   br label %for.body
  81
  82 ; VF_2-LABEL:  Checking a loop in 'i32_factor_2'
  83 ; VF_2:          Found an estimated cost of 2 for VF 2 For instruction: %tmp2 = load i32, ptr %tmp0, align 4
  84 ; VF_2-NEXT:     Found an estimated cost of 0 for VF 2 For instruction: %tmp3 = load i32, ptr %tmp1, align 4
  85 ; VF_2-NEXT:     Found an estimated cost of 0 for VF 2 For instruction: store i32 %tmp2, ptr %tmp0, align 4
  86 ; VF_2-NEXT:     Found an estimated cost of 2 for VF 2 For instruction: store i32 %tmp3, ptr %tmp1, align 4
  87 ; VF_4-LABEL:  Checking a loop in 'i32_factor_2'
  88 ; VF_4:          Found an estimated cost of 2 for VF 4 For instruction: %tmp2 = load i32, ptr %tmp0, align 4
  89 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: %tmp3 = load i32, ptr %tmp1, align 4
  90 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: store i32 %tmp2, ptr %tmp0, align 4
  91 ; VF_4-NEXT:     Found an estimated cost of 2 for VF 4 For instruction: store i32 %tmp3, ptr %tmp1, align 4
  92 ; VF_8-LABEL:  Checking a loop in 'i32_factor_2'
  93 ; VF_8:          Found an estimated cost of 4 for VF 8 For instruction: %tmp2 = load i32, ptr %tmp0, align 4
  94 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: %tmp3 = load i32, ptr %tmp1, align 4
  95 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: store i32 %tmp2, ptr %tmp0, align 4
  96 ; VF_8-NEXT:     Found an estimated cost of 4 for VF 8 For instruction: store i32 %tmp3, ptr %tmp1, align 4
  97 ; VF_16-LABEL: Checking a loop in 'i32_factor_2'
  98 ; VF_16:         Found an estimated cost of 8 for VF 16 For instruction: %tmp2 = load i32, ptr %tmp0, align 4
  99 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: %tmp3 = load i32, ptr %tmp1, align 4
 100 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: store i32 %tmp2, ptr %tmp0, align 4
 101 ; VF_16-NEXT:    Found an estimated cost of 8 for VF 16 For instruction: store i32 %tmp3, ptr %tmp1, align 4
 102 for.body:
 103   %i = phi i64 [ 0, %entry ], [ %i.next, %for.body ]
 104   %tmp0 = getelementptr inbounds %i32.2, ptr %data, i64 %i, i32 0
 105   %tmp1 = getelementptr inbounds %i32.2, ptr %data, i64 %i, i32 1
 106   %tmp2 = load i32, ptr %tmp0, align 4
 107   %tmp3 = load i32, ptr %tmp1, align 4
 108   store i32 %tmp2, ptr %tmp0, align 4
 109   store i32 %tmp3, ptr %tmp1, align 4
 110   %i.next = add nuw nsw i64 %i, 1
 111   %cond = icmp slt i64 %i.next, %n
 112   br i1 %cond, label %for.body, label %for.end
 113
 114 for.end:
 115   ret void
 116 }
 117
 118 %i64.2 = type {i64, i64}
 119 define void @i64_factor_2(ptr %data, i64 %n) {
 120 entry:
 121   br label %for.body
 122
 123 ; VF_2-LABEL:  Checking a loop in 'i64_factor_2'
 124 ; VF_2:          Found an estimated cost of 2 for VF 2 For instruction: %tmp2 = load i64, ptr %tmp0, align 8
 125 ; VF_2-NEXT:     Found an estimated cost of 0 for VF 2 For instruction: %tmp3 = load i64, ptr %tmp1, align 8
 126 ; VF_2-NEXT:     Found an estimated cost of 0 for VF 2 For instruction: store i64 %tmp2, ptr %tmp0, align 8
 127 ; VF_2-NEXT:     Found an estimated cost of 2 for VF 2 For instruction: store i64 %tmp3, ptr %tmp1, align 8
 128 ; VF_4-LABEL:  Checking a loop in 'i64_factor_2'
 129 ; VF_4:          Found an estimated cost of 4 for VF 4 For instruction: %tmp2 = load i64, ptr %tmp0, align 8
 130 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: %tmp3 = load i64, ptr %tmp1, align 8
 131 ; VF_4-NEXT:     Found an estimated cost of 0 for VF 4 For instruction: store i64 %tmp2, ptr %tmp0, align 8
 132 ; VF_4-NEXT:     Found an estimated cost of 4 for VF 4 For instruction: store i64 %tmp3, ptr %tmp1, align 8
 133 ; VF_8-LABEL:  Checking a loop in 'i64_factor_2'
 134 ; VF_8:          Found an estimated cost of 8 for VF 8 For instruction: %tmp2 = load i64, ptr %tmp0, align 8
 135 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: %tmp3 = load i64, ptr %tmp1, align 8
 136 ; VF_8-NEXT:     Found an estimated cost of 0 for VF 8 For instruction: store i64 %tmp2, ptr %tmp0, align 8
 137 ; VF_8-NEXT:     Found an estimated cost of 8 for VF 8 For instruction: store i64 %tmp3, ptr %tmp1, align 8
 138 ; VF_16-LABEL: Checking a loop in 'i64_factor_2'
 139 ; VF_16:         Found an estimated cost of 16 for VF 16 For instruction: %tmp2 = load i64, ptr %tmp0, align 8
 140 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: %tmp3 = load i64, ptr %tmp1, align 8
 141 ; VF_16-NEXT:    Found an estimated cost of 0 for VF 16 For instruction: store i64 %tmp2, ptr %tmp0, align 8
 142 ; VF_16-NEXT:    Found an estimated cost of 16 for VF 16 For instruction: store i64 %tmp3, ptr %tmp1, align 8
 143 for.body:
 144   %i = phi i64 [ 0, %entry ], [ %i.next, %for.body ]
 145   %tmp0 = getelementptr inbounds %i64.2, ptr %data, i64 %i, i32 0
 146   %tmp1 = getelementptr inbounds %i64.2, ptr %data, i64 %i, i32 1
 147   %tmp2 = load i64, ptr %tmp0, align 8
 148   %tmp3 = load i64, ptr %tmp1, align 8
 149   store i64 %tmp2, ptr %tmp0, align 8
 150   store i64 %tmp3, ptr %tmp1, align 8
 151   %i.next = add nuw nsw i64 %i, 1
 152   %cond = icmp slt i64 %i.next, %n
 153   br i1 %cond, label %for.body, label %for.end
 154
 155 for.end:
 156   ret void
 157 }
 158
 159 %i64.8 = type {i64, i64, i64, i64, i64, i64, i64, i64}
 160 define void @i64_factor_8(ptr %data, i64 %n) {
 161 entry:
 162   br label %for.body
 163
 164 ; The interleave factor in this test is 8, which is greater than the maximum
 165 ; allowed factor for AArch64 (4). Thus, we will fall back to the basic TTI
 166 ; implementation for determining the cost of the interleaved load group. The
 167 ; stores do not form a legal interleaved group because the group would contain
 168 ; gaps.
 169 ;
 170 ; VF_2-LABEL: Checking a loop in 'i64_factor_8'
 171 ; VF_2:         Found an estimated cost of 8 for VF 2 For instruction: %tmp2 = load i64, ptr %tmp0, align 8
 172 ; VF_2-NEXT:    Found an estimated cost of 8 for VF 2 For instruction: %tmp3 = load i64, ptr %tmp1, align 8
 173 ; VF_2-NEXT:    Found an estimated cost of 12 for VF 2 For instruction: store i64 %tmp2, ptr %tmp0, align 8
 174 ; VF_2-NEXT:    Found an estimated cost of 12 for VF 2 For instruction: store i64 %tmp3, ptr %tmp1, align 8
 175 for.body:
 176   %i = phi i64 [ 0, %entry ], [ %i.next, %for.body ]
 177   %tmp0 = getelementptr inbounds %i64.8, ptr %data, i64 %i, i32 2
 178   %tmp1 = getelementptr inbounds %i64.8, ptr %data, i64 %i, i32 6
 179   %tmp2 = load i64, ptr %tmp0, align 8
 180   %tmp3 = load i64, ptr %tmp1, align 8
 181   store i64 %tmp2, ptr %tmp0, align 8
 182   store i64 %tmp3, ptr %tmp1, align 8
 183   %i.next = add nuw nsw i64 %i, 1
 184   %cond = icmp slt i64 %i.next, %n
 185   br i1 %cond, label %for.body, label %for.end
 186
 187 for.end:
 188   ret void
 189 }