test/Transforms/SampleProfile/indirect-call.ll

   1 ; RUN: opt < %s -sample-profile -sample-profile-file=%S/Inputs/indirect-call.prof -S | FileCheck %s
   2 ; RUN: opt < %s -sample-profile -sample-profile-file=%S/Inputs/indirect-call.compact.afdo -S | FileCheck %s
   3
   4 ; CHECK-LABEL: @test
   5 define void @test(void ()*) !dbg !3 {
   6   %2 = alloca void ()*
   7   store void ()* %0, void ()** %2
   8   %3 = load void ()*, void ()** %2
   9   ; CHECK: call {{.*}}, !prof ![[PROF:[0-9]+]]
  10   call void %3(), !dbg !4
  11   ret void
  12 }
  13
  14 ; CHECK-LABEL: @test_inline
  15 ; If the indirect call is promoted and inlined in profile, we should promote and inline it.
  16 define void @test_inline(i64* (i32*)*, i32* %x) !dbg !6 {
  17   %2 = alloca i64* (i32*)*
  18   store i64* (i32*)* %0, i64* (i32*)** %2
  19   %3 = load i64* (i32*)*, i64* (i32*)** %2
  20 ; CHECK: icmp {{.*}} @foo_inline2
  21 ; CHECK: br {{.*}} !prof ![[BR1:[0-9]+]]
  22 ; CHECK: if.true.direct_targ:
  23 ; CHECK-NOT: call
  24 ; CHECK: if.false.orig_indirect:
  25 ; CHECK: icmp {{.*}} @foo_inline1
  26 ; CHECK: br {{.*}} !prof ![[BR2:[0-9]+]]
  27 ; CHECK: if.true.direct_targ1:
  28 ; CHECK-NOT: call
  29 ; CHECK: if.false.orig_indirect2:
  30 ; CHECK: call {{.*}} !prof ![[VP:[0-9]+]]
  31   call i64* %3(i32* %x), !dbg !7
  32   ret void
  33 }
  34
  35 ; CHECK-LABEL: @test_inline_strip
  36 ; If the indirect call is promoted and inlined in profile, and the callee name
  37 ; is stripped we should promote and inline it.
  38 define void @test_inline_strip(i64* (i32*)*, i32* %x) !dbg !8 {
  39   %2 = alloca i64* (i32*)*
  40   store i64* (i32*)* %0, i64* (i32*)** %2
  41   %3 = load i64* (i32*)*, i64* (i32*)** %2
  42 ; CHECK: icmp {{.*}} @foo_inline_strip.suffix
  43 ; CHECK: if.true.direct_targ:
  44 ; CHECK-NOT: call
  45 ; CHECK: if.false.orig_indirect:
  46 ; CHECK: call
  47   call i64* %3(i32* %x), !dbg !9
  48   ret void
  49 }
  50
  51 ; CHECK-LABEL: @test_inline_strip_conflict
  52 ; If the indirect call is promoted and inlined in profile, and the callee name
  53 ; is stripped, but have more than 1 potential match, we should not promote.
  54 define void @test_inline_strip_conflict(i64* (i32*)*, i32* %x) !dbg !10 {
  55   %2 = alloca i64* (i32*)*
  56   store i64* (i32*)* %0, i64* (i32*)** %2
  57   %3 = load i64* (i32*)*, i64* (i32*)** %2
  58 ; CHECK-NOT: if.true.direct_targ:
  59   call i64* %3(i32* %x), !dbg !11
  60   ret void
  61 }
  62
  63 ; CHECK-LABEL: @test_noinline
  64 ; If the indirect call target is not available, we should not promote it.
  65 define void @test_noinline(void ()*) !dbg !12 {
  66   %2 = alloca void ()*
  67   store void ()* %0, void ()** %2
  68   %3 = load void ()*, void ()** %2
  69 ; CHECK-NOT: icmp
  70 ; CHECK: call
  71   call void %3(), !dbg !13
  72   ret void
  73 }
  74
  75 ; CHECK-LABEL: @test_noinline_bitcast
  76 ; If the indirect call has been promoted to a direct call with bitcast,
  77 ; do not inline it.
  78 define float @test_noinline_bitcast(float ()*) !dbg !26 {
  79   %2 = alloca float ()*
  80   store float ()* %0, float ()** %2
  81 ; CHECK: icmp
  82 ; CHECK: call
  83   %3 = load float ()*, float ()** %2
  84   %4 = call float %3(), !dbg !27
  85   ret float %4
  86 }
  87
  88 ; CHECK-LABEL: @test_norecursive_inline
  89 ; If the indirect call target is the caller, we should not promote it.
  90 define void @test_norecursive_inline() !dbg !24 {
  91 ; CHECK-NOT: icmp
  92 ; CHECK: call
  93   %1 = load void ()*, void ()** @y, align 8
  94   call void %1(), !dbg !25
  95   ret void
  96 }
  97
  98 define i32* @return_arg(i32* readnone returned) !dbg !29{
  99   ret i32* %0
 100 }
 101
 102 ; CHECK-LABEL: @return_arg_caller
 103 ; When the promoted indirect call returns a parameter that was defined by the
 104 ; return value of a previous direct call. Checks both direct call and promoted
 105 ; indirect call are inlined.
 106 define i32* @return_arg_caller(i32* (i32*)* nocapture) !dbg !30{
 107 ; CHECK-NOT: call i32* @foo_inline1
 108 ; CHECK: if.true.direct_targ:
 109 ; CHECK-NOT: call
 110 ; CHECK: if.false.orig_indirect:
 111 ; CHECK: call
 112   %2 = call i32* @foo_inline1(i32* null), !dbg !31
 113   %cmp = icmp ne i32* %2, null
 114   br i1 %cmp, label %then, label %else
 115
 116 then:
 117   %3 = tail call i32* %0(i32* %2), !dbg !32
 118   ret i32* %3
 119
 120 else:
 121   ret i32* null
 122 }
 123
 124 @x = global i32 0, align 4
 125 @y = global void ()* null, align 8
 126
 127 define i32* @foo_inline1(i32* %x) !dbg !14 {
 128   ret i32* %x
 129 }
 130
 131 define i32* @foo_inline_strip.suffix(i32* %x) !dbg !15 {
 132   ret i32* %x
 133 }
 134
 135 define i32* @foo_inline_strip_conflict.suffix1(i32* %x) !dbg !16 {
 136   ret i32* %x
 137 }
 138
 139 define i32* @foo_inline_strip_conflict.suffix2(i32* %x) !dbg !17 {
 140   ret i32* %x
 141 }
 142
 143 define i32* @foo_inline_strip_conflict.suffix3(i32* %x) !dbg !18 {
 144   ret i32* %x
 145 }
 146
 147 define i32* @foo_inline2(i32* %x) !dbg !19 {
 148   ret i32* %x
 149 }
 150
 151 define i32 @foo_noinline(i32 %x) !dbg !20 {
 152   ret i32 %x
 153 }
 154
 155 define void @foo_direct() !dbg !21 {
 156   ret void
 157 }
 158
 159 define i32 @foo_direct_i32() !dbg !28 {
 160   ret i32 0;
 161 }
 162
 163 ; CHECK-LABEL: @test_direct
 164 ; We should not promote a direct call.
 165 define void @test_direct() !dbg !22 {
 166 ; CHECK-NOT: icmp
 167 ; CHECK: call
 168   call void @foo_alias(), !dbg !23
 169   ret void
 170 }
 171
 172 @foo_alias = alias void (), void ()* @foo_direct
 173
 174 !llvm.dbg.cu = !{!0}
 175 !llvm.module.flags = !{!2}
 176
 177 !0 = distinct !DICompileUnit(language: DW_LANG_C_plus_plus, file: !1)
 178 !1 = !DIFile(filename: "test.cc", directory: "/")
 179 !2 = !{i32 2, !"Debug Info Version", i32 3}
 180 !3 = distinct !DISubprogram(name: "test", scope: !1, file: !1, line: 3, unit: !0)
 181 !4 = !DILocation(line: 4, scope: !3)
 182 !5 = !DILocation(line: 6, scope: !3)
 183 ; CHECK: ![[PROF]] = !{!"VP", i32 0, i64 3457, i64 9191153033785521275, i64 2059, i64 -1069303473483922844, i64 1398}
 184 ; CHECK: ![[BR1]] = !{!"branch_weights", i32 4000, i32 4000}
 185 ; CHECK: ![[BR2]] = !{!"branch_weights", i32 3000, i32 1000}
 186 ; CHECK: ![[VP]] = !{!"VP", i32 0, i64 8000, i64 -6391416044382067764, i64 1000}
 187 !6 = distinct !DISubprogram(name: "test_inline", scope: !1, file: !1, line: 6, unit: !0)
 188 !7 = !DILocation(line: 7, scope: !6)
 189 !8 = distinct !DISubprogram(name: "test_inline_strip", scope: !1, file: !1, line: 8, unit: !0)
 190 !9 = !DILocation(line: 9, scope: !8)
 191 !10 = distinct !DISubprogram(name: "test_inline_strip_conflict", scope: !1, file: !1, line: 10, unit: !0)
 192 !11 = !DILocation(line: 11, scope: !10)
 193 !12 = distinct !DISubprogram(name: "test_noinline", scope: !1, file: !1, line: 12, unit: !0)
 194 !13 = !DILocation(line: 13, scope: !12)
 195 !14 = distinct !DISubprogram(name: "foo_inline1", scope: !1, file: !1, line: 11, unit: !0)
 196 !15 = distinct !DISubprogram(name: "foo_inline_strip.suffix", scope: !1, file: !1, line: 1, unit: !0)
 197 !16 = distinct !DISubprogram(name: "foo_inline_strip_conflict.suffix1", scope: !1, file: !1, line: 1, unit: !0)
 198 !17 = distinct !DISubprogram(name: "foo_inline_strip_conflict.suffix2", scope: !1, file: !1, line: 1, unit: !0)
 199 !18 = distinct !DISubprogram(name: "foo_inline_strip_conflict.suffix3", scope: !1, file: !1, line: 1, unit: !0)
 200 !19 = distinct !DISubprogram(name: "foo_inline2", scope: !1, file: !1, line: 19, unit: !0)
 201 !20 = distinct !DISubprogram(name: "foo_noinline", scope: !1, file: !1, line: 20, unit: !0)
 202 !21 = distinct !DISubprogram(name: "foo_direct", scope: !1, file: !1, line: 21, unit: !0)
 203 !22 = distinct !DISubprogram(name: "test_direct", scope: !1, file: !1, line: 22, unit: !0)
 204 !23 = !DILocation(line: 23, scope: !22)
 205 !24 = distinct !DISubprogram(name: "test_norecursive_inline", scope: !1, file: !1, line: 12, unit: !0)
 206 !25 = !DILocation(line: 13, scope: !24)
 207 !26 = distinct !DISubprogram(name: "test_noinline_bitcast", scope: !1, file: !1, line: 12, unit: !0)
 208 !27 = !DILocation(line: 13, scope: !26)
 209 !28 = distinct !DISubprogram(name: "foo_direct_i32", scope: !1, file: !1, line: 11, unit: !0)
 210 !29 = distinct !DISubprogram(name: "return_arg", scope: !1, file: !1, line: 11, unit: !0)
 211 !30 = distinct !DISubprogram(name: "return_arg_caller", scope: !1, file: !1, line: 11, unit: !0)
 212 !31 = !DILocation(line: 12, scope: !30)
 213 !32 = !DILocation(line: 13, scope: !30)