testsuite/runtest.main/stats.exp

   1 # Copyright (C) 1995-2016, 2018, 2020, 2022 Free Software Foundation, Inc.
   2 #
   3 # This file is part of DejaGnu.
   4 #
   5 # DejaGnu is free software: you can redistribute it and/or modify it
   6 # under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation, either version 3 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # DejaGnu is distributed in the hope that it will be useful, but
  11 # WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 # General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with DejaGnu.  If not, see <http://www.gnu.org/licenses/>.
  17
  18 # This file tests pass/fail/etc.
  19 # The way we do this is to recursively invoke ourselves on a small testsuite
  20 # and analyze the results.
  21
  22 load_lib util-defs.exp
  23
  24 runtest_setup_nested_testsuite
  25
  26 set tests {
  27     { stats 0 0 pass "expected passes\[ \t\]+1\n" }
  28     { stats 0 0 fail "unexpected failures\[ \t\]+1\n" }
  29     { stats 0 0 xpass "unexpected successes\[ \t\]+1\n" }
  30     { stats 0 0 xfail "expected failures\[ \t\]+1\n" }
  31     { stats 0 0 kpass "unknown successes\[ \t\]+1\n" }
  32     { stats 0 0 kfail "known failures\[ \t\]+1\n" }
  33     { stats 0 0 untested "untested testcases\[ \t\]+1\n" }
  34     { stats 0 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  35     { stats 0 0 unsupported "unsupported tests\[ \t\]+1\n" }
  36
  37     { stats 1 0 pass "unresolved testcases\[ \t\]+1\n" }
  38     { stats 1 0 fail "unresolved testcases\[ \t\]+1\n" }
  39     { stats 1 0 xpass "unresolved testcases\[ \t\]+1\n" }
  40     { stats 1 0 xfail "unresolved testcases\[ \t\]+1\n" }
  41     { stats 1 0 kpass "unresolved testcases\[ \t\]+1\n" }
  42     { stats 1 0 kfail "unresolved testcases\[ \t\]+1\n" }
  43     { stats 1 0 untested "unresolved testcases\[ \t\]+1\n" }
  44     { stats 1 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  45     { stats 1 0 unsupported "unresolved testcases\[ \t\]+1\n" }
  46
  47     { stats 0 4 pass "unresolved testcases\[ \t\]+1\n" }
  48     { stats 0 4 fail "unresolved testcases\[ \t\]+1\n" }
  49     { stats 0 4 xpass "unresolved testcases\[ \t\]+1\n" }
  50     { stats 0 4 xfail "unresolved testcases\[ \t\]+1\n" }
  51     { stats 0 4 kpass "unresolved testcases\[ \t\]+1\n" }
  52     { stats 0 4 kfail "unresolved testcases\[ \t\]+1\n" }
  53     { stats 0 4 untested "unresolved testcases\[ \t\]+1\n" }
  54     { stats 0 4 unresolved "unresolved testcases\[ \t\]+1\n" }
  55     { stats 0 4 unsupported "unresolved testcases\[ \t\]+1\n" }
  56
  57     { unit 0 0 pass "expected passes\[ \t\]+1\n" }
  58     { unit 0 0 fail "unexpected failures\[ \t\]+1\n" }
  59     { unit 0 0 xpass "unexpected successes\[ \t\]+1\n" }
  60     { unit 0 0 xfail "expected failures\[ \t\]+1\n" }
  61     { unit 0 0 untested "untested testcases\[ \t\]+1\n" }
  62     { unit 0 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  63     { unit 0 0 unsupported "unsupported tests\[ \t\]+1\n" }
  64
  65     { unit 1 0 pass "unresolved testcases\[ \t\]+1\n" }
  66     { unit 1 0 fail "unresolved testcases\[ \t\]+1\n" }
  67     { unit 1 0 xpass "unresolved testcases\[ \t\]+1\n" }
  68     { unit 1 0 xfail "unresolved testcases\[ \t\]+1\n" }
  69     { unit 1 0 kpass "unresolved testcases\[ \t\]+1\n" }
  70     { unit 1 0 kfail "unresolved testcases\[ \t\]+1\n" }
  71     { unit 1 0 untested "unresolved testcases\[ \t\]+1\n" }
  72     { unit 1 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  73     { unit 1 0 unsupported "unresolved testcases\[ \t\]+1\n" }
  74
  75     { unit 0 4 pass "unresolved testcases\[ \t\]+1\n" }
  76     { unit 0 4 fail "unresolved testcases\[ \t\]+1\n" }
  77     { unit 0 4 xpass "unresolved testcases\[ \t\]+1\n" }
  78     { unit 0 4 xfail "unresolved testcases\[ \t\]+1\n" }
  79     { unit 0 4 kpass "unresolved testcases\[ \t\]+1\n" }
  80     { unit 0 4 kfail "unresolved testcases\[ \t\]+1\n" }
  81     { unit 0 4 untested "unresolved testcases\[ \t\]+1\n" }
  82     { unit 0 4 unresolved "unresolved testcases\[ \t\]+1\n" }
  83     { unit 0 4 unsupported "unresolved testcases\[ \t\]+1\n" }
  84 }
  85
  86 foreach t $tests {
  87     if { [util_test $RUNTEST \
  88             "--local_init nested-init.exp --tool stat\
  89                 ERROR_COUNT=[lindex $t 1] WARNING_COUNT=[lindex $t 2]\
  90                 STATS_TEST=[lindex $t 3] [lindex $t 0]-sub.exp" \
  91             "" \
  92             [lindex $t 2]] } {
  93         fail [join [lrange $t 0 3] /]
  94         runtest_copy_nested_testsuite_log stat
  95     } else {
  96         pass [join [lrange $t 0 3] /]
  97     }
  98 }
  99
 100 runtest_cleanup_nested_testsuite