testsuite/runtest.main/stats.exp

   1 # Copyright (C) 1995-2016, 2018, 2020, 2022 Free Software Foundation, Inc.
   2 #
   3 # This file is part of DejaGnu.
   4 #
   5 # DejaGnu is free software; you can redistribute it and/or modify it
   6 # under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation; either version 3 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # DejaGnu is distributed in the hope that it will be useful, but
  11 # WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 # General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with DejaGnu; if not, write to the Free Software Foundation,
  17 # Inc., 51 Franklin Street - Fifth Floor, Boston, MA 02110-1301, USA.
  18
  19 # This file tests pass/fail/etc.
  20 # The way we do this is to recursively invoke ourselves on a small testsuite
  21 # and analyze the results.
  22
  23 load_lib util-defs.exp
  24
  25 runtest_setup_nested_testsuite
  26
  27 set tests {
  28     { stats 0 0 pass "expected passes\[ \t\]+1\n" }
  29     { stats 0 0 fail "unexpected failures\[ \t\]+1\n" }
  30     { stats 0 0 xpass "unexpected successes\[ \t\]+1\n" }
  31     { stats 0 0 xfail "expected failures\[ \t\]+1\n" }
  32     { stats 0 0 kpass "unknown successes\[ \t\]+1\n" }
  33     { stats 0 0 kfail "known failures\[ \t\]+1\n" }
  34     { stats 0 0 untested "untested testcases\[ \t\]+1\n" }
  35     { stats 0 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  36     { stats 0 0 unsupported "unsupported tests\[ \t\]+1\n" }
  37
  38     { stats 1 0 pass "unresolved testcases\[ \t\]+1\n" }
  39     { stats 1 0 fail "unresolved testcases\[ \t\]+1\n" }
  40     { stats 1 0 xpass "unresolved testcases\[ \t\]+1\n" }
  41     { stats 1 0 xfail "unresolved testcases\[ \t\]+1\n" }
  42     { stats 1 0 kpass "unresolved testcases\[ \t\]+1\n" }
  43     { stats 1 0 kfail "unresolved testcases\[ \t\]+1\n" }
  44     { stats 1 0 untested "unresolved testcases\[ \t\]+1\n" }
  45     { stats 1 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  46     { stats 1 0 unsupported "unresolved testcases\[ \t\]+1\n" }
  47
  48     { stats 0 4 pass "unresolved testcases\[ \t\]+1\n" }
  49     { stats 0 4 fail "unresolved testcases\[ \t\]+1\n" }
  50     { stats 0 4 xpass "unresolved testcases\[ \t\]+1\n" }
  51     { stats 0 4 xfail "unresolved testcases\[ \t\]+1\n" }
  52     { stats 0 4 kpass "unresolved testcases\[ \t\]+1\n" }
  53     { stats 0 4 kfail "unresolved testcases\[ \t\]+1\n" }
  54     { stats 0 4 untested "unresolved testcases\[ \t\]+1\n" }
  55     { stats 0 4 unresolved "unresolved testcases\[ \t\]+1\n" }
  56     { stats 0 4 unsupported "unresolved testcases\[ \t\]+1\n" }
  57
  58     { unit 0 0 pass "expected passes\[ \t\]+1\n" }
  59     { unit 0 0 fail "unexpected failures\[ \t\]+1\n" }
  60     { unit 0 0 xpass "unexpected successes\[ \t\]+1\n" }
  61     { unit 0 0 xfail "expected failures\[ \t\]+1\n" }
  62     { unit 0 0 untested "untested testcases\[ \t\]+1\n" }
  63     { unit 0 0 unresolved "unresolved testcases\[ \t\]+1\n" }
  64     { unit 0 0 unsupported "unsupported tests\[ \t\]+1\n" }
  65 }
  66
  67 foreach t $tests {
  68     if { [util_test $RUNTEST \
  69             "--local_init nested-init.exp --tool stat\
  70                 ERROR_COUNT=[lindex $t 1] WARNING_COUNT=[lindex $t 2]\
  71                 STATS_TEST=[lindex $t 3] [lindex $t 0]-sub.exp" \
  72             "" \
  73             [lindex $t 2]] } {
  74         fail [join [lrange $t 0 3] /]
  75         runtest_copy_nested_testsuite_log stat
  76     } else {
  77         pass [join [lrange $t 0 3] /]
  78     }
  79 }
  80
  81 runtest_cleanup_nested_testsuite