Add option to stop immediately at Tcl errors and continue by default
[dejagnu.git] / NEWS
blobdcb731f13a0d80dcfa95aa2bdb02fb6b73876dbf
1 -*- text -*-
3 Changes since 1.6.2:
5 1. The internal proc 'is_remote' has been renamed to 'isremote' for
6    consistency with the other similar procs (eg, istarget). Testsuites
7    should use this proc. The 'is_remote' proc is deprecated.
8 2. runtest now accepts --local_init and --global_init options to override
9    the default of reading "site.exp".  See the manual for details.
10 X. runtest now responds consistently to all Tcl errors and generates an
11    UNRESOLVED result when a test script aborts.  Previously, calling an
12    undefined procedure would cause the test run to abort while other Tcl
13    errors produced only an easily-ignored message.
14 X. runtest now accepts a --keep_going option to continue with other test
15    scripts after a test script fails with a Tcl error.  If you have
16    automated systems that run tests and need to carry on after Tcl errors,
17    now is the time to add this option to your configuration.
18 X. runtest now accepts a --no_keep_going option to stop immediately when a
19    test script aborts.  This is planned to become the default in 1.7.
20 3. A utility procedure relative_filename has been added.  This procedure
21    computes a relative file name to a given destination from a given base.
22 4. The utility procedure 'grep' now accepts a '-n' option that
23    includes line numbers in the output, consistent with GNU grep.
24 5. A new multiplex procedure "testsuite" is added for commands
25    retrieving or providing information about the current testsuite.
26 6. A command "testsuite file" is added to replace the use of the
27    "*dir" variables in test scripts.
28 7. A shell command "dejagnu" is added as a place to hang various
29    auxiliary commands not directly involved with running tests. The
30    "runtest" command will remain for that purpose for the foreseeable
31    future.
32 8. The first auxiliary command is added: "report card". The "dejagnu
33    report card" command reads DejaGnu summary files and produces a
34    compact tabular summary across multiple tools.
35 9. A Tcl namespace is now used for some internal procedures and variables.
36    The Tcl namespace ::dejagnu and all child namespaces are entirely
37    internal and should not be mentioned in testsuite code.  Its contents
38    are subject to change without notice, even on point releases.
40 Changes since 1.6.1:
42 1. runtest will abort if $DEJAGNU is defined but the file is not
43    found.
45 Changes since 1.6:
47 Minor bug fixes, no major changes.
49 Changes since 1.5.3:
51 1. Proper support for target communication via SSH has been added.
52 2. A large number of very old config and baseboard files have been
53    removed.  If you need to resurrect these, you can get them from
54    version 1.5.3.  If you can show that a board is still in use, it
55    can be put back in the distribution.
56 3. The --status command line option is now the default. This means
57    that any error in the testsuite Tcl scripts will cause runtest to
58    abort with exit status code 2.  The --status option has been
59    removed from the documentation, but will continue to be accepted
60    for backward compatibility.
61 4. runtest now exits with exit code 0 if the testsuite "passed", 1 if
62    something unexpected happened (eg, FAIL, XPASS or UNRESOLVED), and
63    2 if an exception is raised by the Tcl interpreter.
64 5. runtest now exits with the standard exit codes of programs that are
65    terminated by the SIGINT, SIGTERM and SIGQUIT signals.
66 6. The user-visible utility procedures `absolute', `psource' and
67    `slay' have been removed.  If a testsuite uses any of these
68    procedures, a copy of the procedure should be made and placed in
69    the lib directory of the testsuite.
70 7. Support was added for testing the D compiler.
71 8. ~/.dejagnurc is now loaded last, not first. This allows the user to
72    have the ability to override anything in their environment (even
73    the site.exp file specified by $DEJAGNU).
74 9. The user-visible utility procedure `unsetenv' is deprecated and
75    will be removed in the next release.  If a testsuite uses any of
76    these procedures, a copy of the procedure should be made and placed
77    in the lib directory of the testsuite.
79 Changes since 1.4.4:
81 1. The runtest.1 man page has been brought up to date.
82 2. The Docbook/SGML documentation files were removed in favour of the
83    Docbook/XML documentation.  The Texinfo source for the Info pages is
84    now automatically generated from the Docbook source.
85 3. The Makefile structure has been substantially simplified.  There
86    is now a single top-level Makefile.am.  The use of recursive make
87    has been eliminated.
88 4. lib/mondfe.exp and lib/xsh.exp have been removed.  Users requiring
89    these communication modes can still use the DejaGnu 1.4 branch or
90    can contact dejagnu@gnu.org to discuss reinstating these files.
91 5. The configure script now ensures that Expect is installed and that
92    it is linked against Tcl 8.3 or greater.
93 6. The runtest program now gracefully handles the possibility of the
94    expect binary vanishing after DejaGnu has been installed (for
95    example, by the user altering their PATH).
96 7. The user-visible utility procedures `absolute', `prune', `psource'
97    and `slay' are deprecated and will be removed in the next release.
98    If a testsuite uses any of these procedures, a copy of the
99    procedure should be made and placed in the lib directory of the
100    testsuite.
102 Changes since 1.4.2:
104 1. New XML output option, so test results can be loaded into a database.
105 2. Support for the KFAIL/KPASS (known failures).
106 3. New "Hello World" example.
107 4. New tutorial chapter.
108 5. Test cases build with either GCC 2.x or 3.x.
109 6. BlueGnu has been removed from the contrib directory.
110 7. The contrib/test* scipts were bitrotten and have been removed.  If
111    you still want copies of these, they can be found in the previous
112    DejaGnu release.
113 8. i960glue.c has been removed.
115 Changes since 1.4.1:
117 1. Various patches for bugs reported from net users.
118 2. Test case builds with either libstdc++-v3 (as used by GCC 3.0.x) or
119    the older v2 (as used by GCC 2.95.x).
121 Changes since 1.4.0:
123 1. There is new support for a simple unit testing API, that is also
124    useful for embedded testing.
126 Changes since 1.3:
128 1. DejaGnu is now back under active maintainance. The initial work has
129    been rewriting the manual to bring it up to date, and switching to
130    SGML.
131 2. NT support has also been added.
132 3. DejaGnu now uses Automake.
134 Changes since 1.1.1:
136 1. Works with (included in release) Tcl 7.3 and Expect 5.6.
137 2. Much better error trapping and handling, including the execution of
138    sub scripts.
139 3. Re-worked configuration subsystem.
140 4. Default handling for testing unknown targets.
141 5. New testsuite for expect and runtest.
142 6. More debugging procedures.
144 Changes since 1.0:
146 1. DejaGnu now conforms to POSIX 1003.3, a standard for testing frameworks.
147 2. A Tcl debugger written by Don Libes has been added.
148 3. Lots of bug fixes.
150 Changes since 0.9:
152 1. DejaGnu now installs itself like other utilities.
153 2. 700 G++ tests are included.
154 3. The bugs in the GCC tests have been fixed.
155 4. Testsuites are released separately.
156 5. Testsuite sources now reside with the within each tool's source tree.