external/bsd/atf/dist/NEWS

   1    Major changes in ATF releases
   2
   3    By Julio Merino, The NetBSD Foundation
   4
   5                                     Contents
   6
   7     1. Changes in version 0.7
   8
   9     2. Changes in version 0.6
  10
  11     3. Changes in version 0.5
  12
  13     4. Changes in version 0.4
  14
  15     5. Changes in version 0.3
  16
  17     6. Changes in version 0.2
  18
  19     7. Changes in version 0.1
  20
  21                              Changes in version 0.7
  22
  23    Experimental version released on December 22nd, 2009.
  24
  25      * Added build-time checks to atf-c and atf-c++. A binding for atf-sh
  26        will come later.
  27
  28      * Migrated all build-time checks for header files to proper ATF tests.
  29        This demonstrates the use of the new feature described above.
  30
  31      * Added an internal API for child process management.
  32
  33      * Converted all plain-text distribution documents to a Docbook canonical
  34        version, and include pre-generated plain text and HTML copies in the
  35        distribution file.
  36
  37      * Simplified the contents of the Makefile.am by regenerating it from a
  38        canonical Makefile.am.m4 source. As a side-effect, some dependency
  39        specifications were fixed.
  40
  41      * Migrated all checks from the check target to installcheck, as these
  42        require ATF to be installed.
  43
  44      * Fixed sign comparison mismatches triggered by the now-enabled
  45        -Wsign-compare.
  46
  47      * Fixed many memory and object leaks.
  48
  49                              Changes in version 0.6
  50
  51    Experimental version released on January 18th, 2009.
  52
  53      * Make atf-exec be able to kill its child process after a certain period
  54        of time; this is controlled through the new -t option.
  55
  56      * Change atf-sh to use atf-exec's -t option to control the test case's
  57        timeouts, instead of doing it internally. Same behavior as before, but
  58        noticeably faster.
  59
  60      * atf-exec's -g option and atf-killpg are gone due to the previous
  61        change.
  62
  63      * Added the atf-check(1) tool, a program that executes a given command
  64        and checks its exit code against a known value and allows the
  65        management of stdout and stderr in multiple ways. This replaces the
  66        previous atf_check function in the atf-sh library and exposes this
  67        functionality to both atf-c and atf-c++.
  68
  69      * Added the ATF_REQUIRE family of macros to the C interface. These help
  70        in checking for fatal test conditions. The old ATF_CHECK macros now
  71        perform non-fatal checks only. I.e. by using ATF_CHECK, the test case
  72        can now continue its execution and the failures will not be reported
  73        until the end of the whole run.
  74
  75      * Extended the amount of ATF_CHECK_* C macros with new ones to provide
  76        more features to the developer. These also have their corresponding
  77        counterparts in the ATF_REQUIRE_* family. The new macros (listing the
  78        suffixes only) are: _EQ (replaces _EQUAL), _EQ_MSG, _STREQ and
  79        _STREQ_MSG.
  80
  81                              Changes in version 0.5
  82
  83    Experimental version released on May 1st, 2008.
  84
  85      * Clauses 3 and 4 of the BSD license used by the project were dropped.
  86        All the code is now under a 2-clause BSD license compatible with the
  87        GNU General Public License (GPL).
  88
  89      * Added a C-only binding so that binary test programs do not need to be
  90        tied to C++ at all. This binding is now known as the atf-c library.
  91
  92      * Renamed the C++ binding to atf-c++ for consistency with the new atf-c.
  93
  94      * Renamed the POSIX shell binding to atf-sh for consistency with the new
  95        atf-c and atf-c++.
  96
  97      * Added a -w flag to test programs through which it is possible to
  98        specify the work directory to be used. This was possible in prior
  99        releases by defining the workdir configuration variable (-v
 100        workdir=...), but was a conceptually incorrect mechanism.
 101
 102      * Test programs now preserve the execution order of test cases when they
 103        are given in the command line. Even those mentioned more than once are
 104        executed multiple times to comply with the user's requests.
 105
 106                              Changes in version 0.4
 107
 108    Experimental version released on February 4th, 2008.
 109
 110      * Added two new manual pages, atf-c++-api and atf-sh-api, describing the
 111        C++ and POSIX shell interfaces used to write test programs.
 112
 113      * Added a pkg-config file, useful to get the flags to build against the
 114        C++ library or to easily detect the presence of ATF.
 115
 116      * Added a way for test cases to require a specific architecture and/or
 117        machine type through the new 'require.arch' and 'require.machine'
 118        meta-data properties, respectively.
 119
 120      * Added the 'timeout' property to test cases, useful to set an
 121        upper-bound limit for the test's run time and thus prevent global test
 122        program stalls due to the test case's misbehavior.
 123
 124      * Added the atf-exec(1) internal utility, used to execute a command
 125        after changing the process group it belongs to.
 126
 127      * Added the atf-killpg(1) internal utility, used to kill process groups.
 128
 129      * Multiple portability fixes. Of special interest, full support for
 130        SunOS (Solaris Express Developer Edition 2007/09) using the Sun Studio
 131        12 C++ compiler.
 132
 133      * Fixed a serious bug that prevented atf-run(1) from working at all
 134        under Fedora 8 x86_64. Due to the nature of the bug, other platforms
 135        were likely affected too.
 136
 137                              Changes in version 0.3
 138
 139    Experimental version released on November 11th, 2007.
 140
 141      * Added XML output support to atf-report. This is accompanied by a DTD
 142        for the format's structure and sample XSLT/CSS files to post-process
 143        this output and convert it to a plain HTML report.
 144
 145      * Changed atf-run to add system information to the report it generates.
 146        This is currently used by atf-report's XML output only, and is later
 147        printed in the HTML reports in a nice and useful summary table. The
 148        user and system administrator are allowed to tune this feature by
 149        means of hooks.
 150
 151      * Removed the test cases' 'isolated' property. This was intended to
 152        avoid touching the file system at all when running the related test
 153        case, but this has not been true for a long while: some control files
 154        are unconditionally required for several purposes, and we cannot
 155        easily get rid of them. This way we remove several critical and
 156        delicate pieces of code.
 157
 158      * Improved atf-report's CSV output format to include information about
 159        test programs too.
 160
 161      * Fixed the tests that used atf-compile to not require this tool as a
 162        helper. Avoids systems without build-time utilities to skip many tests
 163        that could otherwise be run. (E.g. NetBSD without the comp.tgz set
 164        installed.)
 165
 166      * Many general cleanups: Fixed many pieces of code marked as ugly and/or
 167        incomplete.
 168
 169                              Changes in version 0.2
 170
 171    Experimental version released on September 20th, 2007.
 172
 173      * Test cases now get a known umask on entry.
 174
 175      * atf-run now detects many unexpected failures caused by test programs
 176        and reports them as bogus tests. atf-report is able to handle these
 177        new errors and nicely reports them to the user.
 178
 179      * All the data formats read and written by the tools have been
 180        documented and cleaned up. These include those grammars that define
 181        how the different components communicate with each other as well as
 182        the format of files written by the developers and users: the Atffiles
 183        and the configuration files.
 184
 185      * Added the atf-version tool, a utility that displays information about
 186        the currently installed version of ATF.
 187
 188      * Test cases can now define an optional cleanup routine to undo their
 189        actions regardless of their exit status.
 190
 191      * atf-report now summarizes the list of failed (bogus) test programs
 192        when using the ticker output format.
 193
 194      * Test programs now capture some termination signals and clean up any
 195        temporary files before exiting the program.
 196
 197      * Multiple bug fixes and improvements all around.
 198
 199                              Changes in version 0.1
 200
 201    Experimental version released on August 20th, 2007.
 202
 203      * First public version. This was released coinciding with the end of the
 204        Google Summer of Code 2007 program.