Remove building with NOCRYPTO option
[minix.git] / external / bsd / bind / dist / unit / atf-src / NEWS
blob5d05a28579bb0ec7f876eeb988fbcb420bd6cdb0
1 Major changes between releases                  Automated Testing Framework
2 ===========================================================================
5 Changes in version 0.17
6 ***********************
8 Experimental version released on February 14th, 2013.
10 * Added the atf_utils_cat_file, atf_utils_compare_file,
11   atf_utils_copy_file, atf_utils_create_file, atf_utils_file_exists,
12   atf_utils_fork, atf_utils_grep_file, atf_utils_grep_string,
13   atf_utils_readline, atf_utils_redirect and atf_utils_wait utility
14   functions to atf-c-api.  Documented the already-public
15   atf_utils_free_charpp function.
17 * Added the cat_file, compare_file, copy_file, create_file, file_exists,
18   fork, grep_collection, grep_file, grep_string, redirect and wait
19   functions to the atf::utils namespace of atf-c++-api.  These are
20   wrappers around the same functions added to the atf-c-api library.
22 * Added the ATF_CHECK_MATCH, ATF_CHECK_MATCH_MSG, ATF_REQUIRE_MATCH and
23   ATF_REQUIRE_MATCH_MSG macros to atf-c to simplify the validation of a
24   string against a regular expression.
26 * Miscellaneous fixes for manpage typos and compilation problems with
27   clang.
29 * Added caching of the results of those configure tests that rely on
30   executing a test program.  This should help crossbuild systems by
31   providing a mechanism to pre-specify what the results should be.
33 * PR bin/45690: Make atf-report convert any non-printable characters to
34   a plain-text representation (matching their corresponding hexadecimal
35   entities) in XML output files.  This is to prevent the output of test
36   cases from breaking xsltproc later.
39 Changes in version 0.16
40 ***********************
42 Experimental version released on July 10th, 2012.
44 * Added a --enable-tools flag to configure to request the build of the
45   deprecated ATF tools, whose build is now disabled by default.  In order
46   to continue running tests, you should migrate to Kyua instead of enabling
47   the build of the deprecated tools.  The kyua-atf-compat package provides
48   transitional compatibility versions of atf-run and atf-report built on
49   top of Kyua.
51 * Tweaked the ATF_TEST_CASE macro of atf-c++ so that the compiler can
52   detect defined but unused test cases.
54 * PR bin/45859: Fixed some XSLT bugs that resulted in the tc-time and
55   tp-time XML tags leaking into the generated HTML file.  Also improved
56   the CSS file slightly to correct alignment and color issues with the
57   timestamps column.
59 * Optimized atf-c++/macros.hpp so that GNU G++ consumes less memory during
60   compilation with GNU G++.
62 * Flipped the default to building shared libraries for atf-c and atf-c++,
63   and started versioning them.  As a side-effect, this removes the
64   --enable-unstable-shared flag from configure that appears to not work any
65   more (under NetBSD).  Additionally, some distributions require the use of
66   shared libraries for proper dependency tracking (e.g. Fedora), so it is
67   better if we do the right versioning upstream.
69 * Project hosting moved from an adhoc solution (custom web site and
70   Monotone repository) to Google Code (standard wiki and Git).  ATF now
71   lives in a subcomponent of the Kyua project.
74 Changes in version 0.15
75 ***********************
77 Experimental version released on January 16th, 2012.
79 * Respect stdin in atf-check.  The previous release silenced stdin for any
80   processes spawned by atf, not only test programs, which caused breakage
81   in tests that pipe data through atf-check.
83 * Performance improvements to atf-sh.
85 * Enabled detection of unused parameters and variables in the code and
86   fixed all warnings.
88 * Changed the behavior of "developer mode".  Compiler warnings are now
89   enabled unconditionally regardless of whether we are in developer mode or
90   not; developer mode is now only used to perform strict warning checks and
91   to enable assertions.  Additionally, developer mode is now only
92   automatically enabled when building from the repository, not for formal
93   releases.
95 * Added new Autoconf M4 macros (ATF_ARG_WITH, ATF_CHECK_C and
96   ATF_CHECK_CXX) to provide a consistent way of defining a --with-arg flag
97   in configure scripts and detecting the presence of any of the ATF
98   bindings.  Note that ATF_CHECK_SH was already introduced in 0.14, but it
99   has now been modified to also honor --with-atf if instantiated.
101 * Added timing support to atf-run / atf-report.
103 * Added support for a 'require.memory' property, to specify the minimum
104   amount of physical memory needed by the test case to yield valid results.
106 * PR bin/45690: Force an ISO-8859-1 encoding in the XML files generated by
107   atf-report so that invalid data in the output of test cases does not
108   mangle our report.
111 Changes in version 0.14
112 ***********************
114 Experimental version released on June 14th, 2011.
116 * Added a pkg-config file for atf-sh and an aclocal file to ease the
117   detection of atf-sh from autoconf scripts.
119 * Made the default test case body defined by atf_sh fail.  This is to
120   ensure that test cases are properly defined in test programs and helps
121   in catching typos in the names of the body functions.
123 * PR bin/44882: Made atf-run connect the stdin of test cases to /dev/zero.
124   This provides more consistent results with "normal" execution (in
125   particular, when tests are executed detached from a terminal).
127 * Made atf-run hardcode TZ=UTC for test cases.  It used to undefine TZ, but
128   that does not take into account that libc determines the current timezone
129   from a configuration file.
131 * All test programs will now print a warning when they are not run through
132   atf-run(1) stating that this is unsupported and may deliver incorrect
133   results.
135 * Added support for the 'require.files' test-case property.  This allows
136   test cases to specify installed files that must be present for the test
137   case to run.
140 Changes in version 0.13
141 ***********************
143 Experimental version released on March 31st, 2011.
145 This is the first release after the creation of the Kyua project, a more
146 modular and reliable replacement for ATF.  From now on, ATF will change to
147 accomodate the transition to this new codebase, but ATF will still continue
148 to see development in the short/medium term.  Check out the project page at
149 http://code.google.com/p/kyua/ for more details.
151 The changes in this release are:
153 * Added support to run the tests with the Kyua runtime engine (kyua-cli), a
154   new package that aims to replace atf-run and atf-report.  The ATF tests
155   can be run with the new system by issuing a 'make installcheck-kyua' from
156   the top-level directory of the project (assuming the 'kyua' binary is
157   available during the configuration stage of ATF).
159 * atf-run and atf-report are now in maintenance mode (but *not* deprecated
160   yet!).  Kyua already implements a new, much more reliable runtime engine
161   that provides similar features to these tools.  That said, it is not
162   complete yet so all development efforts should go towards it.
164 * If GDB is installed, atf-run dumps the stack trace of crashing test
165   programs in an attempt to aid debugging.  Contributed by Antti Kantee.
167 * Reverted default timeout change in previous release and reset its value
168   to 5 minutes.  This was causing several issues, specially when running
169   the existing NetBSD test suite in qemu.
171 * Fixed the 'match' output checker in atf-check to properly validate the
172   last line of a file even if it does not have a newline.
174 * Added the ATF_REQUIRE_IN and ATF_REQUIRE_NOT_IN macros to atf-c++ to
175   check for the presence (or lack thereof) of an element in a collection.
177 * PR bin/44176: Fixed a race condition in atf-run that would crash atf-run
178   when the cleanup of a test case triggered asynchronous modifications to
179   its work directory (e.g. killing a daemon process that cleans up a pid
180   file in the work directory).
182 * PR bin/44301: Fixed the sample XSLT file to report bogus test programs
183   instead of just listing them as having 0 test cases.
186 Changes in version 0.12
187 ***********************
189 Experimental version released on November 7th, 2010.
191 * Added the ATF_REQUIRE_THROW_RE to atf-c++, which is the same as
192   ATF_REQUIRE_THROW but allows checking for the validity of the exception's
193   error message by means of a regular expression.
195 * Added the ATF_REQUIRE_MATCH to atf-c++, which allows checking for a
196   regular expression match in a string.
198 * Changed the default timeout for test cases from 5 minutes to 30 seconds.
199   30 seconds is long enough for virtually all tests to complete, and 5
200   minutes is a way too long pause in a test suite where a single test case
201   stalls.
203 * Deprecated the use.fs property.  While this seemed like a good idea in
204   the first place to impose more control on what test cases can do, it
205   turns out to be bad.  First, use.fs=false prevents bogus test cases
206   from dumping core so after-the-fact debugging is harder.  Second,
207   supporting use.fs adds a lot of unnecessary complexity.  atf-run will
208   now ignore any value provided to use.fs and will allow test cases to
209   freely access the file system if they wish to.
211 * Added the atf_tc_get_config_var_as_{bool,long}{,_wd} functions to the atf-c
212   library.  The 'text' module became private in 0.11 but was being used
213   externally to simplify the parsing of configuration variables.
215 * Made atf-run recognize the 'unprivileged-user' configuration variable
216   and automatically drop root privileges when a test case sets
217   require.user=unprivileged.  Note that this is, by no means, done for
218   security purposes; this is just for user convenience; tests should, in
219   general, not be blindly run as root in the first place.
222 Changes in version 0.11
223 ***********************
225 Experimental version released on October 20th, 2010.
227 * The ATF_CHECK* macros in atf-c++ were renamed to ATF_REQUIRE* to match
228   their counterparts in atf-c.
230 * Clearly separated the modules in atf-c that are supposed to be public
231   from those that are implementation details.  The header files for the
232   internal modules are not installed any more.
234 * Made the atf-check tool private.  It is only required by atf-sh and being
235   public has the danger of causing confusion.  Also, making it private
236   simplifies the public API of atf.
238 * Changed atf-sh to enable per-command error checking (set -e) by default.
239   This catches many cases in which a test case is broken but it is not
240   reported as such because execution continues.
242 * Fixed the XSTL and CSS stylesheets to support expected failures.
245 Changes in version 0.10
246 ***********************
248 Experimental version released on July 2nd, 2010.
250 Miscellaneous features
252 * Added expected failures support to test cases and atf-run.  These
253   include, for example, expected clean exits, expected reception of fatal
254   signals, expected timeouts and expected errors in condition checks.
255   These statuses can be used to denote test cases that are known to fail
256   due to a bug in the code they are testing.  atf-report reports these
257   tests separately but they do not count towards the failed test cases
258   amount.
260 * Added the ATF_CHECK_ERRNO and ATF_REQUIRE_ERRNO to the C library to
261   allow easy checking of call failures that update errno.
263 * Added the has.cleanup meta-data property to test caes that specifies
264   whether the test case has a cleanup routine or not; its value is
265   automatically set.  This property is read by atf-run to know if it has to
266   run the cleanup routine; skipping this run for every test case
267   significantly speeds up the run time of test suites.
269 * Reversed the order of the ATF_CHECK_THROW macro in the C++ binding to
270   take the expected exception as the first argument and the statement to
271   execute as the second argument.
273 Changes in atf-check
275 * Changed atf-check to support negating the status and output checks by
276   prefixing them with not- and added support to specify multiple checkers
277   for stdout and stderr, not only one.
279 * Added the match output checker to atf-check to look for regular
280   expressions in the stdout and stderr of commands.
282 * Modified the exit checks in atf-check to support checking for the
283   reception of signals.
285 Code simplifications and cleanups
287 * Removed usage messages from test programs to simplify the
288   implementation of every binding by a significant amount.  They just now
289   refer the user to the appropriate manual page and do not attempt to wrap
290   lines on terminal boundaries.  Test programs are not supposed to be run
291   by users directly so this minor interface regression is not important.
293 * Removed the atf-format internal utility, which is unused after the
294   change documented above.
296 * Removed the atf-cleanup internal utility.  It has been unused since the
297   test case isolation was moved to atf-run in 0.8
299 * Splitted the Makefile.am into smaller files for easier maintenance and
300   dropped the use of M4.  Only affects users building from the repository
301   sources.
303 * Intermixed tests with the source files in the source tree to provide
304   them more visibility and easier access.  The tests directory is gone from
305   the source tree and tests are now suffixed by _test, not prefixed by t_.
307 * Simplifications to the atf-c library: removed the io, tcr and ui
308   modules as they had become unnecessary after all simplifications
309   introduced since the 0.8 release.
311 * Removed the application/X-atf-tcr format introduced in 0.8 release.
312   Tests now print a much simplified format that is easy to parse and nicer
313   to read by end users.  As a side effect, the default for test cases is
314   now to print their results to stdout unless otherwise stated by providing
315   the -r flag.
317 * Removed XML distribution documents and replaced them with plain-text
318   documents.  They provided little value and introduced a lot of complexity
319   to the build system.
321 * Simplified the output of atf-version by not attempting to print a
322   revision number when building form a distfile.  Makes the build system
323   easier to maintain.
326 Changes in version 0.9
327 **********************
329 Experimental version released on June 3rd, 2010.
331 * Added atf-sh, an interpreter to process test programs written using
332   the shell API.  This is not really a shell interpreter by itself though:
333   it is just a wrapper around the system shell that eases the loading of
334   the necessary ATF libraries.
336 * Removed atf-compile in favour of atf-sh.
338 * Added the use.fs metadata property to test case, which is used to
339   specify which test cases require file system access.  This is to
340   highlight dependencies on external resources more clearly and to speed up
341   the execution of test suites by skipping the creation of many unnecessary
342   work directories.
344 * Fixed test programs to get a sane default value for their source
345   directory.  This means that it should not be necessary any more to pass
346   -s when running test programs that do not live in the current directory.
348 * Defining test case headers became optional.  This is trivial to achieve
349   in shell-based tests but a bit ugly in C and C++.  In C, use the new
350   ATF_TC_WITHOUT_HEAD macro to define the test case, and in C++ use
351   ATF_TEST_CASE_WITHOUT_HEAD.
354 Changes in version 0.8
355 **********************
357 Experimental version released on May 7th, 2010.
359 * Test programs no longer run several test cases in a row.  The execution
360   of a test program now requires a test case name, and that single test
361   case is executed.  To execute several test cases, use the atf-run utility
362   as usual.
364 * Test programs no longer fork a subprocess to isolate the execution of
365   test cases.  They run the test case code in-process, and a crash of the
366   test case will result in a crash of the test program.  This is to ease
367   debugging of faulty test cases.
369 * Test programs no longer isolate their test cases.  This means that they
370   will not create temporary directories nor sanitize the environment any
371   more.  Yes: running a test case that depends on system state by hand will
372   most likely yield different results depending on where (machine,
373   directory, user environment, etc.) it is run.  Isolation has been moved
374   to atf-run.
376 * Test programs no longer print a cryptic format (application/X-atf-tcs)
377   on a special file channel.  They can now print whatever they want on the
378   screen.  Because test programs can now only run one test case every time,
379   providing controlled output is not necessary any more.
381 * Test programs no longer write their status into a special file
382   descriptor.  Instead, they create a file with the results, which is later
383   parsed by atf-run.  This changes the semantics of the -r flag.
385 * atf-run has been adjusted to perform the test case isolation.  As a
386   result, there is now a single canonical place that implements the
387   isolation of test caes.  In previous releases, the three language
388   bindings (C, C++ and shell) had to be kept in sync with each other (read:
389   not a nice thing to do at all).  As a side effect of this change, writing
390   bindings for other languages will be much, much easier from now on.
392 * atf-run forks test programs on a test case basis, instead of on a test
393   program basis as it did before.  This is to provide the test case
394   isolation that was before implemented by the test programs themselves.
396 * Removed the atf-exec tool.  This was used to implement test case
397   isolation in atf-sh, but it is now unnecessary.
399 * It is now optional to define the descr meta-data property.  It has been
400   proven to be mostly useless, because test cases often carry a descriptive
401   name of their own.
404 Changes in version 0.7
405 **********************
407 Experimental version released on December 22nd, 2009.
409 * Added build-time checks to atf-c and atf-c++.  A binding for atf-sh
410   will come later.
412 * Migrated all build-time checks for header files to proper ATF tests.
413   This demonstrates the use of the new feature described above.
415 * Added an internal API for child process management.
417 * Converted all plain-text distribution documents to a Docbook canonical
418   version, and include pre-generated plain text and HTML copies in the
419   distribution file.
421 * Simplified the contents of the Makefile.am by regenerating it from a
422   canonical Makefile.am.m4 source.  As a side-effect, some dependency
423   specifications were fixed.
425 * Migrated all checks from the check target to installcheck, as these
426   require ATF to be installed.
428 * Fixed sign comparison mismatches triggered by the now-enabled
429   -Wsign-compare.
431 * Fixed many memory and object leaks.
434 Changes in version 0.6
435 **********************
437 Experimental version released on January 18th, 2009.
439 * Make atf-exec be able to kill its child process after a certain period
440   of time; this is controlled through the new -t option.
442 * Change atf-sh to use atf-exec's -t option to control the test case's
443   timeouts, instead of doing it internally.  Same behavior as before, but
444   noticeably faster.
446 * atf-exec's -g option and atf-killpg are gone due to the previous
447   change.
449 * Added the atf-check(1) tool, a program that executes a given command
450   and checks its exit code against a known value and allows the management
451   of stdout and stderr in multiple ways.  This replaces the previous
452   atf_check function in the atf-sh library and exposes this functionality
453   to both atf-c and atf-c++.
455 * Added the ATF_REQUIRE family of macros to the C interface.  These help
456   in checking for fatal test conditions.  The old ATF_CHECK macros now
457   perform non-fatal checks only.  I.e. by using ATF_CHECK, the test case
458   can now continue its execution and the failures will not be reported
459   until the end of the whole run.
461 * Extended the amount of ATF_CHECK_* C macros with new ones to provide
462   more features to the developer.  These also have their corresponding
463   counterparts in the ATF_REQUIRE_* family.  The new macros (listing the
464   suffixes only) are: _EQ (replaces _EQUAL), _EQ_MSG, _STREQ and
465   _STREQ_MSG.
468 Changes in version 0.5
469 **********************
471 Experimental version released on May 1st, 2008.
473 * Clauses 3 and 4 of the BSD license used by the project were dropped.
474   All the code is now under a 2-clause BSD license compatible with the GNU
475   General Public License (GPL).
477 * Added a C-only binding so that binary test programs do not need to be
478   tied to C++ at all.  This binding is now known as the atf-c library.
480 * Renamed the C++ binding to atf-c++ for consistency with the new atf-c.
482 * Renamed the POSIX shell binding to atf-sh for consistency with the new
483   atf-c and atf-c++.
485 * Added a -w flag to test programs through which it is possible to
486   specify the work directory to be used.  This was possible in prior
487   releases by defining the workdir configuration variable (-v workdir=...),
488   but was a conceptually incorrect mechanism.
490 * Test programs now preserve the execution order of test cases when they
491   are given in the command line.  Even those mentioned more than once are
492   executed multiple times to comply with the user's requests.
495 Changes in version 0.4
496 **********************
498 Experimental version released on February 4th, 2008.
500 * Added two new manual pages, atf-c++-api and atf-sh-api, describing the
501   C++ and POSIX shell interfaces used to write test programs.
503 * Added a pkg-config file, useful to get the flags to build against the
504   C++ library or to easily detect the presence of ATF.
506 * Added a way for test cases to require a specific architecture and/or
507   machine type through the new 'require.arch' and 'require.machine'
508   meta-data properties, respectively.
510 * Added the 'timeout' property to test cases, useful to set an
511   upper-bound limit for the test's run time and thus prevent global test
512   program stalls due to the test case's misbehavior.
514 * Added the atf-exec(1) internal utility, used to execute a command
515   after changing the process group it belongs to.
517 * Added the atf-killpg(1) internal utility, used to kill process groups.
519 * Multiple portability fixes.  Of special interest, full support for
520   SunOS (Solaris Express Developer Edition 2007/09) using the Sun Studio 12
521   C++ compiler.
523 * Fixed a serious bug that prevented atf-run(1) from working at all
524   under Fedora 8 x86_64.  Due to the nature of the bug, other platforms
525   were likely affected too.
528 Changes in version 0.3
529 **********************
531 Experimental version released on November 11th, 2007.
533 * Added XML output support to atf-report.  This is accompanied by a DTD
534   for the format's structure and sample XSLT/CSS files to post-process this
535   output and convert it to a plain HTML report.
537 * Changed atf-run to add system information to the report it generates.
538   This is currently used by atf-report's XML output only, and is later
539   printed in the HTML reports in a nice and useful summary table.  The user
540   and system administrator are allowed to tune this feature by means of
541   hooks.
543 * Removed the test cases' 'isolated' property.  This was intended to
544   avoid touching the file system at all when running the related test case,
545   but this has not been true for a long while: some control files are
546   unconditionally required for several purposes, and we cannot easily get
547   rid of them.  This way we remove several critical and delicate pieces of
548   code.
550 * Improved atf-report's CSV output format to include information about
551   test programs too.
553 * Fixed the tests that used atf-compile to not require this tool as a
554   helper.  Avoids systems without build-time utilities to skip many tests
555   that could otherwise be run.  (E.g. NetBSD without the comp.tgz set
556   installed.)
558 * Many general cleanups: Fixed many pieces of code marked as ugly and/or
559   incomplete.
562 Changes in version 0.2
563 **********************
565 Experimental version released on September 20th, 2007.
567 * Test cases now get a known umask on entry.
569 * atf-run now detects many unexpected failures caused by test programs and
570   reports them as bogus tests.  atf-report is able to handle these new
571   errors and nicely reports them to the user.
573 * All the data formats read and written by the tools have been
574   documented and cleaned up.  These include those grammars that define how
575   the different components communicate with each other as well as the
576   format of files written by the developers and users: the Atffiles and the
577   configuration files.
579 * Added the atf-version tool, a utility that displays information about
580   the currently installed version of ATF.
582 * Test cases can now define an optional cleanup routine to undo their
583   actions regardless of their exit status.
585 * atf-report now summarizes the list of failed (bogus) test programs
586   when using the ticker output format.
588 * Test programs now capture some termination signals and clean up any
589   temporary files before exiting the program.
591 * Multiple bug fixes and improvements all around.
594 Changes in version 0.1
595 **********************
597 Experimental version released on August 20th, 2007.
599 * First public version.  This was released coinciding with the end of the
600   Google Summer of Code 2007 program.
603 ===========================================================================
604 vim: filetype=text:textwidth=75:expandtab:shiftwidth=2:softtabstop=2