share/man/man5/bsd.regress.mk.5

   1 .\" $OpenBSD: bsd.regress.mk.5,v 1.7 2013/06/17 11:57:10 schwarze Exp $
   2 .\"
   3 .\" Copyright (c) 2002 Anil Madhavapeddy
   4 .\" Copyright (c) 2000 Marc Espie
   5 .\"
   6 .\" All rights reserved.
   7 .\"
   8 .\" Redistribution and use in source and binary forms, with or without
   9 .\" modification, are permitted provided that the following conditions
  10 .\" are met:
  11 .\" 1. Redistributions of source code must retain the above copyright
  12 .\"    notice, this list of conditions and the following disclaimer.
  13 .\" 2. Redistributions in binary form must reproduce the above copyright
  14 .\"    notice, this list of conditions and the following disclaimer in the
  15 .\"    documentation and/or other materials provided with the distribution.
  16 .\"
  17 .\" THIS SOFTWARE IS PROVIDED BY THE DEVELOPERS ``AS IS'' AND ANY EXPRESS OR
  18 .\" IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19 .\" OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20 .\" IN NO EVENT SHALL THE DEVELOPERS BE LIABLE FOR ANY DIRECT, INDIRECT,
  21 .\" INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22 .\" NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23 .\" DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24 .\" THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25 .\" (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26 .\" THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27 .\"
  28 .Dd $Mdocdate: June 17 2013 $
  29 .Dt BSD.REGRESS.MK 5
  30 .Os
  31 .Sh NAME
  32 .Nm bsd.regress.mk
  33 .Nd regression test master Makefile fragment
  34 .Sh SYNOPSIS
  35 .Fd .include <bsd.regress.mk>
  36 .Sh DESCRIPTION
  37 .Nm
  38 holds the standard routines used by the source regression tests.
  39 Some variables and targets are for its internal use only.
  40 The rest are documented here.
  41 .Pp
  42 Since this file also includes
  43 .Nm bsd.prog.mk ,
  44 all of the usual
  45 .Ox
  46 Makefile variables may be used to build the regression
  47 test programs.
  48 .Sh TARGETS
  49 .Bl -tag -width regress
  50 .It Ar depend
  51 Build any dependencies required to carry out the current set
  52 of regression tests.
  53 .It Ar regress
  54 Executes all of the regression targets defined in the Makefile.
  55 .It Ar run-regress-*
  56 Runs an individual regression test.
  57 If the exit status of the program indicates an error or timeout,
  58 then a failure is logged, otherwise the test is marked as a success.
  59 .El
  60 .Sh VARIABLES
  61 .Bl -tag -width REGRESS_LOG
  62 .It Ev REGRESS_FAIL_EARLY
  63 If this variable is set to anything but
  64 .Dq no ,
  65 the
  66 .Ar regress
  67 target will abort as soon as a test fails.
  68 .It Ev REGRESS_LOG
  69 Points to the fully-qualified path of a file to which regression
  70 results are appended.
  71 Defaults to
  72 .Pa /dev/null .
  73 .It Ev REGRESS_MAXTIME
  74 Maximum limit of CPU seconds to spend on the regression test.
  75 Exceeding this time will result in a failure being logged.
  76 .It Ev REGRESS_ROOT_TARGETS
  77 Targets for which root access is required to run the test.
  78 The
  79 .Ev SUDO
  80 variable is invoked for these targets.
  81 See also
  82 .Ev SUDO .
  83 .It Ev REGRESS_SKIP_SLOW
  84 If this variable is not empty, skip over all the regression
  85 tests which have been marked as being 'slow' using the
  86 .Ev REGRESS_SLOW_TARGETS
  87 variable.
  88 .It Ev REGRESS_SLOW_TARGETS
  89 Targets which are defined as 'slow'.
  90 All of these tests can be skipped by setting the
  91 .Ev REGRESS_SKIP_SLOW
  92 variable.
  93 .It Ev REGRESS_TARGETS
  94 Targets which are invoked to run the set of regression tests
  95 for this Makefile.
  96 Defaults to
  97 .Ar run-regress-${PROG} .
  98 .It Ev SUDO
  99 Location of the sudo command, used to switch to root for certain
 100 test targets which require it.
 101 .El
 102 .Sh SEE ALSO
 103 .Xr bsd.port.mk 5
 104 .Sh HISTORY
 105 The regression system originally came from
 106 .Nx ,
 107 with many tests added by
 108 .Ox
 109 since.
 110 The current Makefile framework was written by Artur Grabowski
 111 and Marc Espie for
 112 .Ox 3.1 .
 113 .Sh BUGS AND LIMITATIONS
 114 The build system is unable to distinguish between timeouts due to
 115 .Ev REGRESS_MAXTIME
 116 being exceeded, or a genuine failure occurring.