external/bsd/atf/dist/tests/bootstrap/t_test_program_compare.at

   1 dnl
   2 dnl Automated Testing Framework (atf)
   3 dnl
   4 dnl Copyright (c) 2007, 2008 The NetBSD Foundation, Inc.
   5 dnl All rights reserved.
   6 dnl
   7 dnl Redistribution and use in source and binary forms, with or without
   8 dnl modification, are permitted provided that the following conditions
   9 dnl are met:
  10 dnl 1. Redistributions of source code must retain the above copyright
  11 dnl    notice, this list of conditions and the following disclaimer.
  12 dnl 2. Redistributions in binary form must reproduce the above copyright
  13 dnl    notice, this list of conditions and the following disclaimer in the
  14 dnl    documentation and/or other materials provided with the distribution.
  15 dnl
  16 dnl THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND
  17 dnl CONTRIBUTORS ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES,
  18 dnl INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
  19 dnl MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20 dnl IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS BE LIABLE FOR ANY
  21 dnl DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22 dnl DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE
  23 dnl GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  24 dnl INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER
  25 dnl IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  26 dnl OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN
  27 dnl IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28 dnl
  29
  30 AT_SETUP([test_program: compare the user-visible interfaces])
  31
  32 dnl Ask for help.
  33 AT_CHECK([TEST_HELPER_NO_S(tp_basic_c) -h], [0], [stdout], [])
  34 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
  35 AT_CHECK([TEST_HELPER_NO_S(tp_basic_cpp) -h], [0], [expout], [])
  36 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
  37 AT_CHECK([TEST_HELPER_NO_S(tp_basic_sh) -h], [0], [expout], [])
  38
  39 dnl Ask for help, force line wrapping.
  40 AT_CHECK([COLUMNS=20 TEST_HELPER_NO_S(tp_basic_c) -h], [0], [stdout], [])
  41 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
  42 AT_CHECK([COLUMNS=20 TEST_HELPER_NO_S(tp_basic_cpp) -h], [0], [expout], [])
  43 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
  44 AT_CHECK([COLUMNS=20 TEST_HELPER_NO_S(tp_basic_sh) -h], [0], [expout], [])
  45
  46 dnl Ask for help alongside another option (-s), which is an error.
  47 AT_CHECK([TEST_HELPER(tp_basic_c) -h], [1], [], [stderr])
  48 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
  49 AT_CHECK([TEST_HELPER(tp_basic_cpp) -h], [1], [], [experr])
  50 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
  51 AT_CHECK([TEST_HELPER(tp_basic_sh) -h], [1], [], [experr])
  52
  53 dnl Give an invalid option.
  54 AT_CHECK([TEST_HELPER(tp_basic_c) -Z], [1], [], [stderr])
  55 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
  56 AT_CHECK([TEST_HELPER(tp_basic_cpp) -Z], [1], [], [experr])
  57 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
  58 AT_CHECK([TEST_HELPER(tp_basic_sh) -Z], [1], [], [experr])
  59
  60 dnl Give an invalid option alongside -h.
  61 AT_CHECK([TEST_HELPER(tp_basic_c) -Z -h], [1], [], [stderr])
  62 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
  63 AT_CHECK([TEST_HELPER(tp_basic_cpp) -Z -h], [1], [], [experr])
  64 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
  65 AT_CHECK([TEST_HELPER(tp_basic_sh) -Z -h], [1], [], [experr])
  66
  67 dnl List all tests.
  68 AT_CHECK([TEST_HELPER(tp_basic_c) -l], [0], [stdout], [])
  69 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
  70 AT_CHECK([TEST_HELPER(tp_basic_cpp) -l], [0], [expout], [])
  71 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
  72 AT_CHECK([TEST_HELPER(tp_basic_sh) -l], [0], [expout], [])
  73
  74 dnl Run all tests.
  75 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout],
  76          [1], [stdout], [stderr])
  77 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
  78 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
  79 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
  80 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout],
  81          [1], [expout], [experr])
  82 AT_CHECK([cmp -s resout resexp], [0], [], [])
  83 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
  84 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
  85 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
  86 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout],
  87          [1], [expout], [experr])
  88 AT_CHECK([cmp -s resout resexp], [0], [], [])
  89
  90 dnl Run the pass test case.
  91 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout pass],
  92          [0], [stdout], [stderr])
  93 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
  94 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
  95 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
  96 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout pass],
  97          [0], [expout], [experr])
  98 AT_CHECK([cmp -s resout resexp], [0], [], [])
  99 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 100 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 101 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 102 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout pass],
 103          [0], [expout], [experr])
 104 AT_CHECK([cmp -s resout resexp], [0], [], [])
 105
 106 dnl Run the fail test case.
 107 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout fail],
 108          [1], [stdout], [stderr])
 109 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
 110 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
 111 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
 112 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout fail],
 113          [1], [expout], [experr])
 114 AT_CHECK([cmp -s resout resexp], [0], [], [])
 115 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 116 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 117 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 118 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout fail],
 119          [1], [expout], [experr])
 120 AT_CHECK([cmp -s resout resexp], [0], [], [])
 121
 122 dnl Run the skip test case.
 123 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout skip],
 124          [0], [stdout], [stderr])
 125 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
 126 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
 127 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
 128 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout skip],
 129          [0], [expout], [experr])
 130 AT_CHECK([cmp -s resout resexp], [0], [], [])
 131 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 132 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 133 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 134 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout skip],
 135          [0], [expout], [experr])
 136 AT_CHECK([cmp -s resout resexp], [0], [], [])
 137
 138 dnl Run the default test case.
 139 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout default],
 140          [0], [stdout], [stderr])
 141 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
 142 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
 143 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
 144 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout default],
 145          [0], [expout], [experr])
 146 AT_CHECK([cmp -s resout resexp], [0], [], [])
 147 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 148 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 149 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 150 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout default],
 151          [0], [expout], [experr])
 152 AT_CHECK([cmp -s resout resexp], [0], [], [])
 153
 154 dnl Try pattern matching.
 155 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout "*f*"],
 156          [1], [stdout], [stderr])
 157 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
 158 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
 159 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
 160 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout "*f*"],
 161          [1], [expout], [experr])
 162 AT_CHECK([cmp -s resout resexp], [0], [], [])
 163 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 164 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 165 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 166 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout "*f*"],
 167          [1], [expout], [experr])
 168 AT_CHECK([cmp -s resout resexp], [0], [], [])
 169
 170 dnl Run an unknown test case.
 171 AT_CHECK([TEST_HELPER(tp_basic_c) -r3 3>resout unknown],
 172          [1], [stdout], [stderr])
 173 sed 's,tp_basic_c,tp_basic_cpp,g' <stdout >expout
 174 sed 's,tp_basic_c,tp_basic_cpp,g' <stderr >experr
 175 sed 's,tp_basic_c,tp_basic_cpp,g' <resout >resexp
 176 AT_CHECK([TEST_HELPER(tp_basic_cpp) -r3 3>resout unknown],
 177          [1], [expout], [experr])
 178 AT_CHECK([cmp -s resout resexp], [0], [], [])
 179 sed 's,tp_basic_c,tp_basic_sh,g' <stdout >expout
 180 sed 's,tp_basic_c,tp_basic_sh,g' <stderr >experr
 181 sed 's,tp_basic_c,tp_basic_sh,g' <resout >resexp
 182 AT_CHECK([TEST_HELPER(tp_basic_sh) -r3 3>resout unknown],
 183          [1], [expout], [experr])
 184 AT_CHECK([cmp -s resout resexp], [0], [], [])
 185
 186 AT_CLEANUP()
 187
 188 dnl vim: syntax=m4:expandtab:shiftwidth=4:softtabstop=4