Get rid of some dead code in harness.pir and improve feng shui of the TODO file
[tapir.git] / TODO
blob32d63b64cb1e542686304b0d15e1d3343dd4e74e
1 =head1 These are things that need doin'
3 Please let me know if you start hacking on one of these or if you have any amazing ideas.
5 * Be able to run any test file, not just PIR tests
7     Run /bin/sh -c or ./file, and then default to parrot if neither work ?
9     Turns out /bin/sh -c foo.t means foo.t must be executable.
11     We also have the option of using proc_exec from the global parrot config
13 * Use Getopt to have some nice command line options, like
14     --help
15     --version
16     --shuffle
18 * Parse todo/skips/bailout correctly
20     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Grammar.pm
22 * Exit codes are not being dealt with correctly. This will require some internal redesign.
23   stream.'is_pass' should take exit codes into account
25 * More detailed statistics in test summary
27     exit codes if nonzero and test runtime
29 * Aggregation step in t/harness.pir needs to be abstracted out into Tapir::Harness and tested properly
31     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Aggregator.pm
33 * Benchmark tapir against Test::Harness and Test::Run, with euler_bench
34     Test::Run   http://web-cpan.berlios.de/modules/Test-Run/
35     euler_bench http://github.com/notbenh/euler_bench
37 * Make the output format prettier
38     line up "passed" in the same column/etc
40 * Running tests in parallel
41     How to do it? There should be examples in the Parrot test suite
43 * Tests and implementation for parsing invalid plans
45 * Tests and implementation for out of order test notification
47 * Submitting smoke reports to smolder
48     TAP::Harness::Archive for Parrot
50 * How to deal with differences been TAP versions?