Clarify the TODO
[tapir.git] / TODO
blobd1bba0347b13894c7d23a6220770463804145996
1 =head1 These are things that need doin'
3 Please let me know if you start hacking on one of these or if you have any amazing ideas.
5 * Be able to run tests written in different languages in the same test run
7     Currently, Tapir assumes tests are in PIR unless given an --exec argument.
9     Run /bin/sh -c or ./file, and then default to parrot if neither work ?
11     Turns out /bin/sh -c foo.t means foo.t must be executable.
13     We also have the option of using proc_exec from the global parrot config
15 * Use Getopt::Obj to have some nice command line options, like
16     --help
17     --shuffle
18     --merge
19     --env       # see https://rt.cpan.org/Public/Bug/Display.html?id=50215
21   See _parse_opts() in t/harness.pir for examples
23 * Parse skips/bailout correctly
25     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Grammar.pm
27 * More detailed statistics in test summary : test runtime
29 * Aggregation step in t/harness.pir needs to be abstracted out into Tapir::Harness and tested properly
31     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Aggregator.pm
33 * Benchmark tapir against Test::Harness and Test::Run, with euler_bench
34     Test::Run   http://web-cpan.berlios.de/modules/Test-Run/
35     euler_bench http://github.com/notbenh/euler_bench
37 * Make the output format prettier
38     line up "passed" in the same column/etc
40 * Running tests in parallel
41     How to do it? There should be examples in the Parrot test suite
43 * Tests and implementation for parsing invalid plans
45 * Tests and implementation for out of order test notification
47 * Submitting smoke reports to smolder
48     option --archive
49     TAP::Harness::Archive for Parrot
51 * How to deal with differences been TAP versions?
54 * Availability
55     a single pbc (t/harness.pbc)
56     a installable executable (parrot-tapir or parrot-prove)
57     in the Parrot tree (in ext/ like nqp-rx)