TODO

   1 =head1 These are things that need doin', in rough order of most-wanted first
   2
   3 Please let me know if you start hacking on one of these or if you have any amazing ideas.
   4
   5 * Integrate Tapir so that it plays nicely with setup.pir, i.e. "parrot setup.pir build" and "parrot setup.pir test"
   6     The fakecutable is probably not being created correctly.
   7     There should be at least 2 ways to run the tests: Tapir and prove
   8
   9 * Availability/Installability
  10     in the Parrot tree (in ext/ like nqp-rx)
  11
  12 * Implement new command-line options with Getopt::Obj :
  13     --shuffle
  14     --merge
  15     --env       # see https://rt.cpan.org/Public/Bug/Display.html?id=50215
  16
  17   See _parse_opts() in t/harness.pir for examples
  18
  19 * Out of order test notification
  20     Better diagnostics
  21
  22 * Running tests in parallel
  23     How to do it? There should be examples in the Parrot test suite
  24
  25 * Bailout support - This is implemented, but should be tested more
  26
  27     http://search.cpan.org/~petdance/TAP-1.00/TAP.pm
  28     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Grammar.pm
  29
  30 * Be able to run tests written in different languages in the same test run
  31
  32     Currently, Tapir assumes tests are in PIR unless given an --exec argument.
  33
  34     Run /bin/sh -c or ./file, and then default to parrot if neither work ?
  35
  36     Turns out /bin/sh -c foo.t means foo.t must be executable.
  37
  38     We also have the option of using proc_exec from the global parrot config
  39
  40
  41 * More detailed statistics in test summary : user time (in addition to the current wallclock time)
  42     - This requires Parrot support, which is tracked in http://trac.parrot.org/parrot/ticket/1379
  43
  44 * Aggregation step in t/harness.pir needs to be abstracted out into Tapir::Harness and tested properly
  45
  46 * Use yaml tests in the t/source directory of  https://svn.hexten.net/tapx/tap-tests
  47
  48     It would be nice if we could parse the YAML in PIR and treats these YAML files as
  49     some kind of spec test suite for TAP
  50     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Aggregator.pm
  51
  52 * Benchmark tapir against Test::Harness (3.x and 2.x) and (maybe) Test::Run, with euler_bench
  53     Test::Run   http://web-cpan.berlios.de/modules/Test-Run/
  54     euler_bench http://github.com/notbenh/euler_bench
  55
  56 * Submitting smoke reports to smolder
  57     option --archive
  58     TAP::Harness::Archive for Parrot
  59     and a easy way to append extra properties in meta.yml
  60
  61 * How to deal with differences been TAP versions?
  62
  63 * Pluggable output formats