TODO

   1 =head1 These are things that need doin', in rough order of most-wanted first
   2
   3 Please let me know if you start hacking on one of these or if you have any amazing ideas.
   4
   5 * Integrate Tapir so that it plays nicely with setup.pir, i.e. "parrot setup.pir build" and "parrot setup.pir test"
   6     The fakecutable is probably not being created correctly.
   7     There should be at least 2 ways to run the tests: Tapir and prove
   8
   9 * Availability/Installability
  10     in the Parrot tree (in ext/ like nqp-rx)
  11
  12 * Implement new command-line options with Getopt::Obj :
  13     --shuffle
  14     --merge
  15     --env       # see https://rt.cpan.org/Public/Bug/Display.html?id=50215
  16
  17   See _parse_opts() in t/harness.pir for examples
  18
  19 * Tests and implementation for out of order test notification
  20
  21 * Running tests in parallel
  22     How to do it? There should be examples in the Parrot test suite
  23
  24 * Parse bailout correctly - This is implemented, but should be tested more
  25
  26     http://search.cpan.org/~petdance/TAP-1.00/TAP.pm
  27     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Grammar.pm
  28
  29 * Be able to run tests written in different languages in the same test run
  30
  31     Currently, Tapir assumes tests are in PIR unless given an --exec argument.
  32
  33     Run /bin/sh -c or ./file, and then default to parrot if neither work ?
  34
  35     Turns out /bin/sh -c foo.t means foo.t must be executable.
  36
  37     We also have the option of using proc_exec from the global parrot config
  38
  39
  40 * More detailed statistics in test summary : user time (in addition to the current wallclock time)
  41     - This requires Parrot support, which is tracked in http://trac.parrot.org/parrot/ticket/1379
  42
  43
  44
  45 * Aggregation step in t/harness.pir needs to be abstracted out into Tapir::Harness and tested properly
  46
  47 * Use yaml tests in the t/source directory of  https://svn.hexten.net/tapx/tap-tests
  48
  49     It would be nice if we could parse the YAML in PIR and treats these YAML files as
  50     some kind of spec test suite for TAP
  51     http://cpansearch.perl.org/src/ANDYA/Test-Harness-3.17/lib/TAP/Parser/Aggregator.pm
  52
  53 * Benchmark tapir against Test::Harness (3.x and 2.x) and (maybe) Test::Run, with euler_bench
  54     Test::Run   http://web-cpan.berlios.de/modules/Test-Run/
  55     euler_bench http://github.com/notbenh/euler_bench
  56
  57 * Submitting smoke reports to smolder
  58     option --archive
  59     TAP::Harness::Archive for Parrot
  60     and a easy way to append extra properties in meta.yml
  61
  62 * How to deal with differences been TAP versions?
  63
  64 * Pluggable output formats