solver-benchmarks/README.md

   1 Dependency Solver Benchmarks
   2 ============================
   3
   4 hackage-benchmark
   5 -----------------
   6
   7 The goal of this benchmark is to find examples of packages that show a
   8 difference in behavior between two versions of cabal.  It doesn't try
   9 to determine which version of cabal performs better.
  10
  11 `hackage-benchmark` compares two `cabal` commands by running each one
  12 on each package in a list.  The list is either the package index or a
  13 list of packages provided on the command line.  In order to save time,
  14 the benchmark initially only runs one trial for each package.  If the
  15 results (solution, no solution, timeout, etc.) are the same and the
  16 times are too similar, it skips the package.  Otherwise, it runs more
  17 trials and prints the results if they are significant.