archive/doc/problem-chart

   1
   2
   3                          MAXIMA Problem Suite
   4                            by Bill Schelter
   5
   6 We have collected a number of test problems for MAXIMA, and include
   7 below some information on timings in various lisps.  The files we used
   8 are in the maxima/doc directory of my standard distribution of MAXIMA.
   9 These problems are in the files rtest*.mac.  Files rtest1.mac through
  10 rtest13s.mac contain a total of 808 problems.
  11
  12 In the following reference to tests [n,m] mean tests rtest`n'.mac
  13 through rtest`m'.mac inclusive.  The following times were obtained on
  14 a Sun 280 (rascal.ics.utexas.edu).
  15
  16 I used MAXIMA version 4.71, AKCL 1.34, and LUCID 2.1.
  17
  18 TESTS         AKCL   LUCID    EXPLORER I
  19 [1,8]        157.55  199.66
  20 [9,13s]      103.00  138.01
  21 [1,13s]      278.63  388.14    511.1
  22
  23 4 Users(cpu) 324.86  500.60
  24 4 Users(tot)1478.64  2318.49
  25 There were no errors.
  26
  27 Tests were run with the output directed to a file.  The tests
  28 represent a wide spectrum of problems for MAXIMA, and are the standard
  29 verification suite, which I use after making changes to the underlying
  30 lisp or to the MAXIMA files, to help determine correctness.  The files
  31 consist of alternating problem, and answer, with the result of the
  32 problem being compared against the answer.
  33
  34 In neither lisp did I use the floating point chip.  This is because the
  35 saved image is often used on machines without such a chip.  Generally
  36 the LUCID floating point calculations were single float and the AKCL
  37 ones double float.   I don't believe however that the tests are
  38 very floating point intensive.
  39
  40 The 4 Users line is the Cpu time for the same program but running in 4
  41 processes simultaneously.  The AKCL probably degraded less from the
  42 single user time (16% as opposed to 29% for Lucid), because a large
  43 amount of the maxima image is shared between processes.
  44
  45
  46 The complete list of files is
  47  '("rtest1" "rtest1a" "rtest2" "rtest3" "rtest4" "rtest5"
  48    "rtest6" "rtest6a" "rtest6b" "rtest7" "rtest8" "rtest9"
  49    "rtest9a" "rtest10" "rtest11" "rtest12" "rtest13" "rtest13s")
  50
  51 It is still the experience of the author, that lisp machines do show
  52 important gains on very large problems, much larger than those done
  53 here.
  54
  55
  56 They are included in /usr2/ftp/pub/maxima-xx.tar.Z on rascal.
  57
  58
  59
  60