archive/src/benchmarks

   1 Some comparisons of Algebraic Manipulation on different hardware.
   2
   3 As of June 25, 1987.
   4
   5 Times are elapsed (with cpu times in parenthes for machines where
   6 this was substantially different eg suns).
   7 Note by elapsed time I wall clock
   8 Main culprit was page faults).
   9 All times were average of several cycles to get gc information.
  10 The large problem gc'd a number of times on the small sun, and
  11 so only one computation was performed.  All machines were with
  12 only one user running at normal priority.
  13
  14 Machine.         Factor((x+y+z)^10)       Factor((x+y+z)^20)
  15
  16 sun3/50             27.3 (cpu 9.7)         243.0 (cpu 63.7)
  17 too many users to judge: sun3/180          ?16.0(cpu 10.9)         ?
  18 sun3/260             3.08(cpu 3.08)         19.33(cpu 19.5)
  19 TI Explorer          3.4                    14.2
  20 Symbolics 3640       5.6                    21.3
  21 withIFU
  22
  23
  24
  25
  26 For comparsion the old version using maclisp on dec-20:
  27 Quite fast on small problems.
  28 Dec20(maclisp)      (cpu 5.5)               Problem Too Big
  29
  30
  31
  32 Notes: The times all are elapsed, and include time for gc.  On the
  33 lisp machine only ephemeral gc was included.  The SUN suffered greatly
  34 from page faults: for example the actual run time was 8.05 for the
  35 first one, and with a gc every two or three times costing 5 seconds.
  36 The rest of the time was spent in page faults, particularly costly
  37 during the gc.
  38
  39 Executing on a sun-3/50 with 4meg memory and shoe box.  sun operating
  40 system 3.2 c compiling of system with debugging on.  The common lisp
  41 version is by Bill Schelter running in KCL, and running inside gnuemacs.
  42 Page faulting was extremely expensive.  We have included an appendix for
  43 the 3/50 to show the vagaries of the timings due to poor paging.
  44
  45 The Maxima in all cases was a full version including lisp compiler
  46 and the Maxima to lisp translation facility.  Approximately 120 files
  47 were loaded.  On the very small machine reducing the size of the
  48 system, would probably prove beneficial.
  49
  50 In all cases the code was the Common Lisp version by Bill Schelter at
  51 University of Texas, and distributed by National Energy Software
  52 Foundation at Argonne Illinois.  KCL is available free of charge by
  53 anonymous ftp from University of Texas on rascal.ics.utexas.edu
  54 [128.83.144.1] Login as ftp, with no password.  See the message
  55 kcl.broadcast in the ftp directory for instructions.  You must mail in
  56 a copy of the form in that message to validate your free license.
  57 Both Maxima and KCL include ALL sources.
  58
  59 The GCD switch used was SPMOD.
  60
  61 Note this is not meant to be a comparison of factoring algorithms, but
  62 rather just a simple easily quantified test of complex polynomial
  63 manipulation, which has been found to be a good point of comparison
  64 when considering different hardware for large algebraic manipulation
  65 problems.
  66
  67 The Explorer was running release 3.0, and the Symbolics release 7.
  68 Note there has been a dramatic improvement in the TI timing with
  69 the advent of an efficient ephemeral GC in release 3.0, and new
  70 function calling.  The time for TI is one half what it was in release 2.0
  71 on the same machine.
  72
  73
  74 Appendix Sun3/50
  75 Here is the actual transcript.  You can see how the times varied:
  76 (C3) expand((x+y+z)^10)$
  77 (C9) factor(d3);
  78
  79 Evaluation took 8.20 seconds (17.93 elapsed)
  80                                             10
  81 (D9)                             (Z + Y + X)
  82 (C10) ''c3;
  83
  84 Evaluation took 7.98 seconds (16.98 elapsed)
  85                                             10
  86 (D10)                            (Z + Y + X)
  87 (C11) ''c3;
  88
  89
  90 GBC invoked
  91 GBC finished
  92 Evaluation took 13.98 seconds (50.25 elapsed)
  93                                             10
  94 (D11)                            (Z + Y + X)
  95 (C12) ''c3;
  96
  97 Evaluation took 8.02 seconds (16.57 elapsed)
  98                                             10
  99 (D12)                            (Z + Y + X)
 100 (C13) ''c3;
 101
 102
 103 GBC invoked
 104 GBC finished
 105 Evaluation took 13.90 seconds (52.20 elapsed)
 106                                             10
 107 (D13)                            (Z + Y + X)
 108 (C14) ''c3;
 109
 110 Evaluation took 8.05 seconds (16.65 elapsed)
 111                                             10
 112 (D14)                            (Z + Y + X)
 113 (C15) ''c3;
 114
 115
 116 GBC invoked
 117 GBC finished
 118 Evaluation took 13.90 seconds (56.88 elapsed)
 119                                             10
 120 (D15)                            (Z + Y + X)
 121 (C16)
 122 (C16) expand((x+y+z)^20)$
 123
 124 Evaluation took 10.10 seconds (13.20 elapsed)
 125 (C17) 1;
 126 (D17)                                  1
 127 (C18) factor(d16);
 128
 129
 130 GBC invoked
 131 GBC finished
 132
 133 GBC invoked
 134 GBC finished
 135
 136 GBC invoked
 137 GBC finished
 138
 139 GBC invoked
 140 GBC finished
 141 Evaluation took 63.77 seconds (243.45 elapsed)
 142                                             20
 143 (D18)                            (Z + Y + X)