README.txt

   1 This version of PsN is tested with perl-5.8.4
   2 Depending on your distribution you may have to install the following
   3 perl packages:
   4
   5 Math::Random
   6 Storable::Store
   7
   8 All available from CPAN ( www.cpan.org )
   9
  10   Changelog
  11 ----------------------------------------------
  12
  13 Changes from 2.2.0 to 2.3.0
  14
  15 Features
  16  - Dropped use of parallell forkmanager.
  17
  18  - Failed runs are now ignored, they are indicated as "failed
  19    run" in "raw_results". (And a warning will be printed).
  20
  21  - The default debug level has been raised from 0(only fatal messages
  22    will be printed) to 1 (fatal and warning messages). The biggest
  23    benefit is that a lot of messages can be turned of by setting debug
  24    to 0. Also it will force us, the developers, to rethink the warning
  25    messages a bit, making them more informative.
  26
  27  - The config for diffrent nonmem versions now requires the actual
  28    nonmem version to be specified. Like this:
  29
  30    [nm_version]
  31    name=/path/to/nonmem,5
  32    name_six=/path/to/nonmem6,6
  33
  34  - PsN will occupy slightly less disc space when running.
  35
  36 Bugs
  37  - If someone specified a maxeval bigger than 9999 PsN would try and
  38    fix that, and failed. Fixed.
  39
  40 Changes from 2.1.10 to 2.2.0 ( released for PsN course )
  41
  42 Features
  43
  44  - PsN Output module use a proper Matrix library for handling some of
  45    the matrices of the outputfile.
  46
  47  - The bootstrap can now be resumed with a lower number of
  48    samples. Meaning that if you are in a hurry and want to stop the
  49    bootstrap and get results after 1000 out of 2000 runs, you can. At
  50    a later time you can then resume the 2000 runs.
  51
  52  - Nonmem warnings are now printed if "--verbose" is givven.
  53
  54  - Automatic incrementation of directory names are a bit smarter (no
  55    more "directory modelfit_dirX is in the way" messages).
  56
  57  - Clean is much more stringent and intelligent and now manages to
  58    remove entire tool directories if desired.
  59
  60  - option list printed from "-h|-?" only shows utility specific options.
  61
  62  - Default values configurable on a per utility basis.
  63
  64  - Online documentation improved
  65
  66  - Parallel run of NONMEM is not aborted as before if a outputfile is
  67    not correctly parsed. It is just ignored, as if it had not
  68    minimized successfully. (actually it is the output parser that
  69    doesn't die, but the effect is the same)
  70
  71  - Parallel run is a bit nicer to the system when compiling many
  72    NONMEMS. By adding a configurable delay between starts.
  73
  74  - Matlab and R scripts for various plots from cdd and bootstrap
  75    results are distributed with PsN.
  76
  77  - Vast improvments in results presentations from all tools.
  78
  79  - Improvements in rerun algoritm with new "min_retries" option.
  80
  81  - Output from running utilties are much nicer.
  82
  83  - new "-quick_summary" prints minimization message and ofv value for
  84    each finished run. As does "-verbose" option which also prints
  85    "R:X" for each retrie (X is the retrie number).
  86
  87  - new "-summary" options prints diagnostics about the tool run when
  88    it is finished. For "execute" the "-summary" option will have the
  89    same function as the "sumo" utiltiy as well as some diagnostics.
  90
  91  - PsN now recognizes that control files may require fortran files and
  92    copies them to the run directory. No need to add fotran files to
  93    the --extra_files option any more.
  94
  95  - Added --extra_output which allows you to copy more than the output
  96    file from the run directory.
  97
  98 Bugs
  99
 100  - PsN couldn't parse IGNORE=(ITEM=VALUE) options in $DATA. Fixed :)
 101
 102  - If star notation was used in the scm config file section [inits],
 103    [upper_bounds] or [lower_bounds] there was a risk of defining
 104    relations that was not specified in [test_relations]. Which in turn
 105    would cause a lot of diffrent errors. Fixed :)
 106
 107  - Using low_cutoff and hi_cutoff in data::sd resulted in PsN trying to use
 108    the new compact data strings as the old arrays. fixed.
 109
 110  - Removed unecessary regular expression in output file parser.
 111
 112  - Not really a bug. But i tried to add "FIX" as a record option to a theta
 113    records. Then when "store_init" was called on the "FIX" option PsN crashed
 114    because the option was not a "theta_option". So i added a check for
 115    "store_init" abilties... if FIX would become a record option in the future.
 116
 117  - Member accessor "datafile" replaced with "datafiles" in model. Affected
 118    only the bootstrap which have been updated.
 119
 120  - An assumptions about outputfiles crashed sumo occationally. Some more
 121    rigorous contentchecking has been added and fixed the problem.
 122
 123 Internal changes
 124  - Cleanup of dubious utility options.
 125  - Option help sorted alphabetically.
 126  - "flush", "target" removed from model.
 127  - "remove_temp_files" removed from modelfit.
 128  - Changed the Makefile considerably, much simpler now.
 129  - added "column_to_array" function in data module.
 130
 131 Changes from 2.1.9 to 2.1.10
 132
 133 Features
 134 - The 'picky' option of all utilities now triggers on
 135         COVARIANCE STEP ABORTED         and
 136         PROGRAM TERMINATED BY OBJ
 137
 138 Changes from 2.1.8 to 2.1.9
 139
 140 Features
 141  - Nordugrid support reintroduced (but will probably not be developed further)
 142  - Sumo now supports multiple problems and subproblems.
 143  - Sumo has new option "precision" which control the number of digits
 144    to present estimates with.
 145  - An extra 'short' logfile is output from the scm with the most important
 146    information.
 147
 148 Bugs
 149  - Bootstrap option "stratify_on" doesn't work with columns defined in
 150    extra data files given with "extra_data" option. Not Fixed.
 151  - Resumes of scm's with extra_data_files is now possible. Still some
 152    problems with scm's where search_direction=both.
 153  - LSF options was not communicated properly between tools and subtools
 154    so submission of bootstraps, llp, cdd and scm did not work. Fixed.
 155  - Default values for LSF can now be configured in psn.conf.
 156  - Print order of modelfiles places $MIX before $PRED. Fixed.
 157  - extra_files option was broken. Fixed.
 158
 159 Internal Changes
 160  - Tool will always fork subtools, this will save memory in the scm (and
 161    other recursive tools).
 162  - Common options need only be specified once. In one of three categories:
 163    model_options, tool_options, script_options.
 164  - models can now be created with "reference" objects. This solved the
 165    scm resume problem.
 166  - Added function to model that cleans extra data code.
 167
 168 Changes from 2.1.7 to 2.1.8
 169
 170 Features
 171  - Rudimentary support for execution on Platform LSF grid systems is now
 172    included. The following extra attributes are available to all tools
 173    for controlling the execution:
 174
 175        run_on_lsf       - Use LSF
 176        lsf_queue        - Use this queue on the grid
 177        lsf_options      - General options for the grid queuing system.
 178        lsf_project_name - Optional. May be used by the grid system
 179                           administrator to register control project
 180                           cpu usage.
 181        lsf_job_name     - Optional. May be used by a grid system
 182                           administrator to control multiple runs on a
 183                           grid system.
 184
 185  - All tools now have a raw_results file holding the diagnotics and
 186    parameter estimates for each NONMEM run.
 187  - All tools now handles model files containing one $PROBLEM and no
 188    SUBPROBLEMS only.
 189  - The Bootstrap and CDD routines now create separate files holding
 190    information about which individuals that were included/excluded
 191    in/from each created data set.
 192  - The Bootstrap results file now has warnings section to better
 193    display which runs that were used for result calculations and which
 194    were not
 195  - PsN now tries to read psn.conf from the users home directory. (Will
 196    require some extra documentation).
 197  - Optimized modelfit thread operation by removing Storable::Store.
 198  - The clean options has four levels of operation.
 199
 200         0 - No cleaning at all.
 201         1 - Clean more, but make sure resumes work (this is default).
 202         2 - Clean more, but make sure summarize work.
 203         3 - Clean everything, keeping only results and logs.
 204
 205  - Some attributes and accessors of the PsN-Core class 'output' have
 206    had their names changed to make it more clear what their purposes
 207    are:
 208         termination           is now called     minimization_successful
 209         termination_message   is now called     minimization_message
 210         covstep_termination   is now called     covariance_step_successful
 211
 212    these attributes are new:
 213
 214         covariance_step_warnings (boolean; 0 or 1)
 215         estimate_near_boundary (boolean; 0 or 1)
 216
 217    The attribute which was previously called termination could have the
 218    values 0, 0.5 and 1 for 'minimization terminates', 'minimization
 219    successful but warnings or errors were printed from the covariance
 220    step' and finally 'minimization successful'. The new attribute
 221    'minimization_successful' can only take the values 0 and 1 and the
 222    new attribute covariance_step_warnings now takes the value 1 when
 223    covariance step warnings were found. Checks are also perfomed to
 224    test whether the estimates are close to any boundary.
 225  - Html documents is now generated from command line help text.
 226    which ensures that they are consistent and up to date.
 227  - Personal configuration file now available under Unix like OS:s
 228
 229 Bugs
 230  - Options specific to modelfiles were ignored in some Utilties.
 231  - Gradients now output in windows. Just like with nmfe.
 232  - Bootstrap now consumes considerably less memory.
 233  - Removed unused/obsolete "resume" function from modelfit.
 234  - Sorted method entries in modelfit diagram.
 235  - Fixed bugs in parsing of OFV and eigenvalues.
 236
 237 Changes from 2.1.6 to 2.1.7
 238
 239 Bugs
 240  - "clean" and "compress" options now work under Windows.
 241  - SCM now handles crashed runs appropriately.
 242  - The ofv_forward, ofv_backward, p_forward and p_backward options of
 243    scm now works as they should.
 244
 245 Features
 246  - SCM improvements. The final model is now available in the
 247    first-level scm directory of each step.
 248  - The Utilties -help option is improved. You can now give a list of
 249    options to -help for specific documentation of those options, like
 250    so:
 251
 252    $ scm -help do_not_drop
 253
 254  - Minor changes in how the [nm_version] section in psn.conf i
 255    handled. Look in the psn.conf file that is distributed with PsN for
 256    more information.
 257  - SDE modelfiles are now supported. (see the -sde_records option)
 258  - The update_inits method of the model class now accepts an output
 259    file name as input.
 260  - Some attributes and accessors of the PsN-Core class 'output' have
 261    had their names changed to make it more clear what their purposes
 262    are:
 263         finalgrad          is now called     final_gradient
 264         parampath          is now called     parameter_path
 265         gradientpath       is now called     gradient_path
 266         covterm            is now called     covstep_termination
 267  - The Utilties now saves the command line that started it in a file
 268    "command.txt" under the corresponding directory.
 269  - Added a "silent" option to the Utilties that quenches all output.
 270  - "nice" option added to utilties that allows you to set priority in
 271    unix.
 272  - Rudimentary support for NorduGrid reinstated.
 273  - Installer script rewritten. It now supports Perl installations in
 274    nonstandard directories. Discrepancies between *nix and MSWin32 is
 275    smaller.
 276
 277 Internal changes
 278  - The code that is autogenerated with "dia2code" is optimized a
 279    bit and saves a hash "__valid_parameters" in each object, which
 280    allows the constructors to be used as a generic (shallow) copy.
 281
 282 Misc
 283  - continuous spelled correctly throughout SCM.
 284
 285
 286 Changes from 2.1.5 to 2.1.6
 287
 288 Bugs
 289  - Stratify_on bug in bootstrap method fixed.
 290  - Data files in directories different from model file are now
 291    possible.
 292  - Path name handling reimplemented. Relative paths are now handled
 293    better.
 294  - Models that generate table files would make PsN complain about
 295    missing files.
 296  - Its now possible to specify multiple output names as a
 297    comma-separated list to execute.
 298  - The scm can now go backwards.
 299  - Handling of table files now responds to the
 300    "ignore_missing_output_files" flag.
 301  - nmtran error messages was lost in Windows 2K. Execution of nmtran
 302    is more plattform independent now.  It uses a temporary file, but
 303    it is never bigger than the nmtran messages.
 304  - Fixed a bug that limited choice of compiler under unix.
 305  - Typo in scm utility fixed. (included_relations in backwards step).
 306
 307 Features
 308  - Added support for "$NONPARAMETRIC" record in model files.
 309  - A few improved error messages related to parsing of model files.
 310  - The SCM config file now features sections for parameter bounds and
 311    user-defined code
 312
 313 Internal changes
 314  - psn.conf settings are now available as global variables. psn.conf
 315    is only parsed once.