umbrella connection
[PsN.git] / README.txt
blob04d306066a8e8bc8bd47858686dcc79ee82eb80c
1 This version of PsN is tested with perl-5.8.4
2 Depending on your distribution you may have to install the following
3 perl packages:
5 Math::Random
6 Storable::Store
8 All available from CPAN ( www.cpan.org )
10   Changelog
11 ----------------------------------------------
13 Changes from 2.1.10 to 2.2.0 ( released for PsN course )
15 Features
17  - PsN Output module use a proper Matrix library for handling some of
18    the matrices of the outputfile.
20  - The bootstrap can now be resumed with a lower number of
21    samples. Meaning that if you are in a hurry and want to stop the
22    bootstrap and get results after 1000 out of 2000 runs, you can. At
23    a later time you can then resume the 2000 runs.
25  - Nonmem warnings are now printed if "--verbose" is givven.
27  - Automatic incrementation of directory names are a bit smarter (no
28    more "directory modelfit_dirX is in the way" messages).
30  - Clean is much more stringent and intelligent and now manages to
31    remove entire tool directories if desired.
33  - option list printed from "-h|-?" only shows utility specific options.
35  - Default values configurable on a per utility basis.
37  - Online documentation improved
38    
39  - Parallel run of NONMEM is not aborted as before if a outputfile is
40    not correctly parsed. It is just ignored, as if it had not
41    minimized successfully. (actually it is the output parser that
42    doesn't die, but the effect is the same)
44  - Parallel run is a bit nicer to the system when compiling many
45    NONMEMS. By adding a configurable delay between starts.
47  - Matlab and R scripts for various plots from cdd and bootstrap
48    results are distributed with PsN.
50  - Vast improvments in results presentations from all tools.
52  - Improvements in rerun algoritm with new "min_retries" option.
54  - Output from running utilties are much nicer.
56  - new "-quick_summary" prints minimization message and ofv value for
57    each finished run. As does "-verbose" option which also prints
58    "R:X" for each retrie (X is the retrie number).
60  - new "-summary" options prints diagnostics about the tool run when
61    it is finished. For "execute" the "-summary" option will have the
62    same function as the "sumo" utiltiy as well as some diagnostics.
64  - PsN now recognizes that control files may require fortran files and
65    copies them to the run directory. No need to add fotran files to
66    the --extra_files option any more.
68  - Added --extra_output which allows you to copy more than the output 
69    file from the run directory.
71 Bugs
73  - PsN couldn't parse IGNORE=(ITEM=VALUE) options in $DATA. Fixed :)
75  - If star notation was used in the scm config file section [inits],
76    [upper_bounds] or [lower_bounds] there was a risk of defining
77    relations that was not specified in [test_relations]. Which in turn
78    would cause a lot of diffrent errors. Fixed :)
80  - Using low_cutoff and hi_cutoff in data::sd resulted in PsN trying to use
81    the new compact data strings as the old arrays. fixed.
83  - Removed unecessary regular expression in output file parser.
85  - Not really a bug. But i tried to add "FIX" as a record option to a theta
86    records. Then when "store_init" was called on the "FIX" option PsN crashed
87    because the option was not a "theta_option". So i added a check for
88    "store_init" abilties... if FIX would become a record option in the future.
90  - Member accessor "datafile" replaced with "datafiles" in model. Affected
91    only the bootstrap which have been updated.
93  - An assumptions about outputfiles crashed sumo occationally. Some more
94    rigorous contentchecking has been added and fixed the problem.
96 Internal changes
97  - Cleanup of dubious utility options.
98  - Option help sorted alphabetically.
99  - "flush", "target" removed from model.
100  - "remove_temp_files" removed from modelfit.
101  - Changed the Makefile considerably, much simpler now.
102  - added "column_to_array" function in data module.
104 Changes from 2.1.9 to 2.1.10
106 Features
107 - The 'picky' option of all utilities now triggers on 
108         COVARIANCE STEP ABORTED         and
109         PROGRAM TERMINATED BY OBJ
111 Changes from 2.1.8 to 2.1.9
113 Features
114  - Nordugrid support reintroduced (but will probably not be developed further)
115  - Sumo now supports multiple problems and subproblems.
116  - Sumo has new option "precision" which control the number of digits
117    to present estimates with.
118  - An extra 'short' logfile is output from the scm with the most important
119    information.
121 Bugs
122  - Bootstrap option "stratify_on" doesn't work with columns defined in 
123    extra data files given with "extra_data" option. Not Fixed.
124  - Resumes of scm's with extra_data_files is now possible. Still some 
125    problems with scm's where search_direction=both.
126  - LSF options was not communicated properly between tools and subtools
127    so submission of bootstraps, llp, cdd and scm did not work. Fixed.
128  - Default values for LSF can now be configured in psn.conf.
129  - Print order of modelfiles places $MIX before $PRED. Fixed.
130  - extra_files option was broken. Fixed.
132 Internal Changes
133  - Tool will always fork subtools, this will save memory in the scm (and
134    other recursive tools).
135  - Common options need only be specified once. In one of three categories:
136    model_options, tool_options, script_options.
137  - models can now be created with "reference" objects. This solved the
138    scm resume problem.
139  - Added function to model that cleans extra data code.
141 Changes from 2.1.7 to 2.1.8
143 Features
144  - Rudimentary support for execution on Platform LSF grid systems is now
145    included. The following extra attributes are available to all tools
146    for controlling the execution:
148        run_on_lsf       - Use LSF
149        lsf_queue        - Use this queue on the grid
150        lsf_options      - General options for the grid queuing system.
151        lsf_project_name - Optional. May be used by the grid system
152                           administrator to register control project
153                           cpu usage.
154        lsf_job_name     - Optional. May be used by a grid system
155                           administrator to control multiple runs on a
156                           grid system.
158  - All tools now have a raw_results file holding the diagnotics and
159    parameter estimates for each NONMEM run.
160  - All tools now handles model files containing one $PROBLEM and no
161    SUBPROBLEMS only.
162  - The Bootstrap and CDD routines now create separate files holding
163    information about which individuals that were included/excluded
164    in/from each created data set.
165  - The Bootstrap results file now has warnings section to better
166    display which runs that were used for result calculations and which
167    were not
168  - PsN now tries to read psn.conf from the users home directory. (Will
169    require some extra documentation).
170  - Optimized modelfit thread operation by removing Storable::Store.
171  - The clean options has four levels of operation.
173         0 - No cleaning at all.
174         1 - Clean more, but make sure resumes work (this is default).
175         2 - Clean more, but make sure summarize work.
176         3 - Clean everything, keeping only results and logs.
178  - Some attributes and accessors of the PsN-Core class 'output' have
179    had their names changed to make it more clear what their purposes
180    are:
181         termination           is now called     minimization_successful
182         termination_message   is now called     minimization_message
183         covstep_termination   is now called     covariance_step_successful
185    these attributes are new:
187         covariance_step_warnings (boolean; 0 or 1)
188         estimate_near_boundary (boolean; 0 or 1)
190    The attribute which was previously called termination could have the
191    values 0, 0.5 and 1 for 'minimization terminates', 'minimization
192    successful but warnings or errors were printed from the covariance
193    step' and finally 'minimization successful'. The new attribute
194    'minimization_successful' can only take the values 0 and 1 and the
195    new attribute covariance_step_warnings now takes the value 1 when
196    covariance step warnings were found. Checks are also perfomed to
197    test whether the estimates are close to any boundary.
198  - Html documents is now generated from command line help text.
199    which ensures that they are consistent and up to date.
200  - Personal configuration file now available under Unix like OS:s
202 Bugs
203  - Options specific to modelfiles were ignored in some Utilties.
204  - Gradients now output in windows. Just like with nmfe.
205  - Bootstrap now consumes considerably less memory.
206  - Removed unused/obsolete "resume" function from modelfit.
207  - Sorted method entries in modelfit diagram.
208  - Fixed bugs in parsing of OFV and eigenvalues.
210 Changes from 2.1.6 to 2.1.7
212 Bugs
213  - "clean" and "compress" options now work under Windows.
214  - SCM now handles crashed runs appropriately.
215  - The ofv_forward, ofv_backward, p_forward and p_backward options of
216    scm now works as they should.
218 Features
219  - SCM improvements. The final model is now available in the
220    first-level scm directory of each step.
221  - The Utilties -help option is improved. You can now give a list of
222    options to -help for specific documentation of those options, like
223    so:
224    
225    $ scm -help do_not_drop
227  - Minor changes in how the [nm_version] section in psn.conf i
228    handled. Look in the psn.conf file that is distributed with PsN for
229    more information.
230  - SDE modelfiles are now supported. (see the -sde_records option)
231  - The update_inits method of the model class now accepts an output
232    file name as input.
233  - Some attributes and accessors of the PsN-Core class 'output' have
234    had their names changed to make it more clear what their purposes
235    are:
236         finalgrad          is now called     final_gradient
237         parampath          is now called     parameter_path
238         gradientpath       is now called     gradient_path
239         covterm            is now called     covstep_termination 
240  - The Utilties now saves the command line that started it in a file
241    "command.txt" under the corresponding directory.
242  - Added a "silent" option to the Utilties that quenches all output.
243  - "nice" option added to utilties that allows you to set priority in
244    unix.
245  - Rudimentary support for NorduGrid reinstated.
246  - Installer script rewritten. It now supports Perl installations in
247    nonstandard directories. Discrepancies between *nix and MSWin32 is
248    smaller.
250 Internal changes
251  - The code that is autogenerated with "dia2code" is optimized a
252    bit and saves a hash "__valid_parameters" in each object, which
253    allows the constructors to be used as a generic (shallow) copy.
255 Misc
256  - continuous spelled correctly throughout SCM.
259 Changes from 2.1.5 to 2.1.6
261 Bugs
262  - Stratify_on bug in bootstrap method fixed.
263  - Data files in directories different from model file are now
264    possible.
265  - Path name handling reimplemented. Relative paths are now handled
266    better.
267  - Models that generate table files would make PsN complain about
268    missing files.
269  - Its now possible to specify multiple output names as a
270    comma-separated list to execute.
271  - The scm can now go backwards.
272  - Handling of table files now responds to the
273    "ignore_missing_output_files" flag.
274  - nmtran error messages was lost in Windows 2K. Execution of nmtran
275    is more plattform independent now.  It uses a temporary file, but
276    it is never bigger than the nmtran messages.
277  - Fixed a bug that limited choice of compiler under unix.
278  - Typo in scm utility fixed. (included_relations in backwards step).
280 Features
281  - Added support for "$NONPARAMETRIC" record in model files.
282  - A few improved error messages related to parsing of model files.
283  - The SCM config file now features sections for parameter bounds and
284    user-defined code
286 Internal changes
287  - psn.conf settings are now available as global variables. psn.conf
288    is only parsed once.