doc/tags.txt

   1 vNext   Factory now can remove excessive glideins
   2           New ClassAd attribute - RemoveExcess
   3         Frontend will request removal of glideins when no user jobs in queue
   4         Improved idle counting by the frontend when jobs match many factory
   5           entries.
   6         Improved frontend logging.
   7         Add Java support in the glideins.
   8         Changed factory monitoring. It is now based on security names and not
   9           plain frontend names
  10
  11 v2_5    Installer can now install gridFTP and VOMS certs needed by CREAM
  12         glideinWMS release is now available in 3 different tarballs, frontend
  13           only, factory only and a complete tarball.
  14         glideinWMS factory and the Corral frontend can now talk to each other
  15         Factory is smarter about handling held glideins
  16         Factory can now black/white list VOs on a per-entry basis
  17         Version of glideinWMS is now published in the classads. Scheme can
  18           detect any changes to any service appropriate files and advertises
  19           cersion as patched.
  20         Frontend should try to recover the crashed group before it gives up and
  21           shutsdown
  22         Improvements to the monitoring
  23         Improvements to documentaion
  24         Add support for use of TCP in condor_advertise
  25         Add support for condor_advertise -multiple (requires Condor v7.5.4+)
  26         Improved factory stopping procedure
  27         Add XML monitoring files of RRD files on both factory and frontend
  28         Add JobsRunningHere attribute - CANNOT SIMPLY UPGRADE, NEEDS NEW
  29           INSTANCE FOR BOTH FACTORY AND FRONTEND
  30         Graceful shutdown of the glidein by trapping signals in glidein_startup
  31         BUG FIX: Fixed a bug where factory would create a malformed
  32           glideinWMS.xml config file when configured to use a default proxy
  33           for glideins from the factory.
  34         BUG FIX: Factory entry sometimes stops reporting when it gets an
  35           exception for any reason
  36         BUG FIX: Top-level schedd_status.xml malformed Total data
  37         BUG FIX: Fixed a bug where the LogCounts.rrd was created with wrong
  38           data types.
  39         KNOWN ISSUE: Automatic release of held glideins for CREAM CEs with
  40           issues could result in factory submitting more than required
  41           glideins to the CE. As a workaround, disable release of held glideins
  42           for CREAM CE.
  43
  44 v2_4_3  Install VOMS Certificates during the install time
  45         Entry does not print stacktrace when it fails to submit glidein.
  46           Instead it logs the error message appropriately.
  47         Default scripts run on the worker node correctly print errors to
  48           stderr instead of stdout
  49         Allow factory to startup from any directory
  50         Python scripts get the python from /usr/bin/env python instead of
  51           /bin/env python making them more portable accross different linux
  52           distros
  53         Better exception handling and error reporting
  54         Fixed how voms_proxy_init is looked for after VDT install
  55         BUG FIX: Fixed a bug where Summarize.listStored() in CondorMonitor.py
  56           returned the wrong value
  57         BUG FIX: Fixed a bug in factory monitoring that prevented proper
  58           aggregation of sites
  59         BUG FIX: Correctly interpret DN from a voms proxy generated from a
  60           service certificate.
  61         BUG FIX: Generate frontend's condor_config without empty values for
  62           certain configuration options. Empty values is not the right way to
  63           reset the configuration options.
  64
  65
  66 v2_4_2  Fixed the incompatibility introduced in v2_4_1 in monitoring components.
  67
  68 v2_4_1  Add a new configuration option for PREEMPT_GRACE_TIME
  69         Move configuration of GLIDEIN_Job_Max_Time from the factory to the
  70           frontend
  71         In factory config added checks to make sure Factory configuration is
  72           consistent w.r.t CONDOR_ARCH, CONDOR_VERSION, CONDOR_OS
  73         Monitoring enhancement to make selection/deselection of groups/entries
  74           easier
  75         Support GLIDEIN_Glexec_Use in frontend config attrs. Frontend can
  76           mandate or make the use of GLEXEC optional. Used in conjunction with
  77           GLEXEC_BIN in factory config. If GLEXEC_BIN in set to NONE for an
  78           entry in factory config, it is assumed that the entry doesn't have
  79           GLEXEC configured on site.
  80         Improvements to documentation
  81         BUG FIX: Allow the use of the same DN for both the security and the
  82           collector
  83         BUG FIX: Returning invalid variable during proxy creation
  84         KNOWN ISSUES: Running glideinWMS v2_4_1 with Condor 7.5.3 has not been
  85           tested. Altough, most of the things may work, security changes in
  86           Condor may affect your installation.
  87
  88
  89 v2_4    Add proxy security classes to the frontend
  90         Add SecurityName to the frontend.
  91         Add DNs for frontend proxy and all the daemons the frontend talks to;
  92           create own Condor config file and gldiein gridmap file out of them.
  93         Frontend now dynalically creates GLIDEIN_Collector.
  94         Frontend now requires Match authentication.
  95         Add frontend autentication info to the factory config.
  96         Add support for different frontend identities in different WMS
  97           collectors.
  98         Put log files in a separate tree.
  99         Put client logs and client proxies in separate trees.
 100         Implement privilege separation in the factory.
 101         Various minor refactoring of code to achieve the above.
 102         Aggregate gatekeeper/sites for factory monitoring.
 103         Introduced monitoringgroups to group sites together for monitoring
 104           purposes in factory.
 105         KNOWN ISSUES: Installer is not always able to get the correct
 106           DN from the certificates/proxies. It does not correctly strip the
 107           CN=<blah> bit of the DN in certain cases. If the DN guessed is not
 108           correct, make the required changes in the configurations and/or
 109           condor_mapfile.
 110
 111 v2_3_2  Fixed a security bug in the way certificate/proxy DN(s) are handled. If
 112           you are upgrading the installation rather than full install, you
 113           should patch the condor_mapfile used by Condor daemons in your
 114           installation using the convert_condormap tool available from the
 115           glideinWMS download page. For additional security, users should
 116           add new DN to the condor_mapfile only by using the glidecondor_addDN
 117           tool available in the glideinWMS/install directory.
 118
 119 v2_3_1  Updated documentation. This is document change only release
 120         Introduced monitoringgroups to group sites together for monitoring
 121           purposes in factory.
 122         KNOWN ISSUES: Installer is not always able to get the correct
 123           DN from the certificates/proxies. It does not correctly strip the
 124           CN=<blah> bit of the DN in certain cases. If the DN guessed is not
 125           correct, make the required changes in the configurations and/or
 126           condor_mapfile.
 127
 128 v2_3    Attempt to restart a crashed entry few times before shutting down the
 129           factory. Restarting is allowed for max restart_attempts in time
 130           interval restart_interval sec in te factory.
 131         Add vacuum option to manageDowntimes.
 132         Factory now properly handles new-style frontends without a group.
 133         Frontend code has been refactored to allow use as a library.
 134         More protections in place.
 135         Fixed a security bug in key handling. BREAKES BACKWARDS COMPATIBILITY! But it is needed.
 136         Fixed a bug in glidein_startup.sh that prevented the passing of * as a parameter value
 137         Fixed a logical bug in the glidein config that resulted in job preemption.
 138         Added support for condor_ssh (v7.4 and up)
 139         Add support for unquoted string to be published in classads. The type is 'expr'
 140         Documentation Changes
 141         Minor bugs fixed.
 142         KNOWN ISSUES: If using condor 7.4.0-7.4.2 and 7.5.0, USE_VOMS_ATTRIBUTESshould be set to false for Collector and negotiator to avoid potential problems and memory leaks in GSI libraries.
 143
 144 v2_2    Bug Fix: GLEXEC_JOB and GLEXEC_STARTER were not published in glideins
 145           classds. This was preventing psuedo interactive monitoring to work
 146           in case of GLEXEC.
 147         Made VDT optional.
 148         Addedd support for VDT 2.0, and made it the default.
 149           Added Globus-Client and Myproxy-Client in the minimal VDT install.
 150         Installer now allows the collector to run on non-standard port.
 151         Factory now only checks X509_USER_PROXY if it needs it.
 152         Added support for multiple versions of condor in a single factory.
 153         Added ReqEncIdentity to the frontend->factory protocol
 154            to prevent replay attacks.
 155            WARNING: This effectively prevents old-style frontends to talk
 156                     to new style factories.
 157            NOTE: Will only work with Condor 7.3.1 or newer
 158         KNOWN ISSUES: Pseudo interactive monitoring will not work with glexec.
 159
 160 v2_1    Fixed a bug that was throwing an exception if a glidein failed.
 161         Fixed handling of grid-mapfiles coming from client.
 162         Fixed support for nordugrid.
 163         Improvements to the monitoring.
 164         Improvements to the installer.
 165         Improved documentation.
 166
 167 v2_0    Refactoring creation libs;
 168           create_frontend and create_glidein now share much code
 169         Added create_frontend, recreate_frontend.
 170         Frontend now has a stage web area and passes it to the factory
 171           Factory publishes list of supported signtypes and
 172             frontend uses this for factory selection
 173           User provided code in the glidein API changed
 174             The 2nd arg is now one of main|entry|client|client_group
 175         Added tools/glidein_status.py.
 176         The monitoring page now has client-side monitoring based on
 177             javascriptRRD.
 178         Support multiple proxies... frontend drives this via plugins.
 179
 180 v1_6_3 Fixed a security bug in way certificate/proxy DN(s) are handled. If
 181           you are upgrading the installation rather than full install, you
 182           should patch the condor_mapfile used by Condor daemons in your
 183           installation using the convert_condormap tool available from the
 184           glideinWMS download page. For additional security, users should
 185           add new DN to the condor_mapfile only by using the glidecondor_addDN
 186           tool available in the glideinWMS/install directory.
 187
 188 v1_6_2  Fixed a bug where Frontend would crash during certain conditions.
 189
 190 v1_6_1  Better randomization of GCBs and collectors
 191         Collector list now supports ranges of ports
 192         Fixed Condor-G log parsing
 193         Better treatment of multiple-collectors in the installer
 194         Add support for CCB and USE_MATCH_AUTH in the installer.
 195         Add OSG:vo-client to the minimal VDT install
 196         Better handling of Nordugrid sites.
 197         Start factory in nice mode to give priority to Condor daemons
 198         In condor_config for glideins remove explicit STARTER_UPDATE_INTERVAL
 199         Removing GLIDEIN_Use_TCP, now uses UPDATE_COLLECTOR_WITH_TCP instead
 200         Force integrity on reads from WMS collector
 201         Better layout of monitoring pages
 202         Better error handling in Factory downtime management
 203         Better formatting of error logs for factory and frontend
 204         Bug Fix: GLEXEC_JOB and GLEXEC_STARTER were not published in glideins
 205           classds. This was preventing psuedo interactive monitoring to work
 206           in case of GLEXEC
 207         Improved documentation
 208
 209 v1_6    The XML file now supports comments.
 210         Installer uses both .profile and .bashrc.
 211         Frontend now requires integrity checks when talking to
 212           the WMS collector.
 213         Refactored install options so that most tasks performed
 214           as a non-privileged user.
 215         Added create_frontend, recreate_frontend.
 216         Refactoring creation libs;
 217           create_frontend and create_glidein now share much code
 218         Using m2crypto for sha1 checks.
 219         Added support for CCB.
 220         Monitoring refactored
 221           Most rrd operations now in separate module
 222           Groupes multiple attributes in the RRD files (lower overhead)
 223           Removed RRD locking
 224         Fixed Condor-G log parsing.
 225         Fixed startup bugs in various debug tools.
 226         Improved monitoring scalability (fewer RRD files)
 227
 228 v1_5_2  Fixed VDT installation
 229         Factory now changes public key at each restart.
 230         Minor monitoring improvements.
 231
 232 v1_5_1  Added flag that allows/requires proxies from frontend.
 233         Fixed bug in factory installation with encryption.
 234         The glidein now finds out about OSG squid.
 235         Fixed bug in the node blacklisting code.
 236
 237 v1_5    Added support for secure info passing between
 238           VO frontend and gfactory
 239           Requires M2Crypto Python module
 240         VO frontend can now give the gfactory int own proxy
 241           to be used for pilot submission
 242           Requires the encryption mentioned above
 243         gcb_setup is now loaded by default
 244           Can use GCB_ORDER=NONE to disable it
 245           Warning: Explicit listing of gcb_setup may create problems.
 246         glexec_setup is now loaded by default
 247           Can use GLEXEC_BIN=NONE to disable it
 248           Warning: Explicit listing of glexec_setup may create problems.
 249         Randomized the retire time to smooth terminations.
 250           Can be controlled via GLIDEIN_Retire_Time_Spread.
 251         Some monitoring tweaks.
 252           Added more switches; xml incompatible with v1_4+
 253         The factory config file is now read only.
 254         Added switches to limit log file growth.
 255
 256 v1_4_4  Add factory_constraint parameter to the frontend.
 257         Add support for GLEXEC_JOB.
 258         Add support for USE_MATCH_AUTH.
 259         Add new protection against condor_submit errors.
 260         Warnings go into the info file, too. Easier to correlate errors this way.
 261         Better colors in graphs.
 262
 263 v1_4_3  Improve scalability
 264           by adding locks into monitoring
 265           Now only one rdd update can proceed at a time, and
 266           only one graphing operation can proceed at a time
 267
 268 v1_4_2  Fix glexec setup script bug.
 269         Improve pseudo-interactive monitoring.
 270           The changes introduced in v1_4_1 could leave behind zombies.
 271
 272 v1_4_1  Improved pseudo-interactive monitoring
 273           By default use a separate startd for montoring
 274           Old multi-VM mode can be enabled by MONITOR_MODE=MULTI
 275         Fixed factory handling held jobs
 276         Improved installer defaults
 277
 278 v1_4    Better support for RESS and BDII
 279          Including automatic downtime handling
 280         User STARTD_SENDS_ALIVES=True by default.
 281         Disable glidein UDP port by default.
 282         Global files can now be loaded after entry
 283         Added support for job wrapper scripts.
 284         Fix monitor locking.
 285         gcb_setup now supports ORDER=NONE.
 286         gcb_setup is now loaded automatically.
 287         Add verbosity to entries.
 288         Add config section to entries.
 289         Improve held handling.
 290         Add a completed job log.
 291         Improve signal handling (for stopping factory)
 292         Made the most CPU intensive part of monitoring optional.
 293         Installer now supports multiple collectors.
 294
 295 v1_3    Factory and frontend now gets sleep and advertize attr from config.
 296         Add downtime concept to the factory and relative management tool.
 297         Add command to get info about factory config file.
 298         Add init.d style startup script.
 299         Fix pseudo-interactive monitoring when glexec is used.
 300         Reduce VO frontend condor_q load by adding job_attributes.
 301         VO frontend now queries the collector and advertises result.
 302         Smarter algorithm to calculate min_idle, also using condor_status.
 303         Improve monitoring.
 304
 305 v1_2_3  Fix glexec handling in condor v7.0.3
 306         Cut in half the number of condor_q's in the frontend.
 307         Minor monitoring twaeks.
 308         Minor installation tweaks.
 309
 310 v1_2_2  Fix condor installation.
 311         Update versions in installer.
 312         Added glidein_gcb and collector_setup.
 313         Add LIBEXEC to condor_config.
 314         Better support for EGEE.
 315
 316 v1_2_1  Added support for BDII.
 317         Added stop scripts for factory and frontend.
 318         Added tools/wmsTxtList.py and tools/glidein_interactive.py.
 319         All commands now are executable.
 320         Add client and Condor-G monitoring in factory data.
 321         Greatly improved log stats monitoring.
 322         Add doc section on monitoring.
 323
 324 v1_2    More fine grained configuration of glideins
 325         Factory reads now force integrity checks
 326         Glideins now publish the gatekeeper name.
 327
 328 v1_1    Entry points can now be updated by using reconfig_glidein
 329         Add automatic OSG glexec discovery
 330         Use condor_mapfile for authorization
 331         Installer now supports Condor v7 (without Quill)
 332         Installer now supports gLExec
 333         FIXED SECURITY CONFIGURATION, REINSTALL EVERYTHING
 334
 335 v1_0    During installation, Quill is now optional.
 336         During installation, Condor config can be split into condor_config.local.
 337         Files are now loaded in order specified.
 338         Added local_start.sh to ease testing.
 339         Slimmed down glidein_submit.sh.
 340         Many bugs fixed.
 341         NOT BACKWARD COMPATIBLE: Entry points need to be recreated.
 342
 343 v0_9    Significant speedup in the VO frontend matchmaking
 344         Added MaxRunningGlideins request
 345         Use human readable dates in logs
 346         Factory will use python rrd module if present
 347         Reduced graphing load of the factory
 348         Frontend will work even if some of the schedd are down
 349         Improved installation scripts.
 350         NOT BACKWARD COMPATIBLE: Need to recreate both frontend and factory entries
 351
 352 v0_8    Add support for multiple schedds
 353         Add initial support for pseudo interactive monitoring
 354         Inproved Web monitoring
 355         Better documentation
 356         NOT BACKWARD COMPATIBLE: Entry points need to be recreated.
 357
 358 v0_7    Add support for Condor 6.9.2 => subdirs in condor tarball
 359         Add support for user variables
 360         Move log and monitoring files into entry dir
 361         Add lock files
 362         Create proper ClassAd cleanup when daemons exit.
 363         NOT BACKWARD COMPATIBLE: Entry points need to be recreated.
 364
 365 v0_6    The glidein factory now serves multiple entry points.
 366         The config file is now XML based.
 367         NOT BACKWARD COMPATIBLE: Entry points need to be recreated.
 368
 369 v0_5    More bug fixes.
 370         Added monitoring info in the classads.
 371         Improved monitoring info of the Factory.
 372
 373 v0_4    Many bug fixes.
 374         Added RRD graphs to glidein factory.
 375
 376 v0_3    Added support for GCB and gLExec
 377         Better stability and logging.
 378         Many bug fixes.
 379         Greately improved user documentation.
 380         NOT BACKWARD COMPATIBLE: Entry points need to be recreated.
 381
 382 v0_2    First fully configured version
 383         Very few things are still hardcoded here
 384
 385 v0_1    The first fully functional version
 386         Needs more polishing and better configuration, but it works