Add env. var. to enable OpenCL caching
[gromacs/AngularHB.git] / docs / user-guide / environment-variables.rst
blob04fc25ba13e96f8d7d626ffeba7cd0a51c6aa688
1 Environment Variables
2 =====================
4 |Gromacs| programs may be influenced by the use of
5 environment variables.  First of all, the variables set in
6 the ``GMXRC`` file are essential for running and
7 compiling |Gromacs|. Some other useful environment variables are
8 listed in the following sections. Most environment variables function
9 by being set in your shell to any non-NULL value. Specific
10 requirements are described below if other values need to be set. You
11 should consult the documentation for your shell for instructions on
12 how to set environment variables in the current shell, or in configuration
13 files for future shells. Note that requirements for exporting
14 environment variables to jobs run under batch control systems vary and
15 you should consult your local documentation for details.
17 Output Control
18 --------------
19 ``GMX_CONSTRAINTVIR``
20         Print constraint virial and force virial energy terms.
22 ``GMX_MAXBACKUP``
23         |Gromacs| automatically backs up old
24         copies of files when trying to write a new file of the same
25         name, and this variable controls the maximum number of
26         backups that will be made, default 99. If set to 0 it fails to
27         run if any output file already exists. And if set to -1 it
28         overwrites any output file without making a backup.
30 ``GMX_NO_QUOTES``
31         if this is explicitly set, no cool quotes
32         will be printed at the end of a program.
34 ``GMX_SUPPRESS_DUMP``
35         prevent dumping of step files during
36         (for example) blowing up during failure of constraint
37         algorithms.
39 ``GMX_TPI_DUMP``
40         dump all configurations to a :ref:`pdb`
41         file that have an interaction energy less than the value set
42         in this environment variable.
44 ``GMX_VIEW_XPM``
45         ``GMX_VIEW_XVG``, ``GMX_VIEW_EPS`` and ``GMX_VIEW_PDB``, commands used to
46         automatically view :ref:`xvg`, :ref:`xpm`, :ref:`eps`
47         and :ref:`pdb` file types, respectively; they default to ``xv``, ``xmgrace``,
48         ``ghostview`` and ``rasmol``. Set to empty to disable
49         automatic viewing of a particular file type. The command will
50         be forked off and run in the background at the same priority
51         as the |Gromacs| tool (which might not be what you want).
52         Be careful not to use a command which blocks the terminal
53         (e.g. ``vi``), since multiple instances might be run.
55 ``GMX_VIRIAL_TEMPERATURE``
56         print virial temperature energy term
58 ``GMX_LOG_BUFFER``
59         the size of the buffer for file I/O. When set
60         to 0, all file I/O will be unbuffered and therefore very slow.
61         This can be handy for debugging purposes, because it ensures
62         that all files are always totally up-to-date.
64 ``GMX_LOGO_COLOR``
65         set display color for logo in :ref:`gmx view`.
67 ``GMX_PRINT_LONGFORMAT``
68         use long float format when printing
69         decimal values.
71 ``GMX_COMPELDUMP``
72         Applies for computational electrophysiology setups
73         only (see reference manual). The initial structure gets dumped to
74         :ref:`pdb` file, which allows to check whether multimeric channels have
75         the correct PBC representation.
77 Debugging
78 ---------
79 ``GMX_PRINT_DEBUG_LINES``
80         when set, print debugging info on line numbers.
82 ``GMX_DD_NST_DUMP``
83         number of steps that elapse between dumping
84         the current DD to a PDB file (default 0). This only takes effect
85         during domain decomposition, so it should typically be
86         0 (never), 1 (every DD phase) or a multiple of :mdp:`nstlist`.
88 ``GMX_DD_NST_DUMP_GRID``
89         number of steps that elapse between dumping
90         the current DD grid to a PDB file (default 0). This only takes effect
91         during domain decomposition, so it should typically be
92         0 (never), 1 (every DD phase) or a multiple of :mdp:`nstlist`.
94 ``GMX_DD_DEBUG``
95         general debugging trigger for every domain
96         decomposition (default 0, meaning off). Currently only checks
97         global-local atom index mapping for consistency.
99 ``GMX_DD_NPULSE``
100         over-ride the number of DD pulses used
101         (default 0, meaning no over-ride). Normally 1 or 2.
103 There are a number of extra environment variables like these
104 that are used in debugging - check the code!
106 Performance and Run Control
107 ---------------------------
108 ``GMX_DO_GALACTIC_DYNAMICS``
109         planetary simulations are made possible (just for fun) by setting
110         this environment variable, which allows setting :mdp:`epsilon-r` to -1 in the :ref:`mdp`
111         file. Normally, :mdp:`epsilon-r` must be greater than zero to prevent a fatal error.
112         See webpage_ for example input files for a planetary simulation.
114 ``GMX_ALLOW_CPT_MISMATCH``
115         when set, runs will not exit if the
116         ensemble set in the :ref:`tpr` file does not match that of the
117         :ref:`cpt` file.
119 ``GMX_CUDA_NB_EWALD_TWINCUT``
120         force the use of twin-range cutoff kernel even if :mdp:`rvdw` equals
121         :mdp:`rcoulomb` after PP-PME load balancing. The switch to twin-range kernels is automated,
122         so this variable should be used only for benchmarking.
124 ``GMX_CUDA_NB_ANA_EWALD``
125         force the use of analytical Ewald kernels. Should be used only for benchmarking.
127 ``GMX_CUDA_NB_TAB_EWALD``
128         force the use of tabulated Ewald kernels. Should be used only for benchmarking.
130 ``GMX_CUDA_STREAMSYNC``
131         force the use of cudaStreamSynchronize on ECC-enabled GPUs, which leads
132         to performance loss due to a known CUDA driver bug present in API v5.0 NVIDIA drivers (pre-30x.xx).
133         Cannot be set simultaneously with ``GMX_NO_CUDA_STREAMSYNC``.
135 ``GMX_DISABLE_CUDALAUNCH``
136         disable the use of the lower-latency cudaLaunchKernel API even when supported (CUDA >=v7.0).
137         Should only be used for benchmarking purposes.
139 ``GMX_CYCLE_ALL``
140         times all code during runs.  Incompatible with threads.
142 ``GMX_CYCLE_BARRIER``
143         calls MPI_Barrier before each cycle start/stop call.
145 ``GMX_DD_ORDER_ZYX``
146         build domain decomposition cells in the order
147         (z, y, x) rather than the default (x, y, z).
149 ``GMX_DD_USE_SENDRECV2``
150         during constraint and vsite communication, use a pair
151         of ``MPI_Sendrecv`` calls instead of two simultaneous non-blocking calls
152         (default 0, meaning off). Might be faster on some MPI implementations.
154 ``GMX_DLB_BASED_ON_FLOPS``
155         do domain-decomposition dynamic load balancing based on flop count rather than
156         measured time elapsed (default 0, meaning off).
157         This makes the load balancing reproducible, which can be useful for debugging purposes.
158         A value of 1 uses the flops; a value > 1 adds (value - 1)*5% of noise to the flops to increase the imbalance and the scaling.
160 ``GMX_DLB_MAX_BOX_SCALING``
161         maximum percentage box scaling permitted per domain-decomposition
162         load-balancing step (default 10)
164 ``GMX_DD_RECORD_LOAD``
165         record DD load statistics for reporting at end of the run (default 1, meaning on)
167 ``GMX_DETAILED_PERF_STATS``
168         when set, print slightly more detailed performance information
169         to the :ref:`log` file. The resulting output is the way performance summary is reported in versions
170         4.5.x and thus may be useful for anyone using scripts to parse :ref:`log` files or standard output.
172 ``GMX_DISABLE_SIMD_KERNELS``
173         disables architecture-specific SIMD-optimized (SSE2, SSE4.1, AVX, etc.)
174         non-bonded kernels thus forcing the use of plain C kernels.
176 ``GMX_DISABLE_CUDA_TIMING``
177         timing of asynchronously executed GPU operations can have a
178         non-negligible overhead with short step times. Disabling timing can improve performance in these cases.
180 ``GMX_DISABLE_GPU_DETECTION``
181         when set, disables GPU detection even if :ref:`gmx mdrun` was compiled
182         with GPU support.
184 ``GMX_DISRE_ENSEMBLE_SIZE``
185         the number of systems for distance restraint ensemble
186         averaging. Takes an integer value.
188 ``GMX_EMULATE_GPU``
189         emulate GPU runs by using algorithmically equivalent CPU reference code instead of
190         GPU-accelerated functions. As the CPU code is slow, it is intended to be used only for debugging purposes.
191         The behavior is automatically triggered if non-bonded calculations are turned off using ``GMX_NO_NONBONDED``
192         case in which the non-bonded calculations will not be called, but the CPU-GPU transfer will also be skipped.
194 ``GMX_ENX_NO_FATAL``
195         disable exiting upon encountering a corrupted frame in an :ref:`edr`
196         file, allowing the use of all frames up until the corruption.
198 ``GMX_FORCE_UPDATE``
199         update forces when invoking ``mdrun -rerun``.
201 ``GMX_GPU_ID``
202         set in the same way as ``mdrun -gpu_id``, ``GMX_GPU_ID``
203         allows the user to specify different GPU id-s, which can be useful for selecting different
204         devices on different compute nodes in a cluster.  Cannot be used in conjunction with ``mdrun -gpu_id``.
206 ``GMX_IGNORE_FSYNC_FAILURE_ENV``
207         allow :ref:`gmx mdrun` to continue even if
208         a file is missing.
210 ``GMX_LJCOMB_TOL``
211         when set to a floating-point value, overrides the default tolerance of
212         1e-5 for force-field floating-point parameters.
214 ``GMX_MAXCONSTRWARN``
215         if set to -1, :ref:`gmx mdrun` will
216         not exit if it produces too many LINCS warnings.
218 ``GMX_NB_GENERIC``
219         use the generic C kernel.  Should be set if using
220         the group-based cutoff scheme and also sets ``GMX_NO_SOLV_OPT`` to be true,
221         thus disabling solvent optimizations as well.
223 ``GMX_NB_MIN_CI``
224         neighbor list balancing parameter used when running on GPU. Sets the
225         target minimum number pair-lists in order to improve multi-processor load-balance for better
226         performance with small simulation systems. Must be set to a non-negative integer,
227         the 0 value disables list splitting.
228         The default value is optimized for supported GPUs (NVIDIA Fermi to Maxwell),
229         therefore changing it is not necessary for normal usage, but it can be useful on future architectures.
231 ``GMX_NBLISTCG``
232         use neighbor list and kernels based on charge groups.
234 ``GMX_NBNXN_CYCLE``
235         when set, print detailed neighbor search cycle counting.
237 ``GMX_NBNXN_EWALD_ANALYTICAL``
238         force the use of analytical Ewald non-bonded kernels,
239         mutually exclusive of ``GMX_NBNXN_EWALD_TABLE``.
241 ``GMX_NBNXN_EWALD_TABLE``
242         force the use of tabulated Ewald non-bonded kernels,
243         mutually exclusive of ``GMX_NBNXN_EWALD_ANALYTICAL``.
245 ``GMX_NBNXN_SIMD_2XNN``
246         force the use of 2x(N+N) SIMD CPU non-bonded kernels,
247         mutually exclusive of ``GMX_NBNXN_SIMD_4XN``.
249 ``GMX_NBNXN_SIMD_4XN``
250         force the use of 4xN SIMD CPU non-bonded kernels,
251         mutually exclusive of ``GMX_NBNXN_SIMD_2XNN``.
253 ``GMX_NO_ALLVSALL``
254         disables optimized all-vs-all kernels.
256 ``GMX_NO_CART_REORDER``
257         used in initializing domain decomposition communicators. Rank reordering
258         is default, but can be switched off with this environment variable.
260 ``GMX_NO_LJ_COMB_RULE``
261         force the use of LJ paremeter lookup instead of using combination rules
262         in the non-bonded kernels.
264 ``GMX_NO_CUDA_STREAMSYNC``
265         the opposite of ``GMX_CUDA_STREAMSYNC``. Disables the use of the
266         standard cudaStreamSynchronize-based GPU waiting to improve performance when using CUDA driver API
267         ealier than v5.0 with ECC-enabled GPUs.
269 ``GMX_NO_INT``, ``GMX_NO_TERM``, ``GMX_NO_USR1``
270         disable signal handlers for SIGINT,
271         SIGTERM, and SIGUSR1, respectively.
273 ``GMX_NO_NODECOMM``
274         do not use separate inter- and intra-node communicators.
276 ``GMX_NO_NONBONDED``
277         skip non-bonded calculations; can be used to estimate the possible
278         performance gain from adding a GPU accelerator to the current hardware setup -- assuming that this is
279         fast enough to complete the non-bonded calculations while the CPU does bonded force and PME computation.
281 ``GMX_NO_PULLVIR``
282         when set, do not add virial contribution to COM pull forces.
284 ``GMX_NOPREDICT``
285         shell positions are not predicted.
287 ``GMX_NO_SOLV_OPT``
288         turns off solvent optimizations; automatic if ``GMX_NB_GENERIC``
289         is enabled.
291 ``GMX_NSCELL_NCG``
292         the ideal number of charge groups per neighbor searching grid cell is hard-coded
293         to a value of 10. Setting this environment variable to any other integer value overrides this hard-coded
294         value.
296 ``GMX_PME_NTHREADS``
297         set the number of OpenMP or PME threads (overrides the number guessed by
298         :ref:`gmx mdrun`.
300 ``GMX_PME_P3M``
301         use P3M-optimized influence function instead of smooth PME B-spline interpolation.
303 ``GMX_PME_THREAD_DIVISION``
304         PME thread division in the format "x y z" for all three dimensions. The
305         sum of the threads in each dimension must equal the total number of PME threads (set in
306         `GMX_PME_NTHREADS`).
308 ``GMX_PMEONEDD``
309         if the number of domain decomposition cells is set to 1 for both x and y,
310         decompose PME in one dimension.
312 ``GMX_REQUIRE_SHELL_INIT``
313         require that shell positions are initiated.
315 ``GMX_REQUIRE_TABLES``
316         require the use of tabulated Coulombic
317         and van der Waals interactions.
319 ``GMX_SCSIGMA_MIN``
320         the minimum value for soft-core sigma. **Note** that this value is set
321         using the :mdp:`sc-sigma` keyword in the :ref:`mdp` file, but this environment variable can be used
322         to reproduce pre-4.5 behavior with respect to this parameter.
324 ``GMX_TPIC_MASSES``
325         should contain multiple masses used for test particle insertion into a cavity.
326         The center of mass of the last atoms is used for insertion into the cavity.
328 ``GMX_USE_GRAPH``
329         use graph for bonded interactions.
331 ``GMX_VERLET_BUFFER_RES``
332         resolution of buffer size in Verlet cutoff scheme.  The default value is
333         0.001, but can be overridden with this environment variable.
335 ``HWLOC_XMLFILE``
336         Not strictly a |Gromacs| environment variable, but on large machines
337         the hwloc detection can take a few seconds if you have lots of MPI processes.
338         If you run the hwloc command `lstopo out.xml` and set this environment
339         variable to point to the location of this file, the hwloc library will use
340         the cached information instead, which can be faster.
342 ``MPIRUN``
343         the ``mpirun`` command used by :ref:`gmx tune_pme`.
345 ``MDRUN``
346         the :ref:`gmx mdrun` command used by :ref:`gmx tune_pme`.
348 ``GMX_NSTLIST``
349         sets the default value for :mdp:`nstlist`, preventing it from being tuned during
350         :ref:`gmx mdrun` startup when using the Verlet cutoff scheme.
352 ``GMX_USE_TREEREDUCE``
353         use tree reduction for nbnxn force reduction. Potentially faster for large number of
354         OpenMP threads (if memory locality is important).
356 .. _opencl-management:
358 OpenCL management
359 -----------------
360 Currently, several environment variables exist that help customize some aspects
361 of the OpenCL_ version of |Gromacs|. They are mostly related to the runtime
362 compilation of OpenCL kernels, but they are also used in device selection.
364 ``GMX_OCL_NOGENCACHE``
365         If set, disable caching for OpenCL kernel builds. Caching is
366         normally useful so that future runs can re-use the compiled
367         kernels from previous runs. Currently, caching is always
368         disabled, until we solve concurrency issues.
370 ``GMX_OCL_GENCACHE``
371         Enable OpenCL binary caching. Only intended to be used for
372         development and (expert) testing as neither concurrency
373         nor cache invalidation is implemented safely!
375 ``GMX_OCL_NOFASTGEN``
376         If set, generate and compile all algorithm flavors, otherwise
377         only the flavor required for the simulation is generated and
378         compiled.
380 ``GMX_OCL_FASTMATH``
381         Adds the option ``cl-fast-relaxed-math`` to the compiler
382         options (in the CUDA version this is enabled by default, it is likely that
383         the same will happen with the OpenCL version soon)
385 ``GMX_OCL_DUMP_LOG``
386         If defined, the OpenCL build log is always written to the
387         mdrun log file. Otherwise, the build log is written to the
388         log file only when an error occurs.
390 ``GMX_OCL_VERBOSE``
391         If defined, it enables verbose mode for OpenCL kernel build.
392         Currently available only for NVIDIA GPUs. See ``GMX_OCL_DUMP_LOG``
393         for details about how to obtain the OpenCL build log.
395 ``GMX_OCL_DUMP_INTERM_FILES``
397         If defined, intermediate language code corresponding to the
398         OpenCL build process is saved to file. Caching has to be
399         turned off in order for this option to take effect (see
400         ``GMX_OCL_NOGENCACHE``).
402             - NVIDIA GPUs: PTX code is saved in the current directory
403               with the name ``device_name.ptx``
404             - AMD GPUs: ``.IL/.ISA`` files will be created for each OpenCL
405               kernel built.  For details about where these files are
406               created check AMD documentation for ``-save-temps`` compiler
407               option.
409 ``GMX_OCL_DEBUG``
410         Use in conjunction with ``OCL_FORCE_CPU`` or with an AMD device.
411         It adds the debug flag to the compiler options (-g).
413 ``GMX_OCL_NOOPT``
414         Disable optimisations. Adds the option ``cl-opt-disable`` to the
415         compiler options.
417 ``GMX_OCL_FORCE_CPU``
418         Force the selection of a CPU device instead of a GPU.  This
419         exists only for debugging purposes. Do not expect |Gromacs| to
420         function properly with this option on, it is solely for the
421         simplicity of stepping in a kernel and see what is happening.
423 ``GMX_OCL_DISABLE_I_PREFETCH``
424         Disables i-atom data (type or LJ parameter) prefetch allowig
425         testing.
427 ``GMX_OCL_ENABLE_I_PREFETCH``
428         Enables i-atom data (type or LJ parameter) prefetch allowig
429         testing on platforms where this behavior is not default.
431 ``GMX_OCL_NB_ANA_EWALD``
432         Forces the use of analytical Ewald kernels. Equivalent of
433         CUDA environment variable ``GMX_CUDA_NB_ANA_EWALD``
435 ``GMX_OCL_NB_TAB_EWALD``
436         Forces the use of tabulated Ewald kernel. Equivalent
437         of CUDA environment variable ``GMX_OCL_NB_TAB_EWALD``
439 ``GMX_OCL_NB_EWALD_TWINCUT``
440         Forces the use of twin-range cutoff kernel. Equivalent of
441         CUDA environment variable ``GMX_CUDA_NB_EWALD_TWINCUT``
443 ``GMX_DISABLE_OCL_TIMING``
444         Disables timing for OpenCL operations
446 ``GMX_OCL_FILE_PATH``
447         Use this parameter to force |Gromacs| to load the OpenCL
448         kernels from a custom location. Use it only if you want to
449         override |Gromacs| default behavior, or if you want to test
450         your own kernels.
452 Analysis and Core Functions
453 ---------------------------
454 ``GMX_QM_ACCURACY``
455         accuracy in Gaussian L510 (MC-SCF) component program.
457 ``GMX_QM_ORCA_BASENAME``
458         prefix of :ref:`tpr` files, used in Orca calculations
459         for input and output file names.
461 ``GMX_QM_CPMCSCF``
462         when set to a nonzero value, Gaussian QM calculations will
463         iteratively solve the CP-MCSCF equations.
465 ``GMX_QM_MODIFIED_LINKS_DIR``
466         location of modified links in Gaussian.
468 ``DSSP``
469         used by :ref:`gmx do_dssp` to point to the ``dssp``
470         executable (not just its path).
472 ``GMX_QM_GAUSS_DIR``
473         directory where Gaussian is installed.
475 ``GMX_QM_GAUSS_EXE``
476         name of the Gaussian executable.
478 ``GMX_DIPOLE_SPACING``
479         spacing used by :ref:`gmx dipoles`.
481 ``GMX_MAXRESRENUM``
482         sets the maximum number of residues to be renumbered by
483         :ref:`gmx grompp`. A value of -1 indicates all residues should be renumbered.
485 ``GMX_FFRTP_TER_RENAME``
486         Some force fields (like AMBER) use specific names for N- and C-
487         terminal residues (NXXX and CXXX) as :ref:`rtp` entries that are normally renamed. Setting
488         this environment variable disables this renaming.
490 ``GMX_PATH_GZIP``
491         ``gunzip`` executable, used by :ref:`gmx wham`.
493 ``GMX_FONT``
494         name of X11 font used by :ref:`gmx view`.
496 ``GMXTIMEUNIT``
497         the time unit used in output files, can be
498         anything in fs, ps, ns, us, ms, s, m or h.
500 ``GMX_QM_GAUSSIAN_MEMORY``
501         memory used for Gaussian QM calculation.
503 ``MULTIPROT``
504         name of the ``multiprot`` executable, used by the
505         contributed program ``do_multiprot``.
507 ``NCPUS``
508         number of CPUs to be used for Gaussian QM calculation
510 ``GMX_ORCA_PATH``
511         directory where Orca is installed.
513 ``GMX_QM_SA_STEP``
514         simulated annealing step size for Gaussian QM calculation.
516 ``GMX_QM_GROUND_STATE``
517         defines state for Gaussian surface hopping calculation.
519 ``GMX_TOTAL``
520         name of the ``total`` executable used by the contributed
521         ``do_shift`` program.
523 ``GMX_ENER_VERBOSE``
524         make :ref:`gmx energy` and :ref:`gmx eneconv`
525         loud and noisy.
527 ``VMD_PLUGIN_PATH``
528         where to find VMD plug-ins. Needed to be
529         able to read file formats recognized only by a VMD plug-in.
531 ``VMDDIR``
532         base path of VMD installation.
534 ``GMX_USE_XMGR``
535         sets viewer to ``xmgr`` (deprecated) instead of ``xmgrace``.