cmake/gmxManageGPU.cmake

   1 #
   2 # This file is part of the GROMACS molecular simulation package.
   3 #
   4 # Copyright (c) 2012,2013,2014,2015,2016, by the GROMACS development team, led by
   5 # Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6 # and including many others, as listed in the AUTHORS file in the
   7 # top-level source directory and at http://www.gromacs.org.
   8 #
   9 # GROMACS is free software; you can redistribute it and/or
  10 # modify it under the terms of the GNU Lesser General Public License
  11 # as published by the Free Software Foundation; either version 2.1
  12 # of the License, or (at your option) any later version.
  13 #
  14 # GROMACS is distributed in the hope that it will be useful,
  15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17 # Lesser General Public License for more details.
  18 #
  19 # You should have received a copy of the GNU Lesser General Public
  20 # License along with GROMACS; if not, see
  21 # http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22 # Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23 #
  24 # If you want to redistribute modifications to GROMACS, please
  25 # consider that scientific software is very special. Version
  26 # control is crucial - bugs must be traceable. We will be happy to
  27 # consider code for inclusion in the official distribution, but
  28 # derived work must not be called official GROMACS. Details are found
  29 # in the README & COPYING files - if they are missing, get the
  30 # official version at http://www.gromacs.org.
  31 #
  32 # To help us fund GROMACS development, we humbly ask that you cite
  33 # the research papers on the package. Check out http://www.gromacs.org.
  34
  35 # If the user did not set GMX_GPU we'll consider this option to be
  36 # in "auto" mode meaning that we will:
  37 # - search for CUDA and set GMX_GPU=ON we find it
  38 # - check whether GPUs are present
  39 # - if CUDA is not found but GPUs were detected issue a warning
  40 if (NOT DEFINED GMX_GPU)
  41     set(GMX_GPU_AUTO TRUE CACHE INTERNAL "GPU acceleration will be selected automatically")
  42 endif()
  43 option(GMX_GPU "Enable GPU acceleration" OFF)
  44
  45 if(GMX_GPU AND GMX_DOUBLE)
  46     message(FATAL_ERROR "GPU acceleration is not available in double precision!")
  47 endif()
  48 if(GMX_GPU_AUTO AND GMX_DOUBLE)
  49     message(WARNING "GPU acceleration is not available in double precision, disabled!")
  50     set_property(CACHE GMX_GPU PROPERTY VALUE OFF)
  51     set_property(CACHE GMX_GPU_AUTO PROPERTY VALUE OFF)
  52 endif()
  53
  54 # detect GPUs in the build host machine
  55 if ((GMX_GPU OR GMX_GPU_AUTO) AND NOT GMX_GPU_DETECTION_DONE)
  56     include(gmxDetectGpu)
  57     gmx_detect_gpu()
  58 endif()
  59
  60 # CMake 3.0-3.1 has a bug in the following case, which breaks
  61 # configuration on at least BlueGene/Q. Fixed in 3.1.1
  62 if ((NOT CMAKE_VERSION VERSION_LESS "3.0.0") AND
  63     (CMAKE_VERSION VERSION_LESS "3.1.1") AND
  64         (CMAKE_CROSSCOMPILING AND NOT CMAKE_SYSTEM_PROCESSOR))
  65     message(STATUS "Cannot search for CUDA because the CMake find package has a bug. Set a valid CMAKE_SYSTEM_PROCESSOR if you need to detect CUDA")
  66 else()
  67     set(CAN_RUN_CUDA_FIND_PACKAGE 1)
  68 endif()
  69
  70 # We need to call find_package even when we've already done the detection/setup
  71 if(GMX_GPU OR GMX_GPU_AUTO AND CAN_RUN_CUDA_FIND_PACKAGE)
  72     if(NOT GMX_GPU AND NOT GMX_DETECT_GPU_AVAILABLE)
  73         # Stay quiet when detection has occured and found no GPU.
  74         # Noise is acceptable when there is a GPU or the user required one.
  75         set(FIND_CUDA_QUIETLY QUIET)
  76     endif()
  77
  78     # Cmake tries to use the static cuda runtime by default,
  79     # but this leads to unusable GPU builds on OS X.
  80     if(APPLE)
  81         set(CUDA_USE_STATIC_CUDA_RUNTIME OFF CACHE STRING "Use the static version of the CUDA runtime library if available")
  82     endif()
  83
  84     find_package(CUDA ${REQUIRED_CUDA_VERSION} ${FIND_CUDA_QUIETLY})
  85
  86     # Cmake 2.8.12 (and CMake 3.0) introduced a new bug where the cuda
  87     # library dir is added twice as an rpath on APPLE, which in turn causes
  88     # the install_name_tool to wreck the binaries when it tries to remove this
  89     # path. Since this is set inside the cuda module, we remove the extra rpath
  90     # added in the library string - an rpath is not a library anyway, and at
  91     # least for Gromacs this works on all CMake versions. This should be
  92     # reasonably future-proof, since newer versions of CMake appear to handle
  93     # the rpath automatically based on the provided library path, meaning
  94     # the explicit rpath specification is no longer needed.
  95     if(APPLE AND (CMAKE_VERSION VERSION_GREATER 2.8.11))
  96         foreach(elem ${CUDA_LIBRARIES})
  97             if(elem MATCHES "-Wl,.*")
  98                 list(REMOVE_ITEM CUDA_LIBRARIES ${elem})
  99             endif()
 100         endforeach(elem)
 101     endif()
 102 endif()
 103
 104 # Depending on the current vale of GMX_GPU and GMX_GPU_AUTO:
 105 # - OFF, FALSE: Will skip this detection/setup.
 106 # - OFF, TRUE : Will keep GMX_GPU=OFF if no CUDA is detected, but will assemble
 107 #               a warning message which will be issued at the end of the
 108 #               configuration if GPU(s) were found in the build system.
 109 # - ON , FALSE: The user requested GPU build and this requires CUDA, so we will
 110 #               fail if it is not available.
 111 # - ON , TRUE : Can't happen (GMX_GPU=ON can only be user-set at this point)
 112 if((GMX_GPU OR GMX_GPU_AUTO) AND NOT GMX_GPU_DETECTION_DONE)
 113     if (EXISTS ${CUDA_TOOLKIT_ROOT_DIR})
 114         set(CUDA_FOUND TRUE CACHE INTERNAL "Whether the CUDA toolkit was found" FORCE)
 115     else()
 116         set(CUDA_FOUND FALSE CACHE INTERNAL "Whether the CUDA toolkit was found" FORCE)
 117     endif()
 118
 119     # assemble warning/error message
 120     if (GMX_DETECT_GPU_AVAILABLE)
 121         set(_msg "${GMX_DETECT_GPU_COUNT} NVIDIA GPU(s) found in the system")
 122
 123         # append GPU names
 124         if (NOT GMX_DETECT_GPU_INFO STREQUAL "")
 125             set(_msg "${_msg}:")
 126             foreach(gpu ${GMX_DETECT_GPU_INFO})
 127                 set(_msg "${_msg}
 128 ${gpu}")
 129             endforeach()
 130         endif()
 131
 132         # TODO remove the second part of the message when we'll have compute
 133         # capability information from the detection.
 134         set(_msg "${_msg}
 135 Compute capability information not available, consult the NVIDIA website:
 136 https://developer.nvidia.com/cuda-gpus")
 137     endif()
 138
 139         set(CUDA_NOTFOUND_MESSAGE "mdrun supports native GPU acceleration on NVIDIA hardware with compute capability >= ${REQUIRED_CUDA_COMPUTE_CAPABILITY} (Fermi or later). This requires the NVIDIA CUDA toolkit, which was not found. Its location can be hinted by setting the CUDA_TOOLKIT_ROOT_DIR CMake option (does not work as an environment variable). The typical location would be /usr/local/cuda[-version]. Note that CPU or GPU acceleration can be selected at runtime.
 140
 141 ${_msg}")
 142         unset(_msg)
 143
 144     if (NOT CUDA_FOUND)
 145         if (GMX_GPU_AUTO)
 146             # Disable GPU acceleration in auto mode
 147             message(STATUS "No compatible CUDA toolkit found (v5.0+), disabling native GPU acceleration")
 148             set_property(CACHE GMX_GPU PROPERTY VALUE OFF)
 149             set(CUDA_NOTFOUND_AUTO ON)
 150         else()
 151             # the user requested CUDA, but it wasn't found
 152             message(FATAL_ERROR "${CUDA_NOTFOUND_MESSAGE}")
 153         endif()
 154     else()
 155         if (GMX_GPU_AUTO)
 156             message(STATUS "Enabling native GPU acceleration")
 157             set_property(CACHE GMX_GPU PROPERTY VALUE ON)
 158         endif()
 159     endif() # NOT CUDA_FOUND
 160 endif()
 161
 162 # Try to find NVML if a GPU accelerated binary should be build.
 163 if (GMX_GPU)
 164     if (DEFINED NVML_LIBRARY)
 165         set(NVML_FIND_QUIETLY TRUE)
 166     endif()
 167     find_package(NVML)
 168     option(GMX_USE_NVML "Use NVML support for better CUDA performance" ${NVML_FOUND})
 169     mark_as_advanced(GMX_USE_NVML)
 170     if(GMX_USE_NVML)
 171         if(NVML_FOUND)
 172             include_directories(SYSTEM ${NVML_INCLUDE_DIR})
 173             set(HAVE_NVML 1)
 174             list(APPEND GMX_EXTRA_LIBRARIES ${NVML_LIBRARY})
 175         else()
 176             message(FATAL_ERROR "NVML support was required, but was not detected. Please consult the install guide.")
 177         endif()
 178     endif()
 179 endif()
 180
 181 # Annoyingly enough, FindCUDA leaves a few variables behind as non-advanced.
 182 # We need to mark these advanced outside the conditional, otherwise, if the
 183 # user turns GMX_GPU=OFF after a failed cmake pass, these variables will be
 184 # left behind in the cache.
 185 mark_as_advanced(CUDA_BUILD_CUBIN CUDA_BUILD_EMULATION CUDA_SDK_ROOT_DIR CUDA_VERBOSE_BUILD # cmake 2.8.9 still spews these, check again when requirements change
 186                  CUDA_SEPARABLE_COMPILATION      # not present at least with cmake 3.2, remove when required
 187                  CUDA_USE_STATIC_CUDA_RUNTIME    # since cmake 3.3
 188                  CUDA_dl_LIBRARY CUDA_rt_LIBRARY # - || -
 189                  )
 190 if(NOT GMX_GPU)
 191     mark_as_advanced(CUDA_TOOLKIT_ROOT_DIR)
 192 endif()
 193
 194 # Try to execute ${CUDA_NVCC_EXECUTABLE} --version and set the output
 195 # (or an error string) in the argument variable.
 196 # Note that semicolon is used as separator for nvcc.
 197 #
 198 # Parameters:
 199 #   COMPILER_INFO   - [output variable] string with compiler path, ID and
 200 #                     some compiler-provided information
 201 #   COMPILER_FLAGS  - [output variable] flags for the compiler
 202 #
 203 macro(get_cuda_compiler_info COMPILER_INFO COMPILER_FLAGS)
 204     if(CUDA_NVCC_EXECUTABLE)
 205
 206         # Get the nvcc version string. This is multi-line, but since it is only 4 lines
 207         # and might change in the future it is better to store than trying to parse out
 208         # the version from the current format.
 209         execute_process(COMMAND ${CUDA_NVCC_EXECUTABLE} --version
 210             RESULT_VARIABLE _nvcc_version_res
 211             OUTPUT_VARIABLE _nvcc_version_out
 212             ERROR_VARIABLE  _nvcc_version_err
 213             OUTPUT_STRIP_TRAILING_WHITESPACE)
 214         if (${_nvcc_version_res} EQUAL 0)
 215             # Fix multi-line mess: Replace newline with ";" so we can use it in a define
 216             string(REPLACE "\n" ";" _nvcc_info_singleline ${_nvcc_version_out})
 217             SET(${COMPILER_INFO} "${CUDA_NVCC_EXECUTABLE} ${_nvcc_info_singleline}")
 218             string(TOUPPER ${CMAKE_BUILD_TYPE} _build_type)
 219             SET(_compiler_flags "${CUDA_NVCC_FLAGS_${_build_type}}")
 220             if(CUDA_PROPAGATE_HOST_FLAGS)
 221                 string(REGEX REPLACE "[ ]+" ";" _cxx_flags_nospace "${BUILD_CXXFLAGS}")
 222             endif()
 223             SET(${COMPILER_FLAGS} "${CUDA_NVCC_FLAGS}${CUDA_NVCC_FLAGS_${_build_type}}; ${_cxx_flags_nospace}")
 224         else()
 225             SET(${COMPILER_INFO} "N/A")
 226             SET(${COMPILER_FLAGS} "N/A")
 227         endif()
 228     endif()
 229 endmacro ()
 230
 231 include(CMakeDependentOption)
 232 include(gmxOptionUtilities)
 233 macro(gmx_gpu_setup)
 234     if(GMX_GPU)
 235         if(NOT CUDA_NVCC_EXECUTABLE)
 236             message(FATAL_ERROR "nvcc is required for a CUDA build, please set CUDA_TOOLKIT_ROOT_DIR appropriately")
 237         endif()
 238
 239         # set up nvcc options
 240         include(gmxManageNvccConfig)
 241
 242         gmx_check_if_changed(_cuda_version_changed CUDA_VERSION)
 243
 244         # Generate CUDA RT API version string which will end up in config.h
 245         # We do this because nvcc is silly enough to not define its own version
 246         # (which should match the CUDA runtime API version AFAICT) and we want to
 247         # avoid creating the fragile dependency on cuda_runtime_api.h.
 248         #
 249         # NOTE: CUDA v7.5 is expected to have nvcc define it own version, so in the
 250         # future we should switch to using that version string instead of our own.
 251         if (NOT GMX_CUDA_VERSION OR _cuda_version_changed)
 252             MATH(EXPR GMX_CUDA_VERSION "${CUDA_VERSION_MAJOR}*1000 + ${CUDA_VERSION_MINOR}*10")
 253         endif()
 254
 255         if (_cuda_version_changed)
 256             # check the generated CUDA API version against the one present in cuda_runtime_api.h
 257             try_compile(_get_cuda_version_compile_res
 258                 ${CMAKE_BINARY_DIR}
 259                 ${CMAKE_SOURCE_DIR}/cmake/TestCUDAVersion.c
 260                 COMPILE_DEFINITIONS "-DGMX_CUDA_VERSION=${GMX_CUDA_VERSION}"
 261                 CMAKE_FLAGS "-DINCLUDE_DIRECTORIES=${CUDA_TOOLKIT_INCLUDE}"
 262                 OUTPUT_VARIABLE _get_cuda_version_compile_out)
 263
 264             if (NOT _get_cuda_version_compile_res)
 265                 if (_get_cuda_version_compile_out MATCHES "CUDA version mismatch")
 266                     message(FATAL_ERROR "The CUDA API version generated internally from the compiler version does not match the version reported by cuda.h. This means either that the CUDA detection picked up mismatching nvcc and the CUDA headers (likely not part of the same toolkit installation) or that there is an error in the internal version generation. If you are sure that it is not the former causing the error (check the relevant cache variables), define the GMX_CUDA_VERSION cache variable to work around the error.")
 267                 else()
 268                     message(FATAL_ERROR "Could not detect CUDA runtime API version")
 269                 endif()
 270             endif()
 271         endif()
 272
 273         # no OpenMP is no good!
 274         if(NOT GMX_OPENMP)
 275             message(WARNING "To use GPU acceleration efficiently, mdrun requires OpenMP multi-threading. Without OpenMP a single CPU core can be used with a GPU which is not optimal. Note that with MPI multiple processes can be forced to use a single GPU, but this is typically inefficient. You need to set both C and C++ compilers that support OpenMP (CC and CXX environment variables, respectively) when using GPUs.")
 276         endif()
 277     endif() # GMX_GPU
 278
 279     cmake_dependent_option(GMX_CUDA_NB_SINGLE_COMPILATION_UNIT
 280         "Whether to compile the CUDA non-bonded module using a single compilation unit." ON
 281         "GMX_GPU" ON)
 282     mark_as_advanced(GMX_CUDA_NB_SINGLE_COMPILATION_UNIT)
 283
 284     if (GMX_GPU)
 285         # We need to use single compilation unit for kernels:
 286         # - when compiling for CC 2.x devices where buggy kernel code is generated
 287         gmx_check_if_changed(_gmx_cuda_target_changed GMX_CUDA_TARGET_SM GMX_CUDA_TARGET_COMPUTE CUDA_NVCC_FLAGS)
 288         if(_gmx_cuda_target_changed OR NOT GMX_GPU_DETECTION_DONE)
 289             if((NOT GMX_CUDA_TARGET_SM AND NOT GMX_CUDA_TARGET_COMPUTE) OR
 290                (GMX_CUDA_TARGET_SM MATCHES "2[01]" OR GMX_CUDA_TARGET_COMPUTE MATCHES "2[01]"))
 291                message(STATUS "Enabling single compilation unit for the CUDA non-bonded module. Multiple compilation units are not compatible with CC 2.x devices, to enable the feature specify only CC >=3.0 target architectures in GMX_CUDA_TARGET_SM/GMX_CUDA_TARGET_COMPUTE.")
 292                 set_property(CACHE GMX_CUDA_NB_SINGLE_COMPILATION_UNIT PROPERTY VALUE ON)
 293             else()
 294                 message(STATUS "Enabling multiple compilation units for the CUDA non-bonded module.")
 295                 set_property(CACHE GMX_CUDA_NB_SINGLE_COMPILATION_UNIT PROPERTY VALUE OFF)
 296             endif()
 297         endif()
 298     endif()
 299 endmacro()