pkgs/tools/audio/openai-whisper-cpp/default.nix

   1 { lib
   2 , stdenv
   3 , fetchFromGitHub
   4 , SDL2
   5 , makeWrapper
   6 , wget
   7 , which
   8 , Accelerate
   9 , CoreGraphics
  10 , CoreML
  11 , CoreVideo
  12 , MetalKit
  13
  14 , config
  15 , autoAddDriverRunpath
  16 , cudaSupport ? config.cudaSupport
  17 , cudaPackages ? {}
  18 }:
  19
  20 let
  21   # It's necessary to consistently use backendStdenv when building with CUDA support,
  22   # otherwise we get libstdc++ errors downstream.
  23   # cuda imposes an upper bound on the gcc version, e.g. the latest gcc compatible with cudaPackages_11 is gcc11
  24   effectiveStdenv = if cudaSupport then cudaPackages.backendStdenv else stdenv;
  25 in
  26 effectiveStdenv.mkDerivation (finalAttrs: {
  27   pname = "whisper-cpp";
  28   version = "1.7.1";
  29
  30   src = fetchFromGitHub {
  31     owner = "ggerganov";
  32     repo = "whisper.cpp";
  33     rev = "refs/tags/v${finalAttrs.version}" ;
  34     hash = "sha256-EDFUVjud79ZRCzGbOh9L9NcXfN3ikvsqkVSOME9F9oo=";
  35   };
  36
  37   # The upstream download script tries to download the models to the
  38   # directory of the script, which is not writable due to being
  39   # inside the nix store. This patch changes the script to download
  40   # the models to the current directory of where it is being run from.
  41   patches = [ ./download-models.patch ];
  42
  43   nativeBuildInputs = [
  44       which
  45       makeWrapper
  46     ] ++ lib.optionals cudaSupport [
  47       cudaPackages.cuda_nvcc
  48       autoAddDriverRunpath
  49     ];
  50
  51   buildInputs = [
  52       SDL2
  53     ] ++ lib.optionals stdenv.hostPlatform.isDarwin [
  54       Accelerate
  55       CoreGraphics
  56       CoreML
  57       CoreVideo
  58       MetalKit
  59     ] ++ lib.optionals cudaSupport ( with cudaPackages; [
  60       cuda_cccl # provides nv/target
  61       cuda_cudart
  62       libcublas
  63     ]);
  64
  65   postPatch = let
  66     cudaOldStr = "-lcuda ";
  67     cudaNewStr = "-lcuda -L${cudaPackages.cuda_cudart}/lib/stubs ";
  68   in lib.optionalString cudaSupport ''
  69     substituteInPlace Makefile \
  70       --replace-fail '${cudaOldStr}' '${cudaNewStr}'
  71   '';
  72
  73   env = lib.optionalAttrs stdenv.hostPlatform.isDarwin {
  74     WHISPER_COREML = "1";
  75     WHISPER_COREML_ALLOW_FALLBACK = "1";
  76     WHISPER_METAL_EMBED_LIBRARY = "1";
  77   } // lib.optionalAttrs cudaSupport {
  78     GGML_CUDA = "1";
  79   };
  80
  81   installPhase = ''
  82     runHook preInstall
  83
  84     mkdir -p $out/bin
  85
  86     cp ./main $out/bin/whisper-cpp
  87
  88     for file in *; do
  89       if [[ -x "$file" && -f "$file" && "$file" != "main" ]]; then
  90         cp "$file" "$out/bin/whisper-cpp-$file"
  91       fi
  92     done
  93
  94     cp models/download-ggml-model.sh $out/bin/whisper-cpp-download-ggml-model
  95
  96     wrapProgram $out/bin/whisper-cpp-download-ggml-model \
  97       --prefix PATH : ${lib.makeBinPath [wget]}
  98
  99     runHook postInstall
 100   '';
 101
 102   meta = with lib; {
 103     description = "Port of OpenAI's Whisper model in C/C++";
 104     longDescription = ''
 105       To download the models as described in the project's readme, you may
 106       use the `whisper-cpp-download-ggml-model` binary from this package.
 107     '';
 108     homepage = "https://github.com/ggerganov/whisper.cpp";
 109     license = licenses.mit;
 110     platforms = platforms.all;
 111     maintainers = with maintainers; [ dit7ya hughobrien ];
 112   };
 113 })