nixos/tests/spark/default.nix

   1 { pkgs, ... }:
   2
   3 let
   4   inherit (pkgs) lib;
   5   tests = {
   6     default = testsForPackage { sparkPackage = pkgs.spark; };
   7   };
   8
   9   testsForPackage = args: lib.recurseIntoAttrs {
  10     sparkCluster = testSparkCluster args;
  11     passthru.override = args': testsForPackage (args // args');
  12   };
  13   testSparkCluster = { sparkPackage, ... }: pkgs.testers.nixosTest ({
  14     name = "spark";
  15
  16     nodes = {
  17       worker = { nodes, pkgs, ... }: {
  18         services.spark = {
  19           package = sparkPackage;
  20           worker = {
  21             enable = true;
  22             master = "master:7077";
  23           };
  24         };
  25         virtualisation.memorySize = 2048;
  26       };
  27       master = { config, pkgs, ... }: {
  28         services.spark = {
  29           package = sparkPackage;
  30           master = {
  31             enable = true;
  32             bind = "0.0.0.0";
  33           };
  34         };
  35         networking.firewall.allowedTCPPorts = [ 22 7077 8080 ];
  36       };
  37     };
  38
  39     testScript = ''
  40       master.wait_for_unit("spark-master.service")
  41       worker.wait_for_unit("spark-worker.service")
  42       worker.copy_from_host( "${./spark_sample.py}", "/spark_sample.py" )
  43       assert "<title>Spark Master at spark://" in worker.succeed("curl -sSfkL http://master:8080/")
  44       worker.succeed("spark-submit --version | systemd-cat")
  45       worker.succeed("spark-submit --master spark://master:7077 --executor-memory 512m --executor-cores 1 /spark_sample.py")
  46     '';
  47   });
  48 in tests