.gitlab-ci.yml

   1 ####
   2 # DO NOT EDIT THIS FILE IN MASTER.  ONLY EDIT IT IN THE OLDEST SUPPORTED
   3 # BRANCH, THEN MERGE FORWARD.
   4 ####
   5
   6 # This file controls how gitlab validates Tor commits and merge requests.
   7 #
   8 # It is primarily based on a set of scripts and configurations by
   9 # Hans-Christoph Steiner.  It only copies parts of those scripts and
  10 # configurations for now.  If you want a new piece of functionality
  11 # (more debians, more fedoras, android support) then you shouldn't
  12 # start from scratch: have a look at the original ticket, at
  13 # https://gitlab.torproject.org/tpo/core/tor/-/issues/32193 !
  14 #
  15 # The file to copy from is
  16 # https://gitlab.torproject.org/tpo/core/tor/-/merge_requests/96/diffs#diff-content-587d266bb27a4dc3022bbed44dfa19849df3044c
  17 #
  18 # Having said that, if there is anything really stupid here, don't
  19 # blame it on Hans-Christoph! Tor probably added it on their own.
  20 #
  21 # Copyright 2020, The Tor Project, Inc.
  22 # See LICENSE for licence information.
  23
  24 # These variables are set everywhere, unconditionally.
  25 variables:
  26   TERM: "ansi"
  27   DEBUG_CI: "yes"
  28
  29 # This template is for exporting ephemeral things from the scripts.  By
  30 # convention we expect our scripts to copy stuff into artifacts/, rather than
  31 # having a big list of files that be treated as artifacts.
  32 .artifacts-template: &artifacts-template
  33   artifacts:
  34     name: "${CI_PROJECT_PATH}_${CI_JOB_STAGE}_${CI_COMMIT_REF_NAME}_${CI_COMMIT_SHA}"
  35     expire_in: 1 week
  36     when: always
  37     paths:
  38       - artifacts/
  39
  40
  41 # This template is used for x86-64 builds.
  42 .x86-64-template: &x86-64-template
  43   tags:
  44     - amd64
  45
  46 # This template should be usable on any system that's based on apt.
  47 .apt-template: &apt-template |
  48       export LC_ALL=C.UTF-8
  49       echo Etc/UTC > /etc/timezone
  50       mkdir -p apt-cache
  51       export APT_CACHE_DIR="$(pwd)/apt-cache"
  52       echo 'quiet "1";' \
  53            'APT::Install-Recommends "0";' \
  54            'APT::Install-Suggests "0";' \
  55            'APT::Acquire::Retries "20";' \
  56            'APT::Get::Assume-Yes "true";' \
  57            'Dpkg::Use-Pty "0";' \
  58            "Dir::Cache::Archives \"${APT_CACHE_DIR}\"; " \
  59         >> /etc/apt/apt.conf.d/99gitlab
  60       apt-get update -qq
  61       apt-get upgrade -qy
  62
  63 # This template sets us up for Debian system in particular.
  64 .debian-template: &debian-template
  65   <<: *artifacts-template
  66   <<: *x86-64-template
  67   variables:
  68     DEBIAN_FRONTEND: "noninteractive"
  69   # TODO: Using "cache" in this way speeds up our downloads.  It would be
  70   # even better, though, to start with a pre-upgraded debian image.
  71   #
  72   # TODO: Will we have to do this differently once we have more than one
  73   # debian version that we're using?
  74   cache:
  75     key: apt
  76     paths:
  77       - apt-cache
  78   before_script:
  79     - *apt-template
  80     # Install patches unconditionally.
  81     - apt-get install
  82         automake
  83         build-essential
  84         ca-certificates
  85         git
  86         libevent-dev
  87         liblzma-dev
  88         libscrypt-dev
  89         libseccomp-dev
  90         libssl-dev
  91         pkg-config
  92         python3
  93         zlib1g-dev
  94     # Install patches that we only need for some use cases.
  95     - if [ "$ASCIIDOC" = yes ]; then apt-get install asciidoc xmlto; fi
  96     - if [ "$DOXYGEN" = yes ]; then apt-get install doxygen; fi
  97     - if [ "$STEM" = yes ]; then apt-get install timelimit; fi
  98     - if [ "$CC" = clang ]; then apt-get install clang; fi
  99     - if [ "$NSS" = yes ]; then apt-get install libnss3 libnss3-dev; fi
 100     # llvm-symbolizer for sanitizer backtrace
 101     - if [ "$HARDENING" = yes ]; then apt-get install llvm; fi
 102     # TODO: This next line should not be debian-only.
 103     - if [ "$STEM" = yes ]; then git clone --depth 1 https://git.torproject.org/stem.git ; export STEM_PATH="$(pwd)/stem"; fi
 104     # TODO: This next line should not be debian-only.
 105     - if [ "$CHUTNEY" = yes ]; then git clone --depth 1 https://git.torproject.org/chutney.git ;  export CHUTNEY_PATH="$(pwd)/chutney"; fi
 106     - if [ "$TRACING" = yes ]; then apt install liblttng-ust-dev; fi
 107
 108 # Minimal check on debian: just make, make check.
 109 #
 110 debian-minimal:
 111   image: debian:buster
 112   <<: *debian-template
 113   script:
 114     - ./scripts/ci/ci-driver.sh
 115
 116 # Minimal check on debian/i386: just make, make check.
 117 #
 118 debian-i386-minimal:
 119   image: i386/debian:buster
 120   <<: *debian-template
 121   script:
 122     - ./scripts/ci/ci-driver.sh
 123
 124 #####
 125 # Run "make check" with a hardened clang on debian stable.  This takes
 126 # care of a hardening check, and a compile-with-clang check.
 127 #
 128 # TODO: This will be faster once we merge #40098 and #40099.
 129 debian-hardened:
 130   image: debian:bullseye
 131   <<: *debian-template
 132   variables:
 133     ALL_BUGS_ARE_FATAL: "yes"
 134     HARDENING: "yes"
 135     CC: "clang"
 136   script:
 137     - ./scripts/ci/ci-driver.sh
 138
 139 #####
 140 # Distcheck on debian stable
 141 debian-distcheck:
 142   image: debian:buster
 143   <<: *debian-template
 144   variables:
 145     DISTCHECK: "yes"
 146     CHECK: "no"
 147   script:
 148     - ./scripts/ci/ci-driver.sh
 149
 150 #####
 151 # Documentation tests on debian stable: doxygen and asciidoc.
 152 debian-docs:
 153   image: debian:buster
 154   <<: *debian-template
 155   variables:
 156     DOXYGEN: "yes"
 157     ASCIIDOC: "yes"
 158     CHECK: "no"
 159     RUN_STAGE_BUILD: "no"
 160   script:
 161     - ./scripts/ci/ci-driver.sh
 162
 163 #####
 164 # Integration tests on debian stable: chutney and stem.
 165 #
 166 # TODO: It would be cool if this target didn't have to re-build tor, and
 167 #       could instead re-use Tor from debian-minimal.  That can be done
 168 #       with the 'artifacts' mechanism, in theory, but it would be good to
 169 #       avoid having to have a system with hundreds of artifacts.
 170 debian-integration:
 171   image: debian:buster
 172   <<: *debian-template
 173   variables:
 174     CHECK: "no"
 175     CHUTNEY: "yes"
 176     CHUTNEY_MAKE_TARGET: "test-network-all"
 177     STEM: "yes"
 178     ALL_BUGS_ARE_FATAL: "yes"
 179   script:
 180     - ./scripts/ci/ci-driver.sh
 181
 182 #####
 183 # Tracing build on Debian stable.
 184 debian-tracing:
 185   image: debian:buster
 186   <<: *debian-template
 187   variables:
 188     TRACING: "yes"
 189     CHECK: "no"
 190     DISTCHECK: "yes"
 191   script:
 192     - ./scripts/ci/ci-driver.sh
 193
 194 #####
 195 # No-authority mode
 196 debian-disable-dirauth:
 197   image: debian:buster
 198   <<: *debian-template
 199   variables:
 200     DISABLE_DIRAUTH: "yes"
 201   script:
 202     - ./scripts/ci/ci-driver.sh
 203
 204 #####
 205 # No-relay mode
 206 debian-disable-relay:
 207   image: debian:buster
 208   <<: *debian-template
 209   variables:
 210     DISABLE_RELAY: "yes"
 211   script:
 212     - ./scripts/ci/ci-driver.sh
 213
 214 #####
 215 # NSS check on debian
 216 debian-nss:
 217   image: debian:buster
 218   <<: *debian-template
 219   variables:
 220     NSS: "yes"
 221   script:
 222     - ./scripts/ci/ci-driver.sh
 223
 224 #####
 225 # Debian packaging triggers for maintenance branches
 226 debian-packaging-0.4.5:
 227   stage: deploy
 228   trigger:
 229     project: tpo/core/debian/tor
 230     branch: debian-0.4.5
 231   rules:
 232     - if: $CI_PROJECT_NAMESPACE == "tpo/core" &&
 233           $CI_COMMIT_BRANCH == "maint-0.4.5"
 234 debian-packaging-0.4.6:
 235   stage: deploy
 236   trigger:
 237     project: tpo/core/debian/tor
 238     branch: debian-0.4.6
 239   rules:
 240     - if: $CI_PROJECT_NAMESPACE == "tpo/core" &&
 241           $CI_COMMIT_BRANCH == "maint-0.4.6"