.github/workflows/validate.yml

   1 name: Validate
   2
   3 # We use bash as default even in windows
   4 # to try keep the workflow as uniform as possible
   5 defaults:
   6   run:
   7     shell: bash
   8
   9 # See: https://docs.github.com/en/actions/reference/workflow-syntax-for-github-actions#concurrency.
  10 concurrency:
  11   group: ${{ github.ref }}-${{ github.workflow }}
  12   cancel-in-progress: true
  13
  14 on:
  15   push:
  16     branches:
  17       - master
  18   pull_request:
  19   release:
  20     types:
  21       - created
  22
  23 env:
  24   # We choose a stable ghc version across all os's
  25   # which will be used to do the next release
  26   GHC_FOR_RELEASE: '9.2.7'
  27   # Ideally we should use the version about to be released for hackage tests and benchmarks
  28   GHC_FOR_SOLVER_BENCHMARKS: '9.2.7'
  29   GHC_FOR_COMPLETE_HACKAGE_TESTS: '9.2.7'
  30   COMMON_FLAGS: '-j 2 -v'
  31
  32 jobs:
  33   validate:
  34     name: Validate ${{ matrix.os }} ghc-${{ matrix.ghc }}
  35     runs-on: ${{ matrix.os }}
  36     outputs:
  37       GHC_FOR_RELEASE: ${{ format('["{0}"]', env.GHC_FOR_RELEASE) }}
  38     strategy:
  39       matrix:
  40         os: ["ubuntu-20.04", "macos-latest", "windows-latest"]
  41         ghc: ["9.6.1", "9.4.4", "9.2.7", "9.0.2", "8.10.7", "8.8.4", "8.6.5", "8.4.4"]
  42         exclude:
  43           # corrupts GHA cache or the fabric of reality itself, see https://github.com/haskell/cabal/issues/8356
  44           - os: "windows-latest"
  45             ghc: "8.10.7"
  46           # lot of segfaults caused by ghc bugs
  47           - os: "windows-latest"
  48             ghc: "8.8.4"
  49           # it also throws segfaults randomly
  50           - os: "windows-latest"
  51             ghc: "8.4.4"
  52           # it often randomly does "C:\Users\RUNNER~1\AppData\Local\Temp\ghcFEDE.c: DeleteFile "\\\\?\\C:\\Users\\RUNNER~1\\AppData\\Local\\Temp\\ghcFEDE.c": permission denied (Access is denied.)"
  53           - os: "windows-latest"
  54             ghc: "8.6.5"
  55
  56     steps:
  57
  58       - uses: actions/checkout@v3
  59
  60       #  See the following link for a breakdown of the following step
  61       #  https://github.com/haskell/actions/issues/7#issuecomment-745697160
  62       - uses: actions/cache@v3
  63         with:
  64           # validate.sh uses a special build dir
  65           path: |
  66             ${{ steps.setup-haskell.outputs.cabal-store }}
  67             dist-*
  68           key: ${{ runner.os }}-${{ matrix.ghc }}-${{ github.sha }}
  69           restore-keys: ${{ runner.os }}-${{ matrix.ghc }}-
  70
  71       - uses: haskell/actions/setup@v2
  72         id: setup-haskell
  73         with:
  74           ghc-version: ${{ matrix.ghc }}
  75           cabal-version: '3.10.1.0'
  76
  77       - name: Work around git problem https://bugs.launchpad.net/ubuntu/+source/git/+bug/1993586 (cabal PR #8546)
  78         run: |
  79           git config --global protocol.file.allow always
  80
  81       # The '+exe' constraint below is important, otherwise cabal-install
  82       # might decide to build the library but not the executable which is
  83       # what we need.
  84       - name: Install cabal-plan
  85         run: |
  86           cd $(mktemp -d)
  87           cabal install cabal-plan --allow-newer="base" --constraint='cabal-plan +exe'
  88           echo "$HOME/.cabal/bin:$HOME/.local/bin" >> $GITHUB_PATH
  89
  90       # The tool is not essential to the rest of the test suite. If
  91       # hackage-repo-tool is not present, any test that requires it will
  92       # be skipped.
  93       # We want to keep this in the loop but we don't want to fail if
  94       # hackage-repo-tool breaks or fails to support a newer GHC version.
  95       - name: Install hackage-repo-tool
  96         continue-on-error: true
  97         run: |
  98           cd $(mktemp -d)
  99           cabal install hackage-repo-tool
 100
 101       # Needed by cabal-testsuite/PackageTests/Configure/setup.test.hs
 102       - name: Install Autotools
 103         if: runner.os == 'macOS'
 104         run: |
 105           brew install automake
 106
 107       - name: Set validate inputs
 108         run: |
 109           FLAGS="${{ env.COMMON_FLAGS }}"
 110           if [[ "${{ matrix.cli }}" == "false" ]]; then
 111             FLAGS="$FLAGS --lib-only"
 112           fi
 113           if [[ ${{ matrix.ghc }} == ${{ env.GHC_FOR_SOLVER_BENCHMARKS }} ]]; then
 114             FLAGS="$FLAGS --solver-benchmarks"
 115           fi
 116           if [[ ${{ matrix.ghc }} == ${{ env.GHC_FOR_COMPLETE_HACKAGE_TESTS }} ]]; then
 117             FLAGS="$FLAGS --complete-hackage-tests"
 118           fi
 119           echo "FLAGS=$FLAGS" >> $GITHUB_ENV
 120
 121       - name: Allow newer dependencies when built with latest GHC
 122         if: ${{ matrix.ghc }} == '9.6.1'
 123         run: |
 124           echo "allow-newer: rere:base, rere:transformers" >> cabal.project.validate
 125
 126       - name: Validate print-config
 127         run: sh validate.sh $FLAGS -s print-config
 128
 129       - name: Validate print-tool-versions
 130         run: sh validate.sh $FLAGS -s print-tool-versions
 131
 132       - name: Validate build
 133         run: sh validate.sh $FLAGS -s build
 134
 135       - name: Tar cabal head executable
 136         if: matrix.cli != 'false' && matrix.ghc == env.GHC_FOR_RELEASE
 137         run: |
 138           CABAL_EXEC=$(cabal-plan list-bin --builddir=dist-newstyle-validate-ghc-${{ matrix.ghc }} cabal-install:exe:cabal)
 139           # We have to tar the executable to preserve executable permissions
 140           # see https://github.com/actions/upload-artifact/issues/38
 141           if [[ ${{ runner.os }} == 'Windows' ]]; then
 142             # `cabal-plan` gives us a windows path but tar needs the posix one
 143             CABAL_EXEC=$(cygpath $CABAL_EXEC)
 144           fi
 145           if [[ "${{ runner.os }}" == "macOS" ]]; then
 146              # Workaround to avoid bsdtar corrupts the executable
 147              # so executing it after untar throws `cannot execute binary file`
 148              # see https://github.com/actions/virtual-environments/issues/2619#issuecomment-788397841
 149              sudo /usr/sbin/purge
 150           fi
 151           tar -cvf cabal-head.tar -C $(dirname "$CABAL_EXEC") $(basename "$CABAL_EXEC")
 152           echo "CABAL_EXEC_TAR=cabal-head.tar" >> $GITHUB_ENV
 153
 154       # We upload the cabal executable built with the ghc used in the release for:
 155       # - Reuse it in the dogfooding job (although we could use the cached build dir)
 156       # - Make it available in the workflow to make easier testing it locally
 157       - name: Upload cabal-install executable to workflow artifacts
 158         if: matrix.cli != 'false' && matrix.ghc == env.GHC_FOR_RELEASE
 159         uses: actions/upload-artifact@v3
 160         with:
 161           name: cabal-${{ runner.os }}-${{ matrix.ghc }}
 162           path: ${{ env.CABAL_EXEC_TAR }}
 163
 164       - name: Validate lib-tests
 165         env:
 166           # `rawSystemStdInOut reports text decoding errors`
 167           # test does not find ghc without the full path in windows
 168           GHCPATH: ${{ steps.setup-haskell.outputs.ghc-exe }}
 169         run: sh validate.sh $FLAGS -s lib-tests
 170
 171       - name: Validate lib-suite
 172         # Have to disable *-suite validation:
 173         # - the Windows@9.6.1 problem is tracked at https://github.com/haskell/cabal/issues/8858
 174         # - but curently can't run it with GHC 9.6, tracking: https://github.com/haskell/cabal/issues/8883
 175         if: (runner.os != 'Windows')  || (matrix.ghc != '9.6.1')
 176         run: sh validate.sh $FLAGS -s lib-suite
 177
 178       - name: Validate cli-tests
 179         if: matrix.cli != 'false'
 180         run: sh validate.sh $FLAGS -s cli-tests
 181
 182       - name: Validate cli-suite
 183         # Have to disable *-suite validation, see above the comment for lib-suite
 184         if: ((runner.os != 'Windows')  || (matrix.ghc != '9.6.1')) && (matrix.cli != 'false')
 185         run: sh validate.sh $FLAGS -s cli-suite
 186
 187   validate-old-ghcs:
 188     name: Validate old ghcs ${{ matrix.extra-ghc }}
 189     runs-on: ubuntu-20.04
 190     needs: validate
 191     # This job needs an older ubuntu (16.04) cause
 192     # the required old ghcs using the `-dyn` flavour
 193     # are not installable from ppa/hvr in newer ones
 194     # see https://github.com/haskell/cabal/issues/8011
 195     container:
 196       image: phadej/ghc:8.8.4-xenial
 197
 198     strategy:
 199       matrix:
 200         # Newer ghc versions than 8.8.4 have to be installed with ghcup cause
 201         # they are not available in ppa/hvr. The ghcup installation
 202         # needs `sudo` which is not available in the xenial container
 203         ghc: ["8.8.4"]
 204         extra-ghc: ["7.10.3", "7.8.4", "7.6.3", "7.4.2", "7.2.2", "7.0.4"]
 205
 206     steps:
 207
 208       # We can't use actions/checkout with the xenial docker container
 209       # cause it does not work with the git version included in it, see:
 210       # https://github.com/actions/checkout/issues/170
 211       # https://github.com/actions/checkout/issues/295
 212       # - uses: actions/checkout@v3
 213       - name: Checkout
 214         run: |
 215           echo $GITHUB_REF $GITHUB_SHA
 216           git clone --depth 1 https://github.com/$GITHUB_REPOSITORY.git .
 217           git fetch origin $GITHUB_SHA:temporary-ci-branch
 218           git checkout $GITHUB_SHA || (git fetch && git checkout $GITHUB_SHA)
 219
 220       - name: Install extra compiler
 221         run: |
 222           apt-get update
 223           apt-get install -y ghc-${{ matrix.extra-ghc }}-dyn
 224
 225       - uses: haskell/actions/setup@v2
 226         id: setup-haskell
 227         with:
 228           ghc-version: ${{ matrix.ghc }}
 229           cabal-version: latest # latest is mandatory for cabal-testsuite, see https://github.com/haskell/cabal/issues/8133
 230
 231       # As we are reusing the cached build dir from the previous step
 232       # the generated artifacts are available here,
 233       # including the cabal executable and the test suite
 234       - uses: actions/cache@v3
 235         with:
 236           path: |
 237             ${{ steps.setup-haskell.outputs.cabal-store }}
 238             dist-*
 239           key: ${{ runner.os }}-${{ matrix.ghc }}-${{ github.sha }}
 240           restore-keys: ${{ runner.os }}-${{ matrix.ghc }}-
 241
 242       - name: Install cabal-plan
 243         run: |
 244           cd $(mktemp -d)
 245           cabal install cabal-plan --allow-newer="base" --constraint='cabal-plan +exe'
 246           echo "$HOME/.cabal/bin:$HOME/.local/bin" >> $GITHUB_PATH
 247
 248       - name: Validate build
 249         run: sh validate.sh ${{ env.COMMON_FLAGS }} -s build
 250
 251       - name: "Validate lib-suite-extras --extra-hc ghc-${{ matrix.extra-ghc }}"
 252         env:
 253           EXTRA_GHC: "/opt/ghc/${{ matrix.extra-ghc }}/bin/ghc-${{ matrix.extra-ghc }}"
 254         run: sh validate.sh ${{ env.COMMON_FLAGS }} --lib-only -s lib-suite-extras --extra-hc ${{ env.EXTRA_GHC }}
 255
 256   # The previous jobs use a released version of cabal to build cabal HEAD itself
 257   # This one uses the cabal HEAD generated executable in the previous step
 258   # to build itself again, as sanity check
 259   dogfooding:
 260     name: Dogfooding ${{ matrix.os }} ghc-${{ matrix.ghc }}
 261     runs-on: ${{ matrix.os }}
 262     needs: validate
 263     strategy:
 264       matrix:
 265         os: ["ubuntu-20.04", "macos-latest", "windows-latest"]
 266         # We only use one ghc version the used one for the next release (defined at top of the workflow)
 267         # We need to build an array dynamically to inject the appropiate env var in a previous job,
 268         # see https://docs.github.com/en/actions/learn-github-actions/expressions#fromjson
 269         ghc: ${{ fromJSON (needs.validate.outputs.GHC_FOR_RELEASE) }}
 270
 271     steps:
 272       - uses: actions/checkout@v3
 273
 274       # See https://github.com/haskell/cabal/pull/8739
 275       - name: Sudo chmod to permit ghcup to update its cache
 276         run: |
 277           if [[ "${{ runner.os }}" == "Linux" ]]; then
 278             sudo ls -lah /usr/local/.ghcup/cache
 279             sudo mkdir -p /usr/local/.ghcup/cache
 280             sudo ls -lah /usr/local/.ghcup/cache
 281             sudo chown -R $USER /usr/local/.ghcup
 282             sudo chmod -R 777 /usr/local/.ghcup
 283           fi
 284       - uses: haskell/actions/setup@v2
 285         id: setup-haskell
 286         with:
 287           ghc-version: ${{ matrix.ghc }}
 288           cabal-version: latest # default, we are not using it in this job
 289
 290       - name: Install cabal-plan
 291         run: |
 292           cd $(mktemp -d)
 293           cabal install cabal-plan --allow-newer="base" --constraint='cabal-plan +exe'
 294           echo "$HOME/.cabal/bin:$HOME/.local/bin" >> $GITHUB_PATH
 295
 296       - name: Download cabal executable from workflow artifacts
 297         uses: actions/download-artifact@v3
 298         with:
 299           name: cabal-${{ runner.os }}-${{ matrix.ghc }}
 300           path: cabal-head
 301
 302       - name: Untar the cabal executable
 303         run: tar -xf ./cabal-head/cabal-head.tar -C ./cabal-head
 304
 305       - name: print-config using cabal HEAD
 306         run: sh validate.sh ${{ env.COMMON_FLAGS }} --with-cabal ./cabal-head/cabal -s print-config
 307
 308       # We dont use cache to force a build with a fresh store dir and build dir
 309       # This way we check cabal can build all its dependencies
 310       - name: Build using cabal HEAD
 311         run: sh validate.sh ${{ env.COMMON_FLAGS }} --with-cabal ./cabal-head/cabal -s build
 312
 313   # We use this job as a summary of the workflow
 314   # It will fail if any of the previous jobs does it
 315   # This way we can use it exclusively in branch protection rules
 316   # and abstract away the concrete jobs of the workflow, including their names
 317   validate-post-job:
 318     if: always()
 319     name: Validate post job
 320     runs-on: ubuntu-20.04
 321     # IMPORTANT! Any job added to the workflow should be added here too
 322     needs: [validate, validate-old-ghcs, dogfooding]
 323
 324     steps:
 325       - run: |
 326           echo "jobs info: ${{ toJSON(needs) }}"
 327       - if: contains(needs.*.result, 'failure') || contains(needs.*.result, 'cancelled')
 328         run: exit 1