Rakefile

   1 # -*- coding: utf-8 -*-
   2 # -*- mode: ruby -*-
   3 # vi: set ft=ruby :
   4 #
   5 # Tails: The Amnesic Incognito Live System
   6 # Copyright © 2012 Tails developers <tails@boum.org>
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  20
  21 require 'rbconfig'
  22 require 'rubygems'
  23 require 'vagrant'
  24 require 'uri'
  25
  26 $:.unshift File.expand_path('../vagrant/lib', __FILE__)
  27 require 'tails_build_settings'
  28 require 'vagrant_version'
  29
  30 # Path to the directory which holds our Vagrantfile
  31 VAGRANT_PATH = File.expand_path('../vagrant', __FILE__)
  32
  33 # Branches that are considered 'stable' (used to select SquashFS compression)
  34 STABLE_BRANCH_NAMES = ['stable', 'testing']
  35
  36 # Environment variables that will be exported to the build script
  37 EXPORTED_VARIABLES = ['http_proxy', 'MKSQUASHFS_OPTIONS', 'TAILS_RAM_BUILD', 'TAILS_CLEAN_BUILD']
  38
  39 # Let's save the http_proxy set before playing with it
  40 EXTERNAL_HTTP_PROXY = ENV['http_proxy']
  41
  42 # In-VM proxy URL
  43 INTERNEL_HTTP_PROXY = "http://#{VIRTUAL_MACHINE_HOSTNAME}:3142"
  44
  45 def primary_vm
  46   env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
  47   if vagrant_old
  48     return env.primary_vm
  49   else
  50     name = env.primary_machine_name
  51     return env.machine(name, env.default_provider)
  52   end
  53 end
  54
  55 def primary_vm_state
  56   if vagrant_old
  57     return primary_vm.state
  58   else
  59     return primary_vm.state.id
  60   end
  61 end
  62
  63 def primary_vm_chan
  64   if vagrant_old
  65     return primary_vm.channel
  66   else
  67     return primary_vm.communicate
  68   end
  69 end
  70
  71
  72 def vm_id
  73   if vagrant_old
  74     primary_vm.uuid
  75   else
  76     primary_vm.id
  77   end
  78 end
  79
  80 def vm_driver
  81   if vagrant_old
  82     primary_vm.driver
  83   else
  84     primary_vm.provider.driver
  85   end
  86 end
  87
  88 def current_vm_cpus
  89   info = vm_driver.execute 'showvminfo', vm_id, '--machinereadable'
  90   $1.to_i if info =~ /^cpus=(\d+)/
  91 end
  92
  93 def vm_running?
  94   primary_vm_state == :running
  95 end
  96
  97 def enough_free_host_memory_for_ram_build?
  98   return false unless RbConfig::CONFIG['host_os'] =~ /linux/i
  99
 100   begin
 101     usable_free_mem = `free`.split[16].to_i
 102     usable_free_mem > VM_MEMORY_FOR_RAM_BUILDS * 1024
 103   rescue
 104     false
 105   end
 106 end
 107
 108 def free_vm_memory
 109   primary_vm_chan.execute("free", :error_check => false) do |fd, data|
 110     return data.split[16].to_i
 111   end
 112 end
 113
 114 def enough_free_vm_memory_for_ram_build?
 115   free_vm_memory > BUILD_SPACE_REQUIREMENT * 1024
 116 end
 117
 118 def enough_free_memory_for_ram_build?
 119   if vm_running?
 120     enough_free_vm_memory_for_ram_build?
 121   else
 122     enough_free_host_memory_for_ram_build?
 123   end
 124 end
 125
 126 def is_release?
 127   branch_name = `git name-rev --name-only HEAD`
 128   tag_name = `git describe --exact-match HEAD 2> /dev/null`
 129   STABLE_BRANCH_NAMES.include? branch_name.chomp or tag_name.chomp.length > 0
 130 end
 131
 132 def system_cpus
 133   return nil unless RbConfig::CONFIG['host_os'] =~ /linux/i
 134
 135   begin
 136     File.read('/proc/cpuinfo').scan(/^processor\s+:/).count
 137   rescue
 138     nil
 139   end
 140 end
 141
 142 task :parse_build_options do
 143   options = ''
 144
 145   # Default to in-memory builds if there is enough RAM available
 146   options += 'ram ' if enough_free_memory_for_ram_build?
 147
 148   # Use in-VM proxy unless an external proxy is set
 149   options += 'vmproxy ' unless EXTERNAL_HTTP_PROXY
 150
 151   # Default to fast compression on development branches
 152   options += 'gzipcomp ' unless is_release?
 153
 154   # Make sure release builds are clean
 155   options += 'cleanall ' if is_release?
 156
 157   # Default to the number of system CPUs when we can figure it out
 158   cpus = system_cpus
 159   options += "cpus=#{cpus} " if cpus
 160
 161   options += ENV['TAILS_BUILD_OPTIONS'] if ENV['TAILS_BUILD_OPTIONS']
 162   options.split(' ').each do |opt|
 163     case opt
 164     # Memory build settings
 165     when 'ram'
 166       ENV['TAILS_RAM_BUILD'] = '1'
 167     when 'noram'
 168       ENV['TAILS_RAM_BUILD'] = nil
 169     # Bootstrap cache settings
 170     # HTTP proxy settings
 171     when 'extproxy'
 172       abort "No HTTP proxy set, but one is required by TAILS_BUILD_OPTIONS. Aborting." unless EXTERNAL_HTTP_PROXY
 173       ENV['http_proxy'] = EXTERNAL_HTTP_PROXY
 174     when 'vmproxy'
 175       ENV['http_proxy'] = INTERNEL_HTTP_PROXY
 176     when 'noproxy'
 177       ENV['http_proxy'] = nil
 178     # SquashFS compression settings
 179     when 'gzipcomp'
 180       ENV['MKSQUASHFS_OPTIONS'] = '-comp gzip'
 181     when 'defaultcomp'
 182       ENV['MKSQUASHFS_OPTIONS'] = nil
 183     # Clean-up settings
 184     when 'cleanall'
 185       ENV['TAILS_CLEAN_BUILD'] = '1'
 186     # Virtual CPUs settings
 187     when /cpus=(\d+)/
 188       ENV['TAILS_BUILD_CPUS'] = $1
 189     # Git settings
 190     when 'ignorechanges'
 191       ENV['TAILS_BUILD_IGNORE_CHANGES'] = '1'
 192     end
 193   end
 194 end
 195
 196 task :ensure_clean_repository do
 197   unless `git status --porcelain`.empty?
 198     if ENV['TAILS_BUILD_IGNORE_CHANGES']
 199       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 200
 201         You have uncommited changes in the Git repository. They will
 202         be ignored for the upcoming build.
 203
 204       END_OF_MESSAGE
 205     else
 206       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 207
 208         You have uncommited changes in the Git repository. Due to limitations
 209         of the build system, you need to commit them before building Tails.
 210
 211         If you don't care about those changes and want to build Tails nonetheless,
 212         please add `ignorechanges` to the TAILS_BUILD_OPTIONS environment
 213         variable.
 214
 215       END_OF_MESSAGE
 216       abort 'Uncommited changes. Aborting.'
 217     end
 218   end
 219 end
 220
 221 task :validate_http_proxy do
 222   if ENV['http_proxy']
 223     proxy_host = URI.parse(ENV['http_proxy']).host
 224
 225     if proxy_host.nil?
 226       ENV['http_proxy'] = nil
 227       $stderr.puts "Ignoring invalid HTTP proxy."
 228       return
 229     end
 230
 231     if ['localhost', '[::1]'].include?(proxy_host) || proxy_host.start_with?('127.0.0.')
 232       abort 'Using an HTTP proxy listening on the loopback is doomed to fail. Aborting.'
 233     end
 234
 235     $stderr.puts "Using HTTP proxy: #{ENV['http_proxy']}"
 236   else
 237     $stderr.puts "No HTTP proxy set."
 238   end
 239 end
 240
 241 desc 'Build Tails'
 242 task :build => ['parse_build_options', 'ensure_clean_repository', 'validate_http_proxy', 'vm:up'] do
 243
 244   if ENV['TAILS_RAM_BUILD'] && not(enough_free_memory_for_ram_build?)
 245     $stderr.puts <<-END_OF_MESSAGE.gsub(/^      /, '')
 246
 247       The virtual machine is not currently set with enough memory to
 248       perform an in-memory build. Either remove the `ram` option from
 249       the TAILS_BUILD_OPTIONS environment variable, or shut the
 250       virtual machine down using `rake vm:halt` before trying again.
 251
 252     END_OF_MESSAGE
 253     abort 'Not enough memory for the virtual machine to run an in-memory build. Aborting.'
 254   end
 255
 256   if ENV['TAILS_BUILD_CPUS'] && current_vm_cpus != ENV['TAILS_BUILD_CPUS'].to_i
 257     $stderr.puts <<-END_OF_MESSAGE.gsub(/^      /, '')
 258
 259       The virtual machine is currently running with #{current_vm_cpus}
 260       virtual CPU(s). In order to change that number, you need to
 261       stop the VM first, using `rake vm:halt`. Otherwise, please
 262       adjust the `cpus` options accordingly.
 263
 264     END_OF_MESSAGE
 265     abort 'The virtual machine needs to be reloaded to change the number of CPUs. Aborting.'
 266   end
 267
 268   exported_env = EXPORTED_VARIABLES.select { |k| ENV[k] }.
 269                   collect { |k| "#{k}='#{ENV[k]}'" }.join(' ')
 270   status = primary_vm_chan.execute("#{exported_env} build-tails",
 271                                    :error_check => false) do |fd, data|
 272     (fd == :stdout ? $stdout : $stderr).write data
 273   end
 274
 275   # Move build products to the current directory
 276   FileUtils.mv Dir.glob("#{VAGRANT_PATH}/tails-*"),
 277                File.expand_path('..', __FILE__), :force => true
 278
 279   exit status
 280 end
 281
 282 namespace :vm do
 283   desc 'Start the build virtual machine'
 284   task :up => ['parse_build_options', 'validate_http_proxy'] do
 285     case primary_vm_state
 286     when :not_created
 287       # Do not use non-existant in-VM proxy to download the basebox
 288       if ENV['http_proxy'] == INTERNEL_HTTP_PROXY
 289         ENV['http_proxy'] = nil
 290         restore_internal_proxy = true
 291       end
 292
 293       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 294
 295         This is the first time that the Tails builder virtual machine is
 296         started. The virtual machine template is about 300 MB to download,
 297         so the process might take some time.
 298
 299         Please remember to shut the virtual machine down once your work on
 300         Tails is done:
 301
 302             $ rake vm:halt
 303
 304       END_OF_MESSAGE
 305     when :poweroff
 306       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 307
 308         Starting Tails builder virtual machine. This might take a short while.
 309         Please remember to shut it down once your work on Tails is done:
 310
 311             $ rake vm:halt
 312
 313       END_OF_MESSAGE
 314     end
 315     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 316     result = env.cli('up')
 317     abort "'vagrant up' failed" unless result
 318
 319     ENV['http_proxy'] = INTERNEL_HTTP_PROXY if restore_internal_proxy
 320   end
 321
 322   desc 'Stop the build virtual machine'
 323   task :halt do
 324     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 325     result = env.cli('halt')
 326     abort "'vagrant halt' failed" unless result
 327   end
 328
 329   desc 'Re-run virtual machine setup'
 330   task :provision => ['parse_build_options', 'validate_http_proxy'] do
 331     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 332     result = env.cli('provision')
 333     abort "'vagrant provision' failed" unless result
 334   end
 335
 336   desc 'Destroy build virtual machine (clean up all files)'
 337   task :destroy do
 338     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 339     result = env.cli('destroy', '--force')
 340     abort "'vagrant destroy' failed" unless result
 341   end
 342 end