Rakefile

   1 # NOTE! When updating this file, also update INSTALL, if necessary.
   2 # NOTE! Please keep your tasks grouped together.
   3
   4 $VERBOSE = true
   5 $verbose = Rake.application.options.trace
   6 $dlext = Config::CONFIG["DLEXT"]
   7 $compiler = nil
   8
   9 RUBINIUS_BASE = File.dirname(__FILE__)
  10
  11 require 'tsort'
  12 require 'rakelib/rubinius'
  13 require 'rakelib/struct_generator'
  14 require 'rakelib/const_generator'
  15 require 'rakelib/types_generator'
  16
  17 task :default => :build
  18
  19 # BUILD TASKS
  20
  21 desc "Build everything that needs to be built"
  22 task :build => 'build:all'
  23
  24 task :stable_compiler do
  25   if ENV['USE_CURRENT']
  26     puts "Use current versions, not stable."
  27   else
  28     ENV['RBX_BOOTSTRAP'] = "runtime/stable/bootstrap.rba"
  29     ENV['RBX_CORE'] = "runtime/stable/core.rba"
  30     ENV['RBX_LOADER'] = "runtime/stable/loader.rbc"
  31     ENV['RBX_PLATFORM'] = "runtime/stable/platform.rba"
  32   end
  33 end
  34
  35 rule ".rbc" => %w[.rb] do |t|
  36   compile t.source, t.name
  37 end
  38
  39 files = FileList['kernel/core/*.rb']
  40
  41 unless files.include?("kernel/core/dir.rb")
  42   files.add("kernel/core/dir.rb")
  43 end
  44
  45 Core      = CodeGroup.new(files, 'runtime/core', 'core')
  46
  47 Bootstrap = CodeGroup.new 'kernel/bootstrap/*.rb', 'runtime/bootstrap',
  48                           'bootstrap'
  49 PlatformFiles  = CodeGroup.new 'kernel/platform/*.rb', 'runtime/platform', 'platform'
  50
  51 file 'runtime/loader.rbc' => 'kernel/loader.rb' do
  52   compile 'kernel/loader.rb', 'runtime/loader.rbc'
  53 end
  54
  55 file 'runtime/stable/loader.rbc' => 'runtime/loader.rbc' do
  56   cp 'runtime/loader.rbc', 'runtime/stable', :verbose => $verbose
  57 end
  58
  59 file 'runtime/stable/compiler.rba' => 'build:compiler' do |t|
  60   #sh "cd lib; zip -r ../runtime/stable/compiler.rba compiler -x \\*.rb"
  61   rm_f t.name
  62   rbc_files = Rake::FileList['compiler/**/*.rbc']
  63
  64   Dir.chdir 'lib' do
  65     rbc_files.each do |rbc_file|
  66       ar_add "../#{t.name}", rbc_file
  67     end
  68   end
  69 end
  70
  71 Rake::StructGeneratorTask.new do |t|
  72   t.dest = "lib/etc.rb"
  73 end
  74
  75 Rake::StructGeneratorTask.new do |t|
  76   t.dest = 'lib/zlib.rb'
  77 end
  78
  79 AllPreCompiled = Core.output + Bootstrap.output + PlatformFiles.output
  80 AllPreCompiled << "runtime/loader.rbc"
  81
  82 namespace :build do
  83
  84   task :all => %w[
  85     spec:init
  86     build:shotgun
  87     build:platform
  88     build:rbc
  89     compiler
  90     lib/etc.rb
  91     lib/rbconfig.rb
  92     extensions
  93   ]
  94
  95   # This nobody rule lets use use all the shotgun files as
  96   # prereqs. This rule is run for all those prereqs and just
  97   # (obviously) does nothing, but it makes rake happy.
  98   rule '^shotgun/.+'
  99
 100   # These files must be excluded from the c_source FileList
 101   # because they are build products (i.e. there is no rule
 102   # to build them, they will be built) and the c_source list
 103   # list gets created before they are deleted by the clean task.
 104   exclude_source = [
 105     /auto/,
 106     /instruction_names/,
 107     /node_types/,
 108     /grammar.c/,
 109     'primitive_indexes.h',
 110     'primitive_util.h'
 111   ]
 112
 113   c_source = FileList[
 114     "shotgun/config.h",
 115     "shotgun/lib/*.[chy]",
 116     "shotgun/lib/*.rb",
 117     "shotgun/lib/subtend/*.[chS]",
 118     "shotgun/main.c",
 119   ].exclude(*exclude_source)
 120
 121   file "shotgun/rubinius.bin" => c_source do
 122     sh make('vm')
 123   end
 124
 125   file "shotgun/rubinius.local.bin" => c_source do
 126     sh make('vm')
 127   end
 128
 129   desc "Compiles shotgun (the C-code VM)"
 130   task :shotgun => %w[configure shotgun/rubinius.bin shotgun/rubinius.local.bin]
 131
 132   task :setup_rbc => :stable_compiler
 133
 134   task :rbc => ([:setup_rbc] + AllPreCompiled)
 135
 136   task :compiler => :stable_compiler do
 137     compile_dir "lib/compiler"
 138   end
 139
 140   desc "Rebuild runtime/stable/*.  If you don't know why you're running this, don't."
 141   task :stable => %w[
 142     build:all
 143     runtime/stable/bootstrap.rba
 144     runtime/stable/core.rba
 145     runtime/stable/compiler.rba
 146     runtime/stable/loader.rbc
 147     runtime/stable/platform.rba
 148   ]
 149
 150   desc "Rebuild the .load_order.txt files"
 151   task "load_order" do
 152     # Note: Steps to rebuild load_order were defined above
 153   end
 154
 155   namespace :vm do
 156     task "clean" do
 157       sh "cd shotgun/lib; #{make "clean"}"
 158     end
 159
 160     task "dev" do
 161       sh "cd shotgun/lib; #{make "DEV=1"}"
 162     end
 163   end
 164
 165   task :platform => 'runtime/platform.conf'
 166 end
 167
 168 # INSTALL TASKS
 169
 170 desc "Install rubinius as rbx"
 171 task :install => :config_env do
 172   sh "cd shotgun; #{make "install"}"
 173
 174   mkdir_p RBAPATH, :verbose => true
 175   mkdir_p CODEPATH, :verbose => true
 176
 177   rba_files = Rake::FileList.new('runtime/platform.conf',
 178                                  'runtime/**/*.rb{a,c}',
 179                                  'runtime/**/.load_order.txt')
 180
 181   install_files rba_files, RBAPATH
 182
 183   lib_files = Rake::FileList.new 'lib/**/*'
 184
 185   install_files lib_files, CODEPATH
 186
 187   mkdir_p File.join(CODEPATH, 'bin'), :verbose => true
 188
 189   Rake::FileList.new("#{CODEPATH}/**/*.rb").sort.each do |rb_file|
 190     if File.exists? "#{rb_file}c"
 191       next if File.mtime("#{rb_file}c") > File.mtime(rb_file)
 192     end
 193     sh File.join(BINPATH, 'rbx'), 'compile', rb_file, :verbose => true
 194   end
 195 end
 196
 197 desc "Uninstall rubinius and libraries. Helps with build problems."
 198 task :uninstall => :config_env do
 199   rm Dir[File.join(BINPATH, 'rbx*')]
 200   rm_r Dir[File.join(LIBPATH, '*rubinius*')]
 201 end
 202
 203 task :compiledir => :stable_compiler do
 204   dir = ENV['DIR']
 205   raise "Use DIR= to set which directory" if !dir or dir.empty?
 206   compile_dir(dir)
 207 end
 208
 209 # CLEAN TASKS
 210
 211 desc "Recompile all ruby system files"
 212 task :rebuild => %w[clean build:all]
 213
 214 desc "Alias for clean:all"
 215 task :clean => "clean:all"
 216
 217 desc "Alias for clean:distclean"
 218 task :distclean => "clean:distclean"
 219
 220 namespace :clean do
 221   desc "Clean everything but third-party libs"
 222   task :all => %w[clean:rbc clean:extensions clean:shotgun clean:generated clean:crap clean:config]
 223
 224   desc "Clean everything including third-party libs"
 225   task :distclean => %w[clean:all clean:external]
 226
 227   desc "Remove all compile system ruby files"
 228   task :rbc do
 229     files_to_delete = []
 230     files_to_delete += Dir["*.rbc"] + Dir["**/*.rbc"] + Dir["**/.*.rbc"]
 231     files_to_delete += Dir["**/.load_order.txt"]
 232     files_to_delete += ["runtime/platform.conf"]
 233     files_to_delete -= ["runtime/stable/loader.rbc"] # never ever delete this
 234
 235     files_to_delete.each do |f|
 236       rm_f f, :verbose => $verbose
 237     end
 238   end
 239
 240   desc "Cleans all compiled extension files (lib/ext)"
 241   task :extensions do
 242     Dir["lib/ext/**/*#{$dlext}"].each do |f|
 243       rm_f f, :verbose => $verbose
 244     end
 245   end
 246
 247   desc "Cleans up VM building site"
 248   task :shotgun do
 249     sh make('clean')
 250   end
 251
 252   desc "Cleans up generated files"
 253   task :generated do
 254     rm_f Dir["shotgun/lib/grammar.c"], :verbose => $verbose
 255   end
 256
 257   desc "Cleans up VM and external libs"
 258   task :external do
 259     sh "cd shotgun; #{make('distclean')}"
 260   end
 261
 262   desc "Cleans up editor files and other misc crap"
 263   task :crap do
 264     rm_f Dir["*~"] + Dir["**/*~"], :verbose => $verbose
 265   end
 266
 267   desc "Cleans up config files (so they can be regenerated when you change PREFIX)"
 268   task :config do
 269     rm "shotgun/config.h", :verbose => $verbose
 270     rm "shotgun/config.mk", :verbose => $verbose
 271   end
 272 end
 273
 274 # SPEC TASKS
 275 desc "Run all 'known good' specs (task alias for spec:ci)"
 276 task :spec => 'spec:ci'
 277
 278 namespace :spec do
 279   namespace :setup do
 280     # Setup for 'Subtend' specs. No need to call this yourself.
 281     task :subtend do
 282       Dir["spec/subtend/**/Rakefile"].each do |rakefile|
 283         sh "rake -f #{rakefile}"
 284       end
 285     end
 286   end
 287
 288   desc "Initialize git submodules for mspec and rubyspec"
 289   task :init => 'mspec:init'
 290
 291   desc "Run continuous integration examples"
 292   task :ci => :build do
 293     clear_compiler
 294     sh "bin/mspec ci -t #{spec_target}"
 295   end
 296
 297   desc "Run continuous integration examples including stdlib"
 298   task :full => :build do
 299     clear_compiler
 300     sh "bin/mspec ci -t #{spec_target} -B full.mspec"
 301   end
 302
 303   spec_targets = %w(compiler core language library parser rubinius)
 304   # Build a spec:<task_name> for each group of Rubinius specs
 305   spec_targets.each do |group|
 306     desc "Run #{group} examples"
 307     task group do
 308       sh "bin/mspec spec/#{group}"
 309     end
 310   end
 311
 312   desc "Run subtend (Rubinius C API) examples"
 313   task :subtend => "spec:setup:subtend" do
 314     sh "bin/mspec spec/rubinius/subtend"
 315   end
 316
 317   # Specdiffs to make it easier to see what your changes have affected :)
 318   desc 'Run specs and produce a diff against current base'
 319   task :diff => 'diff:run'
 320
 321   namespace :diff do
 322     desc 'Run specs and produce a diff against current base'
 323     task :run do
 324       system 'bin/mspec -f ci -o spec/reports/specdiff.txt spec'
 325       system 'diff -u spec/reports/base.txt spec/reports/specdiff.txt'
 326       system 'rm spec/reports/specdiff.txt'
 327     end
 328
 329     desc 'Replace the base spec file with a new one'
 330     task :replace do
 331       system 'bin/mspec -f ci -o spec/reports/base.txt spec'
 332     end
 333   end
 334
 335   desc "Run the rspec specs for mspec"
 336   task :mspec do
 337     # Use the rspec spec runner (see mspec/README; gem install rspec)
 338     sh 'spec ./mspec/spec'
 339   end
 340
 341   task :r2r do
 342     puts ARGV.inspect
 343   end
 344 end
 345
 346 namespace :mspec do
 347   desc "Initialize git submodule for mspec"
 348   task :init do
 349     unless File.exist? "mspec/bin/mspec"
 350       puts "Initializing mspec submodule..."
 351       rm_rf "mspec"
 352       sh "git submodule init mspec"
 353       sh "git submodule update mspec"
 354     end
 355   end
 356
 357   desc "Synchronize mspec submodule to current remote version"
 358   task :sync do
 359     Dir.chdir "mspec" do
 360       sh "git fetch"
 361       sh "git rebase origin"
 362     end
 363     version = `git log --pretty=oneline -1 mspec`[0..7]
 364     sh "git add mspec"
 365     sh "git commit -m 'Updated MSpec submodule to #{version}'"
 366   end
 367
 368   desc "Update mspec sources to current submodule version"
 369   task :update do
 370     sh "git submodule update mspec"
 371   end
 372
 373   task :pull => :update
 374 end
 375
 376 # MISC TASKS
 377
 378 desc "Build task for CruiseControl"
 379 task :ccrb => [:build, 'spec:ci']
 380
 381 namespace :test do
 382   desc "Run CI client daemon in incremental mode."
 383   task :daemon do
 384     sh "tools/cluster_test/ci.rb -i"
 385   end
 386
 387   desc "Run CI client daemon in full build mode."
 388   task :daemon_full do
 389     sh "tools/cluster_test/ci.rb"
 390   end
 391 end