runtest.exp

   1 # runtest.exp -- Test framework driver
   2 # Copyright (C) 1992-2019, 2020, 2022, 2023, 2024
   3 #               Free Software Foundation, Inc.
   4 #
   5 # This file is part of DejaGnu.
   6 #
   7 # DejaGnu is free software: you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # DejaGnu is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15 # General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with DejaGnu.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 # This file was written by Rob Savoye <rob@welcomehome.org>.
  21
  22 set frame_version       1.6.4-git
  23 if {![info exists argv0]} {
  24     send_error "Must use a version of Expect greater than 5.0\n"
  25     exit 1
  26 }
  27
  28 # trap some signals so we know whats happening. These definitions are only
  29 # temporary until we read in the library stuff
  30 #
  31 trap { send_user "\ninterrupted by user\n"; exit 130 } SIGINT
  32 trap { send_user "\nquit\n";                exit 131 } SIGQUIT
  33 trap { send_user "\nterminated\n";          exit 143 } SIGTERM
  34
  35 #
  36 # Initialize a few global variables used by all tests.
  37 # `reset_vars' resets several of these, we define them here to document their
  38 # existence.  In fact, it would be nice if all globals used by some interface
  39 # of dejagnu proper were documented here.
  40 #
  41 # Keep these all lowercase.  Interface variables used by the various
  42 # testsuites (eg: the gcc testsuite) should be in all capitals
  43 # (eg: TORTURE_OPTIONS).
  44 #
  45 set mail_logs   0               ;# flag for mailing of summary and diff logs
  46 set psum_file   "latest"        ;# file name of previous summary to diff against
  47
  48 set exit_status 0               ;# exit code returned by this program
  49
  50 set xfail_flag  0               ;# indicates that a failure is expected
  51 set xfail_prms  0               ;# GNATS prms id number for this expected failure
  52 set kfail_flag  0               ;# indicates that it is a known failure
  53 set kfail_prms  0               ;# bug id for the description of the known failure
  54 set sum_file    ""              ;# name of the file that contains the summary log
  55 set base_dir    ""              ;# the current working directory
  56 set xml_file    ""              ;# handle on the XML file if requested
  57 set xml         0               ;# flag for requesting xml
  58 set logname     ""              ;# the users login name
  59 set prms_id     0               ;# GNATS prms id number
  60 set bug_id      0               ;# optional bug id number
  61 set dir         ""              ;# temp variable for directory names
  62 set srcdir      "."             ;# source directory containing the test suite
  63 set ignoretests ""              ;# list of tests to not execute
  64 set objdir      "."             ;# directory where test case binaries live
  65 set reboot      0
  66 set multipass   ""              ;# list of passes and var settings
  67 set errno       "";             ;#
  68 set exit_error  1               ;# Toggle for whether to set the exit status
  69                                 ;# on Tcl bugs in test case drivers.
  70 #
  71 # These describe the host and target environments.
  72 #
  73 set build_triplet  ""           ;# type of architecture to run tests on
  74 set build_os       ""           ;# type of os the tests are running on
  75 set build_vendor   ""           ;# vendor name of the OS or workstation the test are running on
  76 set build_cpu      ""           ;# type of the cpu tests are running on
  77 set host_triplet   ""           ;# type of architecture to run tests on, sometimes remotely
  78 set host_os        ""           ;# type of os the tests are running on
  79 set host_vendor    ""           ;# vendor name of the OS or workstation the test are running on
  80 set host_cpu       ""           ;# type of the cpu tests are running on
  81 set target_triplet ""           ;# type of architecture to run tests on, final remote
  82 set target_os      ""           ;# type of os the tests are running on
  83 set target_vendor  ""           ;# vendor name of the OS or workstation the test are running on
  84 set target_cpu     ""           ;# type of the cpu tests are running on
  85 set target_alias   ""           ;# standard abbreviation of target
  86 set compiler_flags ""           ;# the flags used by the compiler
  87
  88 #
  89 # These set configuration file names and are local to this file.
  90 #
  91 set local_init_file     site.exp        ;# testsuite-local init file name
  92 set global_init_file    site.exp        ;# global init file name
  93
  94 #
  95 # These are used to locate parts of the testsuite.
  96 #
  97 set testsuitedir        "testsuite"     ;# top-level testsuite source directory
  98 set testbuilddir        "testsuite"     ;# top-level testsuite object directory
  99
 100 #
 101 # Collected errors
 102 #
 103 namespace eval ::dejagnu::error {
 104     # list of { file message errorCode errorInfo } lists
 105     variable list [list]
 106 }
 107
 108 # Various ccache versions provide incorrect debug info such as ignoring
 109 # different current directory, breaking GDB testsuite.
 110 set env(CCACHE_DISABLE) 1
 111 unset -nocomplain env(CCACHE_NODISABLE)
 112
 113 #
 114 # some convenience abbreviations
 115 #
 116 set hex "0x\[0-9A-Fa-f\]+"
 117 set decimal "\[0-9\]+"
 118
 119 #
 120 # set the base dir (current working directory)
 121 #
 122 set base_dir [pwd]
 123
 124 #
 125 # These are set here instead of the init module so they can be overridden
 126 # by command line options.
 127 #
 128 set all_flag    0
 129 set binpath     ""
 130 set debug       0
 131 set options     ""
 132 set outdir      "."
 133 set reboot      1
 134 set tracelevel  0
 135 set verbose     0
 136 set log_dialog  0
 137
 138 #
 139 # verbose [-n] [-log] [--] message [level]
 140 #
 141 # Print MESSAGE if the verbose level is >= LEVEL.
 142 # The default value of LEVEL is 1.
 143 # "-n" says to not print a trailing newline.
 144 # "-log" says to add the text to the log file even if it won't be printed.
 145 # Note that the apparent behaviour of `send_user' dictates that if the message
 146 # is printed it is also added to the log file.
 147 # Use "--" if MESSAGE begins with "-".
 148 #
 149 # This is defined here rather than in framework.exp so we can use it
 150 # while still loading in the support files.
 151 #
 152 proc verbose { args } {
 153     global verbose
 154     set newline 1
 155     set logfile 0
 156
 157     set i 0
 158     if { [string index [lindex $args 0] 0] eq "-" } {
 159         for { set i 0 } { $i < [llength $args] } { incr i } {
 160             if { [lindex $args $i] eq "--" } {
 161                 incr i
 162                 break
 163             } elseif { [lindex $args $i] eq "-n" } {
 164                 set newline 0
 165             } elseif { [lindex $args $i] eq "-log" } {
 166                 set logfile 1
 167             } elseif { [lindex $args $i] eq "-x" } {
 168                 set xml 1
 169             } elseif { [string index [lindex $args $i] 0] eq "-" } {
 170                 clone_output "ERROR: verbose: illegal argument: [lindex $args $i]"
 171                 return
 172             } else {
 173                 break
 174             }
 175         }
 176         if { [llength $args] == $i } {
 177             clone_output "ERROR: verbose: nothing to print"
 178             return
 179         }
 180     }
 181
 182     set level 1
 183     if { [llength $args] > $i + 1 } {
 184         set level [lindex $args [expr { $i + 1 }]]
 185     }
 186     set message [lindex $args $i]
 187
 188     if { $verbose >= $level } {
 189         # We assume send_user also sends the text to the log file (which
 190         # appears to be the case though the docs aren't clear on this).
 191         if { $newline } {
 192             send_user -- "$message\n"
 193         } else {
 194             send_user -- $message
 195         }
 196     } elseif { $logfile } {
 197         if { $newline } {
 198             send_log -- "$message\n"
 199         } else {
 200             send_log -- $message
 201         }
 202     }
 203 }
 204
 205 #
 206 # Transform a tool name to get the installed name.
 207 # target_triplet is the canonical target name.  target_alias is the
 208 # target name used when configure was run.
 209 #
 210 proc transform { name } {
 211     global target_triplet
 212     global target_alias
 213     global host_triplet
 214     global board
 215
 216     if { $target_triplet eq $host_triplet } {
 217         return $name
 218     }
 219     if { $target_triplet eq "native" } {
 220         return $name
 221     }
 222     if {[board_info host exists no_transform_name]} {
 223         return $name
 224     }
 225     if { $target_triplet eq "" } {
 226         return $name
 227     } else {
 228         if {[info exists board]} {
 229             if {[board_info $board exists target_install]} {
 230                 set target_install [board_info $board target_install]
 231             }
 232         }
 233         if {[target_info exists target_install]} {
 234             set target_install [target_info target_install]
 235         }
 236         if {$target_alias ne ""} {
 237             set tmp $target_alias-$name
 238         } elseif {[info exists target_install]} {
 239             if { [lsearch -exact $target_install $target_alias] >= 0 } {
 240                 set tmp $target_alias-$name
 241             } else {
 242                 set tmp "[lindex $target_install 0]-$name"
 243             }
 244         }
 245         # There appears to be a possibility for tmp to be unset at this
 246         # point, which will cause a Tcl error, but this can only occur if
 247         # the init files invoke transform prior to defining target_alias,
 248         # since the target_alias will be defaulted to the value of
 249         # target_triplet before tests are run.  If target_triplet is also
 250         # empty, this point will not be reached; see test above.
 251         verbose "Transforming $name to $tmp"
 252         return $tmp
 253     }
 254 }
 255
 256 #
 257 # findfile arg0 [arg1] [arg2]
 258 #
 259 # Find a file and see if it exists. If you only care about the false
 260 # condition, then you'll need to pass a null "" for arg1.
 261 #       arg0 is the filename to look for. If the only arg,
 262 #            then that's what gets returned. If this is the
 263 #            only arg, then if it exists, arg0 gets returned.
 264 #            if it doesn't exist, return only the prog name.
 265 #       arg1 is optional, and it's what gets returned if
 266 #            the file exists.
 267 #       arg2 is optional, and it's what gets returned if
 268 #            the file doesn't exist.
 269 #
 270 proc findfile { args } {
 271     # look for the file
 272     verbose "Seeing if [lindex $args 0] exists." 2
 273     if {[file exists [lindex $args 0]]} {
 274         if { [llength $args] > 1 } {
 275             verbose "Found file, returning [lindex $args 1]"
 276             return [lindex $args 1]
 277         } else {
 278             verbose "Found file, returning [lindex $args 0]"
 279             return [lindex $args 0]
 280         }
 281     } else {
 282         if { [llength $args] > 2 } {
 283             verbose "Didn't find file [lindex $args 0], returning [lindex $args 2]"
 284             return [lindex $args 2]
 285         } else {
 286             verbose "Didn't find file, returning [file tail [lindex $args 0]]"
 287             return [transform [file tail [lindex $args 0]]]
 288         }
 289     }
 290 }
 291
 292 #
 293 # load_file [-1] [--] file1 [ file2 ... ]
 294 #
 295 # Utility to source a file.  All are sourced in order unless the flag "-1"
 296 # is given in which case we stop after finding the first one.
 297 # The result is 1 if a file was found, 0 if not.
 298 # If a tcl error occurs while sourcing a file, we print an error message
 299 # and exit.
 300 #
 301 proc load_file { args } {
 302     set i 0
 303     set only_one 0
 304     if { [lindex $args $i] eq "-1" } {
 305         set only_one 1
 306         incr i
 307     }
 308     if { [lindex $args $i] eq "--" } {
 309         incr i
 310     }
 311
 312     set found 0
 313     foreach file [lrange $args $i end] {
 314         verbose "Looking for $file" 2
 315         # In Tcl, "file exists" fails if the filename looks like
 316         # ~/FILE and the environment variable HOME does not exist.
 317         if {! [catch {file exists $file} result] && $result} {
 318             set found 1
 319             verbose "Found $file"
 320             if { [catch "uplevel #0 source $file"] == 1 } {
 321                 send_error "ERROR: tcl error sourcing $file.\n"
 322                 global errorInfo
 323                 if {[info exists errorInfo]} {
 324                     send_error "$errorInfo\n"
 325                 }
 326                 exit 1
 327             }
 328             if { $only_one } {
 329                 break
 330             }
 331         }
 332     }
 333     return $found
 334 }
 335
 336 #
 337 # search_and_load_file -- search DIRLIST looking for FILELIST.
 338 # TYPE is used when displaying error and progress messages.
 339 #
 340 proc search_and_load_file { type filelist dirlist } {
 341     set found 0
 342
 343     foreach dir $dirlist {
 344         foreach initfile $filelist {
 345             set filename [file join $dir $initfile]
 346             verbose "Looking for $type $filename" 2
 347             if {[file exists $filename]} {
 348                 set found 1
 349                 set error ""
 350                 if { $type ne "library file" } {
 351                     send_user "Using $filename as $type.\n"
 352                 } else {
 353                     verbose "Loading $filename"
 354                 }
 355                 if {[catch "uplevel #0 source $filename" error] == 1} {
 356                     global errorInfo
 357                     send_error "ERROR: tcl error sourcing $type $filename.\n$error\n"
 358                     if {[info exists errorInfo]} {
 359                         send_error "$errorInfo\n"
 360                     }
 361                     exit 1
 362                 }
 363                 break
 364             }
 365         }
 366         if { $found } {
 367             break
 368         }
 369     }
 370     return $found
 371 }
 372
 373 #
 374 # Give a usage statement.
 375 #
 376 proc usage { } {
 377     global tool
 378
 379     send_user "USAGE: runtest \[options...\]\n"
 380     send_user "\t--all, -a\t\tPrint all test output to screen\n"
 381     send_user "\t--build \[triplet\]\tThe canonical triplet of the build machine\n"
 382     send_user "\t--debug\t\t\tSet expect debugging ON\n"
 383     send_user "\t--directory name\tRun only the tests in directory 'name'\n"
 384     send_user "\t--global_init \[name\]\tThe file to load for global configuration\n"
 385     send_user "\t--help\t\t\tPrint help text\n"
 386     send_user "\t--host \[triplet\]\tThe canonical triplet of the host machine\n"
 387     send_user "\t--host_board \[name\]\tThe host board to use\n"
 388     send_user "\t--ignore \[name(s)\]\tThe names of specific tests to ignore\n"
 389     send_user "\t--local_init \[name\]\tThe file to load for local configuration\n"
 390     send_user "\t--log_dialog\t\t\Emit Expect output on stdout\n"
 391     send_user "\t--mail \[name(s)\]\tWhom to mail the results to\n"
 392     send_user "\t--objdir \[name\]\t\tThe test suite binary directory\n"
 393     send_user "\t--outdir \[name\]\t\tThe directory to put logs in\n"
 394     send_user "\t--reboot\t\tReboot the target (if supported)\n"
 395     send_user "\t--srcdir \[name\]\t\tThe test suite source code directory\n"
 396     send_user "\t--status\t\tSet the exit status to fail on Tcl errors\n"
 397     send_user "\t--strace \[number\]\tTurn on Expect tracing\n"
 398     send_user "\t--target \[triplet\]\tThe canonical triplet of the target board\n"
 399     send_user "\t--target_board \[name(s)\] The list of target boards to run tests on\n"
 400     send_user "\t--tool \[name(s)\]\tRun tests on these tools\n"
 401     send_user "\t--tool_exec \[name\]\tThe path to the tool executable to test\n"
 402     send_user "\t--tool_opts \[options\]\tA list of additional options to pass to the tool\n"
 403     send_user "\t--verbose, -v\t\tProduce verbose output\n"
 404     send_user "\t--version, -V\t\tPrint all relevant version numbers\n"
 405     send_user "\t--xml, -x\t\tWrite out an XML results file\n"
 406     send_user "\t--D\[0-1\]\t\tTcl debugger\n"
 407     send_user "\tscript.exp\[=arg(s)\]\tRun these tests only\n"
 408     if { [info exists tool] } {
 409         if { [info procs ${tool}_option_help] ne "" } {
 410             ${tool}_option_help
 411         }
 412     }
 413 }
 414
 415 #
 416 # Parse the arguments the first time looking for these.  We will ultimately
 417 # parse them twice.  Things are complicated because:
 418 # - we want to parse --verbose early on
 419 # - we don't want config files to override command line arguments
 420 #   (eg: $base_dir/$local_init_file vs --host/--target)
 421 # - we need some command line arguments before we can process some config files
 422 #   (eg: --objdir before $objdir/$local_init_file, --host/--target before $DEJAGNU)
 423 # The use of `arg_host_triplet' and `arg_target_triplet' lets us avoid parsing
 424 # the arguments three times.
 425 #
 426
 427 namespace eval ::dejagnu::command_line {
 428     variable cmd_var_list [list]
 429
 430     proc save_cmd_var {name} {
 431         variable cmd_var_list
 432
 433         upvar 1 $name target_var
 434         lappend cmd_var_list $name $target_var
 435     }
 436
 437     proc restore_cmd_vars {} {
 438         variable cmd_var_list
 439
 440         foreach {name value} $cmd_var_list {
 441             uplevel 1 [list set $name $value]
 442         }
 443         verbose "Variables set by command line arguments restored." 4
 444     }
 445
 446     proc dump_cmd_vars {} {
 447         variable cmd_var_list
 448
 449         verbose "Variables set by command line arguments:" 4
 450         foreach {name value} $cmd_var_list {
 451             verbose "  $name -> $value" 4
 452         }
 453     }
 454 }
 455
 456 set arg_host_triplet ""
 457 set arg_target_triplet ""
 458 set arg_build_triplet ""
 459 set argc [ llength $argv ]
 460 for { set i 0 } { $i < $argc } { incr i } {
 461     set option [lindex $argv $i]
 462
 463     # make all options have two hyphens
 464     switch -glob -- $option {
 465         "--*" {
 466         }
 467         "-*" {
 468             set option "-$option"
 469         }
 470     }
 471
 472     # split out the argument for options that take them
 473     switch -glob -- $option {
 474         "--*=*" {
 475             regexp {^[^=]*=(.*)$} $option nil optarg
 476         }
 477         "--bu*" -
 478         "--g*" -
 479         "--ho*" -
 480         "--ig*"  -
 481         "--loc*" -
 482         "--m*"  -
 483         "--ob*" -
 484         "--ou*" -
 485         "--sr*" -
 486         "--str*" -
 487         "--ta*" -
 488         "--di*" -
 489         "--to*" {
 490             incr i
 491             set optarg [lindex $argv $i]
 492         }
 493     }
 494
 495     switch -glob -- $option {
 496         "--V*" -
 497         "--vers*" {                     # (--version) version numbers
 498             send_user "DejaGnu version\t$frame_version\n"
 499             send_user "Expect version\t[exp_version]\n"
 500             send_user "Tcl version\t[ info tclversion ]\n"
 501             exit 0
 502         }
 503
 504         "--bu*" {                       # (--build) the build host configuration
 505             set arg_build_triplet $optarg
 506             ::dejagnu::command_line::save_cmd_var arg_build_triplet
 507             continue
 508         }
 509
 510         "--g*" {                        # (--global_init) the global init file name
 511             set global_init_file $optarg
 512             ::dejagnu::command_line::save_cmd_var global_init_file
 513             continue
 514         }
 515
 516         "--host_bo*" {
 517             set host_board $optarg
 518             ::dejagnu::command_line::save_cmd_var host_board
 519             continue
 520         }
 521
 522         "--ho*" {                       # (--host) the host configuration
 523             set arg_host_triplet $optarg
 524             ::dejagnu::command_line::save_cmd_var arg_host_triplet
 525             continue
 526         }
 527
 528         "--loc*" {                      # (--local_init) the local init file name
 529             set local_init_file $optarg
 530             ::dejagnu::command_line::save_cmd_var local_init_file
 531             continue
 532         }
 533
 534         "--ob*" {                       # (--objdir) where the test case object code lives
 535             set objdir $optarg
 536             ::dejagnu::command_line::save_cmd_var objdir
 537             continue
 538         }
 539
 540         "--sr*" {                       # (--srcdir) where the testsuite source code lives
 541             set srcdir $optarg
 542             ::dejagnu::command_line::save_cmd_var srcdir
 543             continue
 544         }
 545
 546         "--target_bo*" {
 547             set target_list $optarg
 548             ::dejagnu::command_line::save_cmd_var target_list
 549             continue
 550         }
 551
 552         "--ta*" {                       # (--target) the target configuration
 553             set arg_target_triplet $optarg
 554             ::dejagnu::command_line::save_cmd_var arg_target_triplet
 555             continue
 556         }
 557
 558         "--tool_opt*" {
 559             set TOOL_OPTIONS $optarg
 560             ::dejagnu::command_line::save_cmd_var TOOL_OPTIONS
 561             continue
 562         }
 563
 564         "--tool_exec*" {
 565             set TOOL_EXECUTABLE $optarg
 566             ::dejagnu::command_line::save_cmd_var TOOL_EXECUTABLE
 567             continue
 568         }
 569
 570         "--to*" {                       # (--tool) specify tool name
 571             set tool $optarg
 572             set comm_line_tool $optarg
 573             ::dejagnu::command_line::save_cmd_var tool
 574             ::dejagnu::command_line::save_cmd_var comm_line_tool
 575             continue
 576         }
 577
 578         "--di*" {
 579             set cmdline_dir_to_run $optarg
 580             ::dejagnu::command_line::save_cmd_var cmdline_dir_to_run
 581             continue
 582         }
 583
 584         "--v" -
 585         "--verb*" {                     # (--verbose) verbose output
 586             incr verbose
 587             continue
 588         }
 589
 590         "[A-Z0-9_-.]*=*" { # process makefile style args like CC=gcc, etc...
 591             if {[regexp "^(\[A-Z0-9_-\]+)=(.*)$" $option junk var val]} {
 592                 set $var $val
 593                 verbose "$var is now $val"
 594                 append makevars "set $var $val;" ;# FIXME: Used anywhere?
 595                 unset junk var val
 596             } else {
 597                 send_error "Illegal variable specification:\n"
 598                 send_error "$option\n"
 599             }
 600             continue
 601         }
 602
 603     }
 604 }
 605 verbose "Verbose level is $verbose"
 606
 607 verbose [concat "Initial working directory is" [pwd]]
 608
 609 ::dejagnu::command_line::dump_cmd_vars
 610
 611 #
 612 # get the users login name
 613 #
 614 if { [info exists env(USER)] } {
 615     set logname $env(USER)
 616 } elseif { [info exists env(LOGNAME)] } {
 617     set logname $env(LOGNAME)
 618 } elseif { [catch {exec whoami} logname] == 0 } {
 619     # we now have it
 620 } elseif { [catch {exec who am i} logname] == 0 } {
 621     # systems using "who am i" apparently return some associated garbage
 622     set logname [lindex [split $logname " !"] 1]
 623 } else {
 624     # if we get here, logname contains an error message; erase it
 625     set logname ""
 626 }
 627
 628 # on the GNU system, "who am i" can successfully return an empty string
 629 if { $logname eq "" } {
 630     send_user "ERROR: couldn't get the user's login name\n"
 631     set logname "Unknown"
 632 }
 633
 634 verbose "Login name is $logname"
 635
 636 #
 637 # lookfor_file -- try to find a file by searching up multiple directory levels
 638 #
 639 proc lookfor_file { dir name } {
 640     foreach x [list . .. ../.. ../../.. ../../../..] {
 641         verbose $dir/$x/$name 2
 642         if {[file exists [file join $dir $name]]} {
 643             return [file join $dir $name]
 644         }
 645         set dir [remote_file build dirname $dir]
 646     }
 647     return ""
 648 }
 649
 650 #
 651 # load_lib -- load a library by sourcing it
 652 #
 653 # If there a multiple files with the same name, stop after the first one found.
 654 # The order is first look in the install dir, then in a parallel dir in the
 655 # source tree (up one or two levels), then in the current dir.
 656 #
 657 proc load_lib { file } {
 658     global verbose execpath tool
 659     global libdir libdirs srcdir testsuitedir base_dir
 660     global loaded_libs
 661
 662     if {[info exists loaded_libs($file)]} {
 663         return
 664     }
 665
 666     set loaded_libs($file) ""
 667     set search_dirs [list ../lib $libdir $libdir/lib]
 668     lappend search_dirs [file dirname [file dirname $srcdir]]/dejagnu/lib
 669     lappend search_dirs $testsuitedir/lib
 670     lappend search_dirs $execpath/lib "."
 671     lappend search_dirs [file dirname [file dirname [file dirname $srcdir]]]/dejagnu/lib
 672     if {[info exists libdirs]} {
 673         lappend search_dirs $libdirs
 674     }
 675     if { [search_and_load_file "library file" $file $search_dirs ] == 0 } {
 676         send_error "ERROR: Couldn't find library file $file.\n"
 677         exit 1
 678     }
 679 }
 680
 681 #
 682 # Begin sourcing the config files.
 683 # All are sourced in order.
 684 #
 685 # Search order:
 686 #    (local)    $base_dir/$local_init_file -> $objdir/$local_init_file ->
 687 #    (global)   installed($global_init_file) -> $DEJAGNU -> $HOME/.dejagnurc
 688 #
 689 # For the normal case, we expect $base_dir/$local_init_file to set
 690 # host_triplet and target_triplet.
 691 #
 692
 693 load_file [file join $base_dir $local_init_file]
 694
 695 # Ensure that command line parameters override testsuite init files.
 696 ::dejagnu::command_line::restore_cmd_vars
 697
 698 #
 699 # If objdir didn't get set in $base_dir/$local_init_file, set it to
 700 # $base_dir.  Make sure we source $objdir/$local_init_file in case
 701 # $base_dir/$local_init_file doesn't exist and objdir was given on the
 702 # command line.
 703 #
 704
 705 if { $objdir eq "." || $objdir eq $srcdir } {
 706     set objdir $base_dir
 707 } else {
 708     load_file [file join $objdir $local_init_file]
 709 }
 710
 711 # Ensure that command line parameters override testsuite init files.
 712 ::dejagnu::command_line::restore_cmd_vars
 713
 714 #
 715 # Find the testsuite.
 716 #
 717
 718 # The DejaGnu manual has always stated that a testsuite must be in a
 719 # testsuite/ subdirectory.
 720
 721 verbose "Finding testsuite ..." 3
 722 verbose "\$base_dir -> $base_dir" 3
 723 verbose "\$srcdir -> $srcdir" 3
 724 verbose "\$objdir -> $objdir" 3
 725 verbose [concat "file tail \$srcdir -> " [file tail $srcdir]] 3
 726 verbose [concat "file join \$srcdir testsuite -> " \
 727              [file join $srcdir testsuite]] 3
 728 verbose [concat "file isdirectory [file join \$srcdir testsuite] -> " \
 729              [file isdirectory [file join $srcdir testsuite]]] 3
 730 verbose [concat "file tail \$base_dir -> " [file tail $base_dir]] 3
 731
 732 if { [file tail $srcdir] eq "testsuite" } {
 733     # Subdirectory case -- $srcdir includes testsuite/
 734     set testsuitedir $srcdir
 735     set testbuilddir $objdir
 736 } elseif { [file tail $srcdir] ne "testsuite"
 737            && [file isdirectory [file join $srcdir testsuite]] } {
 738     # Top-level case -- testsuite in $srcdir/testsuite/
 739     set testsuitedir [file join $srcdir testsuite]
 740     set testbuilddir [file join $objdir testsuite]
 741 } elseif { $srcdir eq "." && [file tail $base_dir] eq "testsuite" } {
 742     # Development scaffold case -- testsuite in ".", but "." is "testsuite"
 743     set testsuitedir $base_dir
 744     set testbuilddir $base_dir
 745 } else {
 746     if { $testsuitedir eq "testsuite" && $testbuilddir eq "testsuite" } {
 747         # Broken legacy case -- testsuite not actually in testsuite/
 748         # Produce a warning, but continue.
 749         send_error "WARNING: testsuite is not in a testsuite/ directory.\n"
 750         set testsuitedir $srcdir
 751         set testbuilddir $objdir
 752     } else {
 753         # Custom case -- all variables are assumed to have been set correctly
 754     }
 755 }
 756
 757 verbose "Finding testsuite ... done" 3
 758
 759 # Well, this just demonstrates the real problem...
 760 if {![info exists tool_root_dir]} {
 761     set tool_root_dir [file dirname $objdir]
 762     if {[file exists [file join $tool_root_dir testsuite]]} {
 763         set tool_root_dir [file dirname $tool_root_dir]
 764     }
 765 }
 766
 767 verbose "Using test sources in $srcdir"
 768 verbose "Using test binaries in $objdir"
 769 verbose "Testsuite root is $testsuitedir"
 770 verbose "Tool root directory is $tool_root_dir"
 771
 772 set execpath [file dirname $argv0]
 773
 774 # The runtest.exp file is installed directly in libdir.
 775 # Conveniently, the source tree layout is the same as the installed libdir.
 776 set libdir [file dirname $argv0]
 777 if {[info exists env(DEJAGNULIBS)]} {
 778     set libdir $env(DEJAGNULIBS)
 779 }
 780 # list of extra search directories used by load_lib to look for libs
 781 set libdirs {}
 782
 783 verbose "Using $libdir to find libraries"
 784
 785 #
 786 # If the host or target was given on the command line, override the above
 787 # config files.  We allow $DEJAGNU to massage them though in case it would
 788 # ever want to do such a thing.
 789 #
 790 if { $arg_host_triplet ne "" } {
 791     set host_triplet $arg_host_triplet
 792 }
 793 if { $arg_build_triplet ne "" } {
 794     set build_triplet $arg_build_triplet
 795 }
 796
 797 # If we only specify --host, then that must be the build machine too,
 798 # and we're stuck using the old functionality of a simple cross test.
 799 if {[expr { $build_triplet eq ""  &&  $host_triplet ne "" } ]} {
 800     set build_triplet $host_triplet
 801 }
 802 # If we only specify --build, then we'll use that as the host too.
 803 if {[expr { $build_triplet ne "" && $host_triplet eq "" } ]} {
 804     set host_triplet $build_triplet
 805 }
 806 unset arg_host_triplet arg_build_triplet
 807
 808 #
 809 # If the build machine type hasn't been specified by now, use config.guess.
 810 #
 811
 812 if {[expr {$build_triplet eq "" && $host_triplet eq ""}]} {
 813     # find config.guess
 814     foreach dir [list $libdir $libdir/libexec $libdir/.. $execpath $srcdir $srcdir/.. $srcdir/../..] {
 815         verbose "Looking for $dir/config.guess" 2
 816         if {[file exists [file join $dir config.guess]]} {
 817             set config_guess [file join $dir config.guess]
 818             verbose "Found [file join $dir config.guess]"
 819             break
 820         }
 821     }
 822
 823     # get the canonical triplet
 824     if {![info exists config_guess]} {
 825         send_error "ERROR: Couldn't find config.guess program.\n"
 826         exit 1
 827     }
 828     if { [info exists ::env(CONFIG_SHELL)] } {
 829         if { [catch {exec $::env(CONFIG_SHELL) $config_guess} build_triplet] } {
 830             if { [lindex $::errorCode 0] eq "CHILDSTATUS" } {
 831                 send_error "ERROR: Running config.guess with\
 832                                         CONFIG_SHELL=$::env(CONFIG_SHELL)\
 833                                         exited on code\
 834                                         [lindex $::errorCode 2].\n"
 835             } else {
 836                 send_error "ERROR: Running config.guess with\
 837                                         CONFIG_SHELL=$::env(CONFIG_SHELL)\
 838                                         produced error:\n"
 839                 send_error "        $::errorCode\n"
 840             }
 841         }
 842     } elseif { [info exists ::env(SHELL)] } {
 843         if { [catch {exec $::env(SHELL) $config_guess} build_triplet] } {
 844             if { [lindex $::errorCode 0] eq "CHILDSTATUS" } {
 845                 send_error "ERROR: Running config.guess with\
 846                                         SHELL=$::env(SHELL)\
 847                                         exited on code\
 848                                         [lindex $::errorCode 2].\n"
 849             } else {
 850                 send_error "ERROR: Running config.guess with\
 851                                         SHELL=$::env(SHELL)\
 852                                         produced error:\n"
 853                 send_error "        $::errorCode\n"
 854             }
 855         }
 856     } else {
 857         if { [catch {exec $config_guess} build_triplet] } {
 858             if { [lindex $::errorCode 0] eq "CHILDSTATUS" } {
 859                 send_error "ERROR: Running config.guess exited on code\
 860                                         [lindex $::errorCode 2].\n"
 861             } else {
 862                 send_error "ERROR: Running config.guess produced error:\n"
 863                 send_error "        $::errorCode\n"
 864             }
 865         }
 866     }
 867     if { ![regexp -- {^[[:alnum:]_.]+(-[[:alnum:]_.]+)+$} $build_triplet] } {
 868         send_error "ERROR: Running config.guess produced bogus build triplet:\n"
 869         send_error "        $build_triplet\n"
 870         send_error "       (Perhaps you need to set CONFIG_SHELL or\
 871                                 SHELL in your environment\n"
 872         send_error "        to the absolute file name of a POSIX shell?)\n"
 873         exit 1
 874     }
 875     verbose "Assuming build host is $build_triplet"
 876     if { $host_triplet eq "" } {
 877         set host_triplet $build_triplet
 878     }
 879 }
 880
 881 #
 882 # Figure out the target. If the target hasn't been specified, then we have to
 883 # assume we are native.
 884 #
 885 if { $arg_target_triplet ne "" } {
 886     set target_triplet $arg_target_triplet
 887 } elseif { $target_triplet eq "" } {
 888     set target_triplet $build_triplet
 889     verbose "Assuming native target is $target_triplet" 2
 890 }
 891 unset arg_target_triplet
 892 #
 893 # Default target_alias to target_triplet.
 894 #
 895 if {$target_alias eq ""} {
 896     set target_alias $target_triplet
 897 }
 898
 899 proc get_local_hostname { } {
 900     if {[catch "info hostname" hb]} {
 901         set hb ""
 902     } else {
 903         regsub "\\..*$" $hb "" hb
 904     }
 905     verbose "hostname=$hb" 3
 906     return $hb
 907 }
 908
 909 #
 910 # We put these here so that they can be overridden later by site.exp or
 911 # friends.
 912 #
 913 # Set up the target as machine NAME. We also load base-config.exp as a
 914 # default configuration. The config files are sourced with the global
 915 # variable $board set to the name of the current target being defined.
 916 #
 917 proc setup_target_hook { whole_name name } {
 918     global board
 919     global host_board
 920
 921     if {[info exists host_board]} {
 922         set hb $host_board
 923     } else {
 924         set hb [get_local_hostname]
 925     }
 926
 927     set board $whole_name
 928
 929     global board_type
 930     set board_type "target"
 931
 932     load_config base-config.exp
 933     if {![load_board_description $name $whole_name $hb]} {
 934         if { $name ne "unix" } {
 935             perror "couldn't load description file for $name"
 936             exit 1
 937         } else {
 938             load_generic_config "unix"
 939         }
 940     }
 941
 942     if {[board_info $board exists generic_name]} {
 943         load_tool_target_config [board_info $board generic_name]
 944     }
 945
 946     unset board
 947     unset board_type
 948
 949     push_target $whole_name
 950
 951     if { [info procs ${whole_name}_init] ne "" } {
 952         ${whole_name}_init $whole_name
 953     }
 954
 955     if { ![isnative] && ![isremote target] } {
 956         global env build_triplet target_triplet
 957         if { (![info exists env(DEJAGNU)]) && ($build_triplet ne $target_triplet) } {
 958             warning "Assuming target board is the local machine (which is probably wrong).\nYou may need to set your DEJAGNU environment variable."
 959         }
 960     }
 961 }
 962
 963 #
 964 # Clean things up afterwards.
 965 #
 966 proc cleanup_target_hook { name } {
 967     global tool
 968     # Clean up the target board.
 969     if { [info procs ${name}_exit] ne "" } {
 970         ${name}_exit
 971     }
 972     # We also call the tool exit routine here.
 973     if {[info exists tool]} {
 974         if { [info procs ${tool}_exit] ne "" } {
 975             ${tool}_exit
 976         }
 977     }
 978     remote_close target
 979     pop_target
 980 }
 981
 982 proc setup_host_hook { name } {
 983     global board
 984     global board_info
 985     global board_type
 986
 987     set board $name
 988     set board_type "host"
 989
 990     load_board_description $name
 991     unset board
 992     unset board_type
 993     push_host $name
 994     if { [info procs ${name}_init] ne "" } {
 995         ${name}_init $name
 996     }
 997 }
 998
 999 proc setup_build_hook { name } {
1000     global board
1001     global board_info
1002     global board_type
1003
1004     set board $name
1005     set board_type "build"
1006
1007     load_board_description $name
1008     unset board
1009     unset board_type
1010     push_build $name
1011     if { [info procs ${name}_init] ne "" } {
1012         ${name}_init $name
1013     }
1014 }
1015
1016 #
1017 # Find and load the global config file if it exists.
1018 # The global config file is used to set the connect mode and other
1019 # parameters specific to each particular target.
1020 # These files assume the host and target have been set.
1021 #
1022
1023 if { [load_file -- [file join $libdir $global_init_file]] == 0 } {
1024     # If $DEJAGNU isn't set either then there isn't any global config file.
1025     # Warn the user as there really should be one.
1026     if { ! [info exists env(DEJAGNU)] } {
1027         send_error "WARNING: Couldn't find the global config file.\n"
1028     }
1029 }
1030
1031 if {[info exists env(DEJAGNU)]} {
1032     if { [load_file -- $env(DEJAGNU)] == 0 } {
1033         # It may seem odd to only issue a warning if there isn't a global
1034         # config file, but issue an error if $DEJAGNU is erroneously defined.
1035         # Since $DEJAGNU is set there is *supposed* to be a global config file,
1036         # so the current behaviour seems reasonable.
1037         send_error "ERROR: global config file $env(DEJAGNU) not found.\n"
1038         exit 1
1039     }
1040     if {![info exists boards_dir]} {
1041         set boards_dir "[file dirname $env(DEJAGNU)]/boards"
1042     }
1043 }
1044
1045 # Load user .dejagnurc file last as the ultimate override.
1046 load_file ~/.dejagnurc
1047
1048 if {![info exists boards_dir]} {
1049     set boards_dir ""
1050 }
1051
1052 #
1053 # parse out the config parts of the triplet name
1054 #
1055
1056 # build values
1057 if { $build_cpu eq "" } {
1058     regsub -- "-.*-.*" $build_triplet "" build_cpu
1059 }
1060 if { $build_vendor eq "" } {
1061     regsub -- "^\[a-z0-9\]*-" $build_triplet "" build_vendor
1062     regsub -- "-.*" $build_vendor "" build_vendor
1063 }
1064 if { $build_os eq "" } {
1065     regsub -- ".*-.*-" $build_triplet "" build_os
1066 }
1067
1068 # host values
1069 if { $host_cpu eq "" } {
1070     regsub -- "-.*-.*" $host_triplet "" host_cpu
1071 }
1072 if { $host_vendor eq "" } {
1073     regsub -- "^\[a-z0-9\]*-" $host_triplet "" host_vendor
1074     regsub -- "-.*" $host_vendor "" host_vendor
1075 }
1076 if { $host_os eq "" } {
1077     regsub -- ".*-.*-" $host_triplet "" host_os
1078 }
1079
1080 # target values
1081 if { $target_cpu eq "" } {
1082     regsub -- "-.*-.*" $target_triplet "" target_cpu
1083 }
1084 if { $target_vendor eq "" } {
1085     regsub -- "^\[a-z0-9\]*-" $target_triplet "" target_vendor
1086     regsub -- "-.*" $target_vendor "" target_vendor
1087 }
1088 if { $target_os eq "" } {
1089     regsub -- ".*-.*-" $target_triplet "" target_os
1090 }
1091
1092 #
1093 # Load the primary tool initialization file.
1094 #
1095
1096 proc load_tool_init { file } {
1097     global srcdir testsuitedir
1098     global loaded_libs
1099
1100     if {[info exists loaded_libs(tool/$file)]} {
1101         return
1102     }
1103
1104     set loaded_libs(tool/$file) ""
1105
1106     lappend searchpath [file join $testsuitedir lib tool]
1107     lappend searchpath [file join $testsuitedir lib]
1108     # for legacy testsuites that might have files in lib/ instead of
1109     # testsuite/lib/ in the package source tree; deprecated
1110     lappend searchpath [file join $srcdir lib]
1111
1112     if { ![search_and_load_file "tool init file" [list $file] $searchpath] } {
1113         warning "Couldn't find tool init file"
1114     }
1115 }
1116
1117 #
1118 # load the testing framework libraries
1119 #
1120 load_lib utils.exp
1121 load_lib framework.exp
1122 load_lib debugger.exp
1123 load_lib remote.exp
1124 load_lib target.exp
1125 load_lib targetdb.exp
1126 load_lib libgloss.exp
1127
1128 # Initialize the test counters and reset them to 0.
1129 init_testcounts
1130 reset_vars
1131
1132 #
1133 # Parse the command line arguments.
1134 #
1135
1136 # Load the tool initialization file. Allow the --tool option to override
1137 # what's set in the site.exp file.
1138 if {[info exists comm_line_tool]} {
1139     set tool $comm_line_tool
1140 }
1141
1142 if {[info exists tool]} {
1143     load_tool_init ${tool}.exp
1144 }
1145
1146 set argc [ llength $argv ]
1147 for { set i 0 } { $i < $argc } { incr i } {
1148     set option [ lindex $argv $i ]
1149
1150     # make all options have two hyphens
1151     switch -glob -- $option {
1152         "--*" {
1153         }
1154         "-*" {
1155             set option "-$option"
1156         }
1157     }
1158
1159     # split out the argument for options that take them
1160     switch -glob -- $option {
1161         "--*=*" {
1162             regexp {^[^=]*=(.*)$} $option nil optarg
1163         }
1164         "--bu*" -
1165         "--g*" -
1166         "--ho*" -
1167         "--ig*"  -
1168         "--loc*" -
1169         "--m*"  -
1170         "--ob*" -
1171         "--ou*" -
1172         "--sr*" -
1173         "--str*" -
1174         "--ta*" -
1175         "--di*" -
1176         "--to*" {
1177             incr i
1178             set optarg [lindex $argv $i]
1179         }
1180     }
1181
1182     switch -glob -- $option {
1183         "--v*" {                        # (--verbose) verbose output
1184             # Already parsed.
1185             continue
1186         }
1187
1188         "--g*" {                        # (--global_init) the global init file name
1189             # Already parsed (and no longer useful).  The file has been loaded.
1190             continue
1191         }
1192
1193         "--loc*" {                      # (--local_init) the local init file name
1194             # Already parsed (and no longer useful).  The file has been loaded.
1195             continue
1196         }
1197
1198         "--bu*" {                       # (--build) the build host configuration
1199             # Already parsed (and don't set again).  Let $DEJAGNU rename it.
1200             continue
1201         }
1202
1203         "--ho*" {                       # (--host) the host configuration
1204             # Already parsed (and don't set again).  Let $DEJAGNU rename it.
1205             continue
1206         }
1207
1208         "--target_bo*" {
1209             # Set it again, father knows best.
1210             set target_list $optarg
1211             continue
1212         }
1213
1214         "--ta*" {                       # (--target) the target configuration
1215             # Already parsed (and don't set again).  Let $DEJAGNU rename it.
1216             continue
1217         }
1218
1219         "--a*" {                        # (--all) print all test output to screen
1220             set all_flag 1
1221             verbose "Print all test output to screen"
1222             continue
1223         }
1224
1225         "--di*" {
1226             # Already parsed (and don't set again).  Let $DEJAGNU rename it.
1227             continue
1228         }
1229
1230
1231         "--de*" {                       # (--debug) expect internal debugging
1232             if {[file exists ./dbg.log]} {
1233                 catch [file delete -force -- dbg.log]
1234             }
1235             if { $verbose > 2 } {
1236                 exp_internal -f dbg.log 1
1237             } else {
1238                 exp_internal -f dbg.log 0
1239             }
1240             verbose "Expect Debugging is ON"
1241             continue
1242         }
1243
1244         "--D[01]" {                     # (-Debug) turn on Tcl debugger
1245             # The runtest shell script handles this option, but it
1246             # still appears in the options in the Tcl code.
1247             verbose "Tcl debugger is ON"
1248             continue
1249         }
1250
1251         "--m*" {                        # (--mail) mail the output
1252             set mailing_list $optarg
1253             set mail_logs 1
1254             verbose "Mail results to $mailing_list"
1255             continue
1256         }
1257
1258         "--r*" {                        # (--reboot) reboot the target
1259             set reboot 1
1260             verbose "Will reboot the target (if supported)"
1261             continue
1262         }
1263
1264         "--ob*" {                       # (--objdir) where the test case object code lives
1265             # Already parsed, but parse again to make sure command line
1266             # options override any config file.
1267             set objdir $optarg
1268             verbose "Using test binaries in $objdir"
1269             continue
1270         }
1271
1272         "--ou*" {                       # (--outdir) where to put the output files
1273             set outdir $optarg
1274             verbose "Test output put in $outdir"
1275             continue
1276         }
1277
1278         "--log_dialog*" {
1279             incr log_dialog
1280             continue
1281         }
1282
1283         "*.exp" {                       #  specify test names to run
1284             set all_runtests($option) ""
1285             verbose "Running only tests $option"
1286             continue
1287         }
1288
1289         "*.exp=*" {                     #  specify test names to run
1290             set tmp [split $option "="]
1291             set all_runtests([lindex $tmp 0]) [lindex $tmp 1]
1292             verbose "Running only tests $option"
1293             unset tmp
1294             continue
1295         }
1296
1297         "--ig*" {                       #  (--ignore) specify test names to exclude
1298             set ignoretests $optarg
1299             verbose "Ignoring test $ignoretests"
1300             continue
1301         }
1302
1303         "--sr*" {                       # (--srcdir) where the testsuite source code lives
1304             # Already parsed, but parse again to make sure command line
1305             # options override any config file.
1306
1307             set srcdir $optarg
1308             continue
1309         }
1310
1311         "--str*" {                      # (--strace) expect trace level
1312             set tracelevel $optarg
1313             strace $tracelevel
1314             verbose "Source Trace level is now $tracelevel"
1315             continue
1316         }
1317
1318         "--sta*" {                      # (--status) exit status flag
1319             # preserved for compatability, do nothing
1320             continue
1321         }
1322
1323         "--tool_opt*" {
1324             continue
1325         }
1326
1327         "--tool_exec*" {
1328             set TOOL_EXECUTABLE $optarg
1329             continue
1330         }
1331
1332         "--to*" {                       # (--tool) specify tool name
1333             set tool $optarg
1334             verbose "Testing $tool"
1335             continue
1336         }
1337
1338         "--x*" {
1339             set xml 1
1340             verbose "XML logging turned on"
1341             continue
1342         }
1343
1344         "--he*" {                       # (--help) help text
1345             usage
1346             exit 0
1347         }
1348
1349         "[A-Z0-9_-.]*=*" { # skip makefile style args like CC=gcc, etc... (processed in first pass)
1350             continue
1351         }
1352
1353         default {
1354             if {[info exists tool]} {
1355                 if { [info procs ${tool}_option_proc] ne "" } {
1356                     if {[${tool}_option_proc $option]} {
1357                         continue
1358                     }
1359                 }
1360             }
1361             send_error "\nIllegal Argument \"$option\"\n"
1362             send_error "try \"runtest --help\" for option list\n"
1363             exit 1
1364         }
1365     }
1366 }
1367
1368 #
1369 # check for a few crucial variables
1370 #
1371 if {![info exists tool]} {
1372     send_error "WARNING: No tool specified\n"
1373     set tool ""
1374 }
1375
1376 #
1377 # initialize a few Tcl variables to something other than their default
1378 #
1379 if { $verbose > 2 || $log_dialog } {
1380     log_user 1
1381 } else {
1382     log_user 0
1383 }
1384
1385 set timeout 10
1386
1387
1388
1389 #
1390 # open log files
1391 #
1392 open_logs
1393
1394 # print the config info
1395 clone_output "Test run by $logname on [timestamp -format %c]"
1396 if {[is3way]} {
1397     clone_output "Target is $target_triplet"
1398     clone_output "Host   is $host_triplet"
1399     clone_output "Build  is $build_triplet"
1400 } else {
1401     if {[isnative]} {
1402         clone_output "Native configuration is $target_triplet"
1403     } else {
1404         clone_output "Target is $target_triplet"
1405         clone_output "Host   is $host_triplet"
1406     }
1407 }
1408
1409 clone_output "\n\t\t=== $tool tests ===\n"
1410
1411 #
1412 # Look for the generic board configuration file. It searches in several
1413 # places: $libdir/config, $libdir/../config, and $boards_dir.
1414 #
1415
1416 proc load_generic_config { name } {
1417     global libdir
1418     global board
1419     global board_info
1420     global boards_dir
1421     global board_type
1422
1423     if {[info exists board]} {
1424         if {![info exists board_info($board,generic_name)]} {
1425             set board_info($board,generic_name) $name
1426         }
1427     }
1428
1429     if {[info exists board_type]} {
1430         set type "for $board_type"
1431     } else {
1432         set type ""
1433     }
1434
1435     set dirlist [concat $libdir/config [file dirname $libdir]/config $boards_dir]
1436     set result [search_and_load_file "generic interface file $type" $name.exp $dirlist]
1437
1438     return $result
1439 }
1440
1441 #
1442 # Load the tool-specific target description.
1443 #
1444 proc load_config { args } {
1445     global testsuitedir
1446
1447     set found 0
1448
1449     return [search_and_load_file "tool-and-target-specific interface file" $args [list $testsuitedir/config $testsuitedir/../config $testsuitedir/../../config $testsuitedir/../../../config]]
1450 }
1451
1452 #
1453 # Find the files that set up the configuration for the target. There
1454 # are assumed to be two of them; one defines a basic set of
1455 # functionality for the target that can be used by all tool
1456 # testsuites, and the other defines any necessary tool-specific
1457 # functionality. These files are loaded via load_config.
1458 #
1459 # These used to all be named $target_abbrev-$tool.exp, but as the
1460 # $tool variable goes away, it's now just $target_abbrev.exp.  First
1461 # we look for a file named with both the abbrev and the tool names.
1462 # Then we look for one named with just the abbrev name. Finally, we
1463 # look for a file called default, which is the default actions, as
1464 # some tools could be purely host based. Unknown is mostly for error
1465 # trapping.
1466 #
1467
1468 proc load_tool_target_config { name } {
1469     global target_os libdir testsuitedir
1470
1471     set found [load_config $name.exp $target_os.exp "default.exp" "unknown.exp"]
1472
1473     if { $found == 0 } {
1474         send_error "WARNING: Couldn't find tool config file for $name, using default.\n"
1475         # If we can't load the tool init file, this must be a simple natively hosted
1476         # test suite, so we use the default procs for Unix.
1477         if { [search_and_load_file "library file" default.exp [list $libdir $libdir/config [file dirname [file dirname $testsuitedir]]/dejagnu/config $testsuitedir/config . [file dirname [file dirname [file dirname $testsuitedir]]]/dejagnu/config]] == 0 } {
1478             send_error "ERROR: Couldn't find default tool init file.\n"
1479             exit 1
1480         }
1481     }
1482 }
1483
1484 #
1485 # Find the file that describes the machine specified by board_name.
1486 #
1487
1488 proc load_board_description { board_name args } {
1489     global libdir
1490     global board
1491     global board_info
1492     global boards_dir
1493     global board_type
1494
1495     set dejagnu ""
1496
1497     if { [llength $args] > 0 } {
1498         set whole_name [lindex $args 0]
1499     } else {
1500         set whole_name $board_name
1501     }
1502
1503     set board_info($whole_name,name) $whole_name
1504     if {![info exists board]} {
1505         set board $whole_name
1506         set board_set 1
1507     } else {
1508         set board_set 0
1509     }
1510
1511     set dirlist {}
1512     if { [llength $args] > 1 } {
1513         set suffix [lindex $args 1]
1514         if { $suffix ne "" } {
1515             foreach x $boards_dir {
1516                 lappend dirlist $x/$suffix
1517             }
1518             lappend dirlist $libdir/baseboards/$suffix
1519         }
1520     }
1521     set dirlist [concat $dirlist $boards_dir]
1522     lappend dirlist $libdir/baseboards
1523     verbose "dirlist is $dirlist"
1524     if {[info exists board_type]} {
1525         set type "for $board_type"
1526     } else {
1527         set type ""
1528     }
1529     if {![info exists board_info($whole_name,isremote)]} {
1530         set board_info($whole_name,isremote) 1
1531         if {[info exists board_type]} {
1532             if { $board_type eq "build" } {
1533                 set board_info($whole_name,isremote) 0
1534             }
1535         }
1536         if { $board_name eq [get_local_hostname] } {
1537             set board_info($whole_name,isremote) 0
1538         }
1539     }
1540     search_and_load_file "standard board description file $type" standard.exp $dirlist
1541     set found [search_and_load_file "board description file $type" $board_name.exp $dirlist]
1542     if { $board_set != 0 } {
1543         unset board
1544     }
1545
1546     return $found
1547 }
1548
1549 #
1550 # Find the base-level file that describes the machine specified by args. We
1551 # only look in one directory, $libdir/baseboards.
1552 #
1553
1554 proc load_base_board_description { board_name } {
1555     global libdir
1556     global board
1557     global board_info
1558     global board_type
1559
1560     set board_set 0
1561     set board_info($board_name,name) $board_name
1562     if {![info exists board]} {
1563         set board $board_name
1564         set board_set 1
1565     }
1566     if {[info exists board_type]} {
1567         set type "for $board_type"
1568     } else {
1569         set type ""
1570     }
1571     if {![info exists board_info($board_name,isremote)]} {
1572         set board_info($board_name,isremote) 1
1573         if {[info exists board_type]} {
1574             if { $board_type eq "build" } {
1575                 set board_info($board_name,isremote) 0
1576             }
1577         }
1578     }
1579
1580     if { $board_name eq [get_local_hostname] } {
1581         set board_info($board_name,isremote) 0
1582     }
1583     set found [search_and_load_file "board description file $type" $board_name.exp [list $libdir/baseboards]]
1584     if { $board_set != 0 } {
1585         unset board
1586     }
1587
1588     return $found
1589 }
1590
1591 #
1592 # Source the testcase in TEST_FILE_NAME.
1593 #
1594
1595 proc runtest { test_file_name } {
1596     global prms_id
1597     global bug_id
1598     global test_result
1599     global errcnt warncnt
1600     global errorCode
1601     global errorInfo
1602     global tool
1603     global testdir
1604
1605     clone_output "Running $test_file_name ..."
1606     set prms_id 0
1607     set bug_id  0
1608     set errcnt  0
1609     set warncnt 0
1610     set test_result ""
1611
1612     # set testdir so testsuite file -test has a starting point
1613     set testdir [file dirname $test_file_name]
1614
1615     if {[file exists $test_file_name]} {
1616         set timestart [timestamp]
1617
1618         if {[info exists tool]} {
1619             if { [info procs ${tool}_init] ne "" } {
1620                 ${tool}_init $test_file_name
1621             }
1622         }
1623
1624         if { [catch "uplevel #0 source $test_file_name" msg] == 1 } {
1625             # If we have a Tcl error, propagate the exit status so
1626             # that 'make' (if it invokes runtest) notices the error.
1627             global exit_status exit_error
1628             # exit error is set by the --status command line option
1629             if { $exit_status == 0 } {
1630                 set exit_status 2
1631             }
1632             set new_error [list $test_file_name $msg]
1633             # We can't call `perror' here, it resets `errorInfo'
1634             # before we want to look at it.  Also remember that perror
1635             # increments `errcnt'.  If we do call perror we'd have to
1636             # reset errcnt afterwards.
1637             clone_output "ERROR: tcl error sourcing $test_file_name."
1638             if {[info exists errorCode]} {
1639                 clone_output "ERROR: tcl error code $errorCode"
1640                 lappend new_error $errorCode
1641             } else {
1642                 lappend new_error [list]
1643             }
1644             if {[info exists errorInfo]} {
1645                 clone_output "ERROR: $errorInfo"
1646                 lappend new_error $errorInfo
1647                 unset errorInfo
1648             } else {
1649                 lappend new_error [list]
1650             }
1651             lappend ::dejagnu::error::list $new_error
1652             unresolved "testcase '$test_file_name' aborted due to Tcl error"
1653         }
1654
1655         if {[info exists tool]} {
1656             if { [info procs ${tool}_finish] ne "" } {
1657                 ${tool}_finish
1658             }
1659         }
1660         set timeend [timestamp]
1661         set timediff [expr {$timeend - $timestart}]
1662         verbose -log "testcase $test_file_name completed in $timediff seconds" 4
1663     } else {
1664         # This should never happen, but maybe if the file got removed
1665         # between the `find' above and here.
1666         perror "$test_file_name does not exist." 0
1667     }
1668 }
1669
1670 # Trap some signals so we know what's happening.  These replace the previous
1671 # ones because we've now loaded the library stuff.
1672 #
1673 if {![exp_debug]} {
1674     foreach sig {{SIGINT {interrupted by user} 130} \
1675                      {SIGQUIT {interrupted by user} 131} \
1676                      {SIGTERM {terminated} 143}} {
1677         set signal [lindex $sig 0]
1678         set str [lindex $sig 1]
1679         set code [lindex $sig 2]
1680         trap "send_error \"got a \[trap -name\] signal, $str \\n\"; set exit_status $code; log_and_exit;" $signal
1681         verbose "setting trap for $signal to $str" 1
1682     }
1683     unset signal str sig
1684 }
1685
1686 #
1687 # Given a list of targets, process any iterative lists.
1688 #
1689 proc process_target_variants { target_list } {
1690     set result {}
1691     foreach x $target_list {
1692         if {[regexp "\\(" $x]} {
1693             regsub {^.*\(([^()]*)\)$} $x {\1} variant_list
1694             regsub {\([^(]*$} $x "" x
1695             set list [process_target_variants $x]
1696             set result {}
1697             foreach x $list {
1698                 set result [concat $result [iterate_target_variants $x [split $variant_list ","]]]
1699             }
1700         } elseif {[regexp "\{" $x]} {
1701             regsub "^.*\{(\[^\{\}\]*)\}$" $x {\1} variant_list
1702             regsub "\{\[^\{\]*$" $x "" x
1703             set list [process_target_variants $x]
1704             foreach x $list {
1705                 foreach i [split $variant_list ","] {
1706                     set name $x
1707                     if { $i ne "" } {
1708                         append name "/" $i
1709                     }
1710                     lappend result $name
1711                 }
1712             }
1713         } else {
1714             lappend result $x
1715         }
1716     }
1717     return $result
1718 }
1719
1720 proc iterate_target_variants { target variants } {
1721     return [iterate_target_variants_two $target $target $variants]
1722 }
1723
1724 #
1725 # Given a list of variants, produce the list of all possible combinations.
1726 #
1727 proc iterate_target_variants_two { orig_target target variants } {
1728
1729     if { [llength $variants] == 0 } {
1730         return [list $target]
1731     } else {
1732         if { [llength $variants] > 1 } {
1733             set result [iterate_target_variants_two $orig_target $target [lrange $variants 1 end]]
1734         } else {
1735             if { $target ne $orig_target } {
1736                 set result [list $target]
1737             } else {
1738                 set result {}
1739             }
1740         }
1741         if { [lindex $variants 0] ne "" } {
1742             append target "/" [lindex $variants 0]
1743             return [concat $result [iterate_target_variants_two $orig_target $target [lrange $variants 1 end]]]
1744         } else {
1745             return [concat $result $target]
1746         }
1747     }
1748 }
1749
1750 setup_build_hook [get_local_hostname]
1751
1752 if {[info exists host_board]} {
1753     setup_host_hook $host_board
1754 } else {
1755     set hb [get_local_hostname]
1756     if { $hb ne "" } {
1757         setup_host_hook $hb
1758     }
1759 }
1760
1761 #
1762 # main test execution loop
1763 #
1764
1765 if {[info exists errorInfo]} {
1766     unset errorInfo
1767 }
1768
1769
1770 # make sure we have only single path delimiters
1771 regsub -all {([^/])//*} $srcdir {\1/} srcdir
1772 regsub -all {([^/])//*} $objdir {\1/} objdir
1773 regsub -all {([^/])//*} $testsuitedir {\1/} testsuitedir
1774 regsub -all {([^/])//*} $testbuilddir {\1/} testbuilddir
1775
1776 if {![info exists target_list]} {
1777     # Make sure there is at least one target machine. It's probably a Unix box,
1778     # but that's just a guess.
1779     set target_list { "unix" }
1780 } else {
1781     verbose "target list is $target_list"
1782 }
1783
1784 #
1785 # Iterate through the list of targets.
1786 #
1787 global current_target
1788
1789 set target_list [process_target_variants $target_list]
1790
1791 set target_count [llength $target_list]
1792
1793 clone_output "Schedule of variations:"
1794 foreach current_target $target_list {
1795     clone_output "    $current_target"
1796 }
1797 clone_output ""
1798
1799
1800 foreach current_target $target_list {
1801     verbose "target is $current_target"
1802     set current_target_name $current_target
1803     set tlist [split $current_target /]
1804     set current_target [lindex $tlist 0]
1805     set board_variant_list [lrange $tlist 1 end]
1806
1807     # Set the counts for this target to 0.
1808     reset_vars
1809     clone_output "Running target $current_target_name"
1810
1811     setup_target_hook $current_target_name $current_target
1812
1813     # If multiple passes requested, set them up.  Otherwise prepare just one.
1814     # The format of `MULTIPASS' is a list of elements containing
1815     # "{ name var1=value1 ... }" where `name' is a generic name for the pass and
1816     # currently has no other meaning.
1817
1818     global env
1819
1820     if { [info exists MULTIPASS] } {
1821         set multipass $MULTIPASS
1822     }
1823     if { $multipass eq "" } {
1824         set multipass { "" }
1825     }
1826
1827     # If PASS is specified, we want to run only the tests specified.
1828     # Its value should be a number or a list of numbers that specify
1829     # the passes that we want to run.
1830     if {[info exists PASS]} {
1831         set pass $PASS
1832     } else {
1833         set pass ""
1834     }
1835
1836     if {$pass ne ""} {
1837         set passes [list]
1838         foreach p $pass {
1839             foreach multipass_elem $multipass {
1840                 set multipass_name [lindex $multipass_elem 0]
1841                 if {$p == $multipass_name} {
1842                     lappend passes $multipass_elem
1843                     break
1844                 }
1845             }
1846         }
1847         set multipass $passes
1848     }
1849
1850     foreach pass $multipass {
1851
1852         # multipass_name is set for `record_test' to use (see framework.exp).
1853         if { [lindex $pass 0] ne "" } {
1854             set multipass_name [lindex $pass 0]
1855             clone_output "Running pass `$multipass_name' ..."
1856         } else {
1857             set multipass_name ""
1858         }
1859         set restore ""
1860         foreach varval [lrange $pass 1 end] {
1861             set tmp [string first "=" $varval]
1862             set var [string range $varval 0 [expr {$tmp - 1}]]
1863             # Save previous value.
1864             if {[info exists $var]} {
1865                 lappend restore "$var [list [eval concat \$$var]]"
1866             } else {
1867                 lappend restore $var
1868             }
1869             # Handle "CFLAGS=$CFLAGS foo".
1870             eval set $var \[string range \"$varval\" [expr {$tmp + 1}] end\]
1871             verbose "$var is now [eval concat \$$var]"
1872             unset tmp var
1873         }
1874
1875         # look for the top level testsuites. if $tool doesn't
1876         # exist and there are no subdirectories in $testsuitedir, then
1877         # we print a warning and default to srcdir.
1878         set test_top_dirs [lsort [getdirs -all $testsuitedir $tool*]]
1879         if { $test_top_dirs eq "" } {
1880             send_error "WARNING: could not find testsuite; trying $srcdir.\n"
1881             set test_top_dirs [list $srcdir]
1882         } else {
1883             # JYG:
1884             # DejaGNU's notion of test tree and test files is very
1885             # general:
1886             # given $testsuitedir and $tool, any subdirectory (at any
1887             # level deep) with the "$tool" prefix starts a test tree
1888             # given a test tree, any *.exp file underneath (at any
1889             # level deep) is a test file.
1890             #
1891             # For test tree layouts with $tool prefix on
1892             # both a parent and a child directory, we need to eliminate
1893             # the child directory entry from test_top_dirs list.
1894             # e.g. gdb.hp/gdb.base-hp/ would result in two entries
1895             # in the list: gdb.hp, gdb.hp/gdb.base-hp.
1896             # If the latter not eliminated, test files under
1897             # gdb.hp/gdb.base-hp would be run twice (since test files
1898             # are gathered from all sub-directories underneath a
1899             # directory).
1900             #
1901             # Since $tool may be g++, etc. which could confuse
1902             # regexp, we cannot do the simpler test:
1903             #     ...
1904             #     if [regexp "$testsuitedir/.*$tool.*/.*$tool.*" $dir]
1905             #     ...
1906             # instead, we rely on the fact that test_top_dirs is
1907             # a sorted list of entries, and any entry that contains
1908             # the previous valid test top dir entry in its own pathname
1909             # must be excluded.
1910
1911             set temp_top_dirs [list]
1912             set prev_dir ""
1913             foreach dir $test_top_dirs {
1914                 if { $prev_dir eq ""
1915                      || [string first $prev_dir/ $dir] == -1 } {
1916                     # the first top dir entry, or an entry that
1917                     # does not share the previous entry's entire
1918                     # pathname, record it as a valid top dir entry.
1919                     #
1920                     lappend temp_top_dirs $dir
1921                     set prev_dir $dir
1922                 }
1923             }
1924             set test_top_dirs $temp_top_dirs
1925         }
1926         verbose "Top level testsuite dirs are $test_top_dirs" 2
1927         set testlist ""
1928         if {[array exists all_runtests]} {
1929             foreach x [array names all_runtests] {
1930                 verbose "trying to glob $testsuitedir/$x" 2
1931                 set s [glob -nocomplain $testsuitedir/$x]
1932                 if { $s ne "" } {
1933                     set testlist [concat $testlist $s]
1934                 }
1935             }
1936         }
1937         #
1938         # If we have a list of tests, run all of them.
1939         #
1940         if { $testlist ne "" } {
1941             foreach test_name $testlist {
1942                 if { $ignoretests ne "" } {
1943                     if { 0 <= [lsearch $ignoretests [file tail $test_name]]} {
1944                         continue
1945                     }
1946                 }
1947
1948                 # set subdir to the tail of the dirname after $srcdir,
1949                 # for the driver files that want it.  XXX this is silly.
1950                 # drivers should get a single var, not $srcdir/$subdir
1951                 set subdir [relative_filename $srcdir \
1952                                 [file dirname $test_name]]
1953
1954                 # XXX not the right thing to do.
1955                 set runtests [list [file tail $test_name] ""]
1956
1957                 runtest $test_name
1958             }
1959         } else {
1960             #
1961             # Go digging for tests.
1962             #
1963             foreach dir $test_top_dirs {
1964                 if { $dir ne $testsuitedir } {
1965                     # Ignore this directory if is a directory to be
1966                     # ignored.
1967                     if {[info exists ignoredirs] && $ignoredirs ne ""} {
1968                         set found 0
1969                         foreach directory $ignoredirs {
1970                             if {[string match *$directory* $dir]} {
1971                                 set found 1
1972                                 break
1973                             }
1974                         }
1975                         if { $found } {
1976                             continue
1977                         }
1978                     }
1979
1980                     # Run the test if dir_to_run was specified as a
1981                     # value (for example in MULTIPASS) and the test
1982                     # directory matches that directory.
1983                     if {[info exists dir_to_run] && $dir_to_run ne ""} {
1984                         # JYG: dir_to_run might be a space delimited list
1985                         # of directories.  Look for match on each item.
1986                         set found 0
1987                         foreach directory $dir_to_run {
1988                             if {[string match *$directory* $dir]} {
1989                                 set found 1
1990                                 break
1991                             }
1992                         }
1993                         if {!$found} {
1994                             continue
1995                         }
1996                     }
1997
1998                     # Run the test if cmdline_dir_to_run was specified
1999                     # by the user using --directory and the test
2000                     # directory matches that directory
2001                     if {[info exists cmdline_dir_to_run] \
2002                             && $cmdline_dir_to_run ne ""} {
2003                         # JYG: cmdline_dir_to_run might be a space delimited
2004                         # list of directories.  Look for match on each item.
2005                         set found 0
2006                         foreach directory $cmdline_dir_to_run {
2007                             # Look for a directory that ends with the
2008                             # provided --directory name.
2009                             if {[string match $directory $dir]
2010                                 || [string match "*/$directory" $dir]} {
2011                                 set found 1
2012                                 break
2013                             }
2014                         }
2015                         if {!$found} {
2016                             continue
2017                         }
2018                     }
2019
2020                     foreach test_name [lsort [find $dir *.exp]] {
2021                         if { $test_name eq "" } {
2022                             continue
2023                         }
2024                         # Ignore this one if asked to.
2025                         if { $ignoretests ne "" } {
2026                             if { 0 <= [lsearch $ignoretests [file tail $test_name]]} {
2027                                 continue
2028                             }
2029                         }
2030
2031                         # Get the path after the $srcdir so we know
2032                         # the subdir we're in.
2033                         set subdir [relative_filename $srcdir \
2034                                         [file dirname $test_name]]
2035                         # Check to see if the range of tests is limited,
2036                         # set `runtests' to a list of two elements: the script name
2037                         # and any arguments ("" if none).
2038                         if {[array exists all_runtests]} {
2039                             verbose "searching for $test_name in [array names all_runtests]" 2
2040                             if { 0 > [lsearch [array names all_runtests] [file tail $test_name]]} {
2041                                 if { 0 > [lsearch [array names all_runtests] $test_name] } {
2042                                     continue
2043                                 }
2044                             }
2045                             set runtests [list [file tail $test_name] $all_runtests([file tail $test_name])]
2046                         } else {
2047                             set runtests [list [file tail $test_name] ""]
2048                         }
2049                         runtest $test_name
2050                     }
2051                 }
2052             }
2053         }
2054
2055         # Restore the variables set by this pass.
2056         foreach varval $restore {
2057             if { [llength $varval] > 1 } {
2058                 verbose "Restoring [lindex $varval 0] to [lindex $varval 1]" 4
2059                 set [lindex $varval 0] [lindex $varval 1]
2060             } else {
2061                 verbose "Restoring [lindex $varval 0] to `unset'" 4
2062                 unset -- [lindex $varval 0]
2063             }
2064         }
2065     }
2066     cleanup_target_hook $current_target
2067     if { $target_count > 1 } {
2068         log_summary
2069     }
2070 }
2071
2072 log_and_exit