tools/auto_bisect/bisect.cfg

   1 # Copyright (c) 2013 The Chromium Authors. All rights reserved.
   2 # Use of this source code is governed by a BSD-style license that can be
   3 # found in the LICENSE file.
   4
   5 """Config file read by run-bisect-perf-regression.py.
   6
   7 This script is intended for use by anyone that wants to run a remote bisection
   8 on a range of revisions to look for a performance regression. Modify the config
   9 below and add the revision range, performance command, and metric. You can then
  10 run a git try <bot>.
  11
  12 Changes to this file should never be submitted.
  13
  14 Args:
  15   'command': This is the full command to execute the test.
  16   'good_revision': An svn or git revision where the metric hadn't regressed yet.
  17   'bad_revision': An svn or git revision sometime after the metric regressed.
  18   'metric': The name of the metric to parse out from the results of the
  19       performance test. You can retrieve the metric by looking at the stdio of
  20       the performance test. Look for lines of the format:
  21           RESULT <graph>: <trace>= <value> <units>
  22       The metric name is "<graph>/<trace>".
  23   'repeat_count': The number of times to repeat the performance test.
  24   'max_time_minutes': The script will attempt to run the performance test
  25       "repeat_count" times, unless it exceeds "max_time_minutes".
  26   'truncate_percent': The highest/lowest % values will be discarded before
  27       computing the mean result for each revision.
  28
  29 Sample config:
  30
  31 config = {
  32   'command': './tools/perf/run_benchmark --browser=release sunspider',
  33   'metric': 'Total/Total',
  34   'good_revision': '14ac2486c0eba1266d2da1c52e8759d9c784fe80',
  35   'bad_revision': 'fcf8643d31301eea990a4c42d7d8c9fc30cc33ec',
  36   'repeat_count': '20',
  37   'max_time_minutes': '20',
  38   'truncate_percent': '25',
  39 }
  40
  41 For Windows, if you're calling a python script you will need to add "python"
  42 to the command, so the command would be changed to:
  43     'python tools/perf/run_benchmark -v --browser=release sunspider',
  44
  45 For ChromeOS:
  46   - For good and bad revision, the script may accept either ChromeOS versions
  47     or unix timestamps.
  48   - You don't need to specify --identity and --remote, they will be added to
  49     the command using the bot's BISECT_CROS_IP and BISECT_CROS_BOARD values
  50   - Example:
  51
  52 config = {
  53   'command': ('./tools/perf/run_measurement -v --browser=cros-chrome-guest '
  54               'dromaeo.jslibstylejquery')
  55   'good_revision': '4086.0.0',
  56   'bad_revision': '4087.0.0',
  57   'metric': 'jslib/jslib',
  58 }
  59 """
  60
  61 config = {
  62   'max_time_minutes': '20',
  63   'metric': 'Total/Total',
  64   'builder_port': '8341',
  65   'bug_id': '405188',
  66   'repeat_count': '20',
  67   'good_revision': '288423',
  68   'builder_host': 'master4.golo.chromium.org',
  69   'truncate_percent': '25',
  70   'command': 'tools/perf/run_benchmark -v --browser=release sunspider',
  71   'gs_bucket': 'chrome-perf',
  72   'bad_revision': '288447',
  73 }
  74
  75 # Workaround git try issue, see crbug.com/257689