tools/run-perf-test.cfg

   1 # Copyright 2013 The Chromium Authors. All rights reserved.
   2 # Use of this source code is governed by a BSD-style license that can be
   3 # found in the LICENSE file.
   4
   5 """Config file for Run Performance Test Bot
   6
   7 This script is intended for use by anyone that wants to run a remote performance
   8 test. Modify the config below and add the command to run the performance test,
   9 the metric you're interested in, and repeat/discard parameters. You can then
  10 run a git try <bot>.
  11
  12 Changes to this file should never be submitted.
  13
  14 Args:
  15   'command': This is the full command line to pass to the
  16       bisect-perf-regression.py script in order to execute the test.
  17   'metric': The name of the metric to parse out from the results of the
  18       performance test. You can retrieve the metric by looking at the stdio of
  19       the performance test. Look for lines of the format:
  20
  21       RESULT <graph>: <trace>= <value> <units>
  22
  23       The metric name is "<graph>/<trace>".
  24   'repeat_count': The number of times to repeat the performance test.
  25   'max_time_minutes': The script will attempt to run the performance test
  26       "repeat_count" times, unless it exceeds "max_time_minutes".
  27   'truncate_percent': Discard the highest/lowest % values from performance test.
  28
  29 Sample config:
  30
  31 config = {
  32   'command': './tools/perf/run_benchmark --browser=release smoothness.key_mobile_sites',
  33   'metric': 'mean_frame_time/mean_frame_time',
  34   'repeat_count': '20',
  35   'max_time_minutes': '20',
  36   'truncate_percent': '25',
  37 }
  38
  39 On Windows:
  40   - If you're calling a python script you will need to add "python" to
  41 the command:
  42
  43 config = {
  44   'command': 'python tools/perf/run_benchmark -v --browser=release smoothness.key_mobile_sites',
  45   'metric': 'mean_frame_time/mean_frame_time',
  46   'repeat_count': '20',
  47   'max_time_minutes': '20',
  48   'truncate_percent': '25',
  49 }
  50
  51
  52 On ChromeOS:
  53   - Script accepts either ChromeOS versions, or unix timestamps as revisions.
  54   - You don't need to specify --identity and --remote, they will be added to
  55     the command using the bot's BISECT_CROS_IP and BISECT_CROS_BOARD values.
  56
  57 config = {
  58   'command': './tools/perf/run_benchmark -v '\
  59       '--browser=cros-chrome-guest '\
  60       'smoothness.key_mobile_sites',
  61   'metric': 'mean_frame_time/mean_frame_time',
  62   'repeat_count': '20',
  63   'max_time_minutes': '20',
  64   'truncate_percent': '25',
  65 }
  66
  67 """
  68
  69 config = {
  70   'command': '',
  71   'metric': '',
  72   'repeat_count': '',
  73   'max_time_minutes': '',
  74   'truncate_percent': '',
  75 }
  76
  77 # Workaround git try issue, see crbug.com/257689