wiki/src/blueprint/automated_builds_and_tests/testing.mdwn

   1 [[!meta title="Automated testing tools"]]
   2
   3 We already have [[an automated test suite|contribute/release_process/test/automated_tests]].
   4 This page is about tools that could allow us to improve it.
   5
   6 [[!toc levels=2]]
   7
   8 # Tools
   9
  10 ## behave
  11
  12 * [homepage](https://github.com/behave/behave)
  13 * Cucumber-like, in Python
  14 * used by GNOME
  15 * examples from the eog source tree, that use *behave* and *dogtail*:
  16   - [feature](https://git.gnome.org/browse/eog/tree/tests/actions.feature)
  17   - [steps definition](https://git.gnome.org/browse/eog/tree/tests/steps/steps.py)
  18 * not in Debian (2014/08/05)
  19 * Python (with Jython) is now Sikuli's preferred scripting language;
  20   it's also the language that has the best maintained bindings to
  21   interact with libvirt, accessibility technologies, and more
  22 * does *behave* work fine under Jython?
  23
  24 ## dogtail
  25
  26 * [homepage](https://fedorahosted.org/dogtail/)
  27 * GUI test tool and automation framework written in Python
  28 * uses Accessibility (a11y) technologies to communicate with
  29   desktop applications
  30 * used by GNOME in combination with *behave*: see the section about
  31   that one
  32 * in Debian Wheezy
  33 * how much do we still need Sikuli if we have dogtail?
  34
  35 ## LDTP
  36
  37 LDTP is an open source testing tool that uses computer assistive
  38 technology (accessibility) to automate GUIs. It's used by GNOME,
  39 Mozilla and others:
  40
  41 * [[!wikipedia Linux_Desktop_Testing_Project]]
  42 * [homepage](http://ldtp.freedesktop.org/wiki/)
  43 * [tutorial](http://download.freedesktop.org/ldtp/doc/ldtp-tutorial.pdf)
  44 * The main bindings are Python, but there also are a Ruby client and
  45   Perl bindings in the [Git repo](http://cgit.freedesktop.org/ldtp/ldtp2/tree/ldtp)
  46 * The LDTP dev mailing-list is very quiet, and it's unclear whether
  47   GNOME still uses it, or instead switched to dogtail.
  48
  49 ## misc
  50
  51 - Martin Pitt
  52   [announces](http://www.piware.de/2013/02/umockdev-record-and-mock-hardware-for-debugging-and-testing/)
  53   umockdev ([source code](https://github.com/martinpitt/umockdev)),
  54   a set of tools to record and mock hardware for debugging and testing
  55
  56 # Open questions
  57
  58 ## Using accessibility technologies?
  59
  60 In some cases, it could simplify some testing steps, such as anything
  61 about navigating menus, that we're currently mostly avoiding since
  62 it's hard to do in a robust way with Sikuli.
  63
  64 A downside is that we're not exactly testing how most users interact
  65 with the software. Some upsides are that it would ensure that our
  66 stuff does support accessibility technologies, and that we would have
  67 to maintain less pictures.