Manual_tests.md

   1 I care a lot about being able to automatically check _any_ property about my
   2 program before it ever runs. However, some things don't have tests yet, either
   3 because I don't know how to test them or because I've been lazy. I'll at least
   4 record those here.
   5
   6 Initializing settings:
   7   - delete app settings, start with a filename; window opens running the text editor with cursor at top of file
   8   - run with absolute file path; quit; restart; window opens running the text editor in same position+dimensions
   9   - run with relative file path; quit; switch to new directory; restart without a filename; window opens running the text editor in same file in same position+dimensions
  10   - run with a filename on commandline, scroll around, quit; restart without a filename; window opens running the text editor in same position+dimensions
  11   - run with a filename on commandline, scroll around, quit; restart with same filename; window opens running the text editor in same position+dimensions
  12   - run with a filename on commandline, scroll around, quit; restart with new filename; window opens new filename with cursor up top
  13   - run editor, scroll around, move cursor to end of some line, quit; restart with new filename; window opens running the text editor in same position+dimensions
  14   - quit while running the text editor, restart; window opens running the text editor in same position+dimensions
  15   - quit while editing source (color; no drawings; no selection), restart; window opens editing source in same position+dimensions
  16   - start out running the text editor, move window, press ctrl+e twice; window is running text editor in same position+dimensions
  17   - start out editing source, move window, press ctrl+e twice; window is editing source in same position+dimensions
  18   - no log file; switching to source works
  19
  20   - run with an unsupported version. Error message pops up and waits for a key. The app attempts to continue, and doesn't receive the key.
  21
  22 Code loading:
  23 * run love with directory; text editor runs
  24 * run love with zip file; text editor runs
  25
  26 * How the screen looks. Our tests use a level of indirection to check text and
  27   graphics printed to screen, but not the precise pixels they translate to.
  28     - where exactly the cursor is drawn to highlight a given character
  29     - analogously, how a shape precisely looks as you draw it
  30
  31 * start out running the text editor, press ctrl+e to edit source, make a change to the source, press ctrl+e twice to return to the source editor; the change should be preserved.
  32
  33 ### Other compromises
  34
  35 Lua is dynamically typed. Tests can't patch over lack of type-checking.
  36
  37 * All strings are UTF-8. Bytes within them are not characters. I try to label
  38   byte offsets with the suffix `_offset`, and character positions as `_pos`.
  39   For example, `string.sub` should never use a `_pos`, only an `_offset`.
  40
  41 * Some ADT/interface support would be helpful in keeping per-line state in
  42   sync. Any change to line data should clear the derived line property
  43   `screen_line_starting_pos`.
  44
  45 * Some inputs get processed in love.textinput and some in love.keypressed.
  46   Several bugs have arisen due to destructive interference between the two for
  47   some key chord. I wish I could guarantee that the two sets are disjoint. But
  48   perhaps I'm not thinking about this right.
  49
  50 * Like any high-level language, it's easy to accidentally alias two non-scalar
  51   variables. I wish there was a way to require copy when assigning.
  52
  53 * I wish I could require pixel coordinates to be integers. The editor
  54   defensively converts input margins to integers.
  55
  56 * My test harness automatically runs `test_*` methods -- but only at the
  57   top-level. I wish there was a way to raise warnings if someone defines such
  58   a function inside a dict somewhere.