t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  11     169 B5 seems to be the losing move. This move doesn't make sense.
  12   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  13   hairy for simulations) and top group around A19 - that one is a bit more
  14   interesting, the problem is that black is double likely to play E19
  15   (since it's C19 selfatari cousin), but after E19, white will not notice
  16   the need to connect at C19. Not sure how to solve this yet, perhaps some
  17   way to add cousins to last_move logic...
  18
  19 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  20     won game lost: 212 H13 should be at J12.
  21
  22 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  23    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  24 kills above)
  25
  26 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  27   leading up to 90% then lost.
  28   bad evaluation of 3 areas according to pasky.
  29
  30 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  31   lost but was leading according to ajahuang and Zen itself
  32
  33 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  34   good example of losing a won game.
  35
  36 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  37   lost because of unrecognized seki
  38
  39 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  40   move 165 G5 again playing the ko threat before the ko.
  41   move 187 R18 is not a ko threat
  42   move 215:
  43     At this point pachi still considers the top right as
  44     unsetled, although it is is clearly lost for B. So pachi's
  45     estimate of winning by 61% is way too optimistic.
  46
  47 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
  48   pachi doesn't see that bent four in top left corner is dead.
  49   Still thinks it is winning 79% at move 250 G4.
  50
  51 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
  52   pachi loses every semai by a large number of liberties
  53   but still considers itself winning 57% up to move 222 G16.
  54
  55 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
  56   pachi considers the bottom left semeai won by black (but black
  57   loses it) and the bottom right as undecided (white is clearly
  58   alive). At move 270 L4 it still thinks it is leading by 80%
  59   although the game is lost.
  60   The bottom right is the same problem as
  61   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
  62   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
  63   This corner shape is very frequent and pachi always gets it wrong.
  64
  65 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
  66   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
  67   from 60% to 25% at next move.
  68
  69 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
  70   pachi totally confused by very simple seki.
  71
  72 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
  73   pachi thinks until the end that it wins by 80% because it
  74   doesn't understand the seki in lower right. It should have lost
  75   by 42.5 points but white mistakenly agreed to treat the seki as dead.
  76
  77 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
  78   move 84 E10 & 86 F10 big mistakes, leave white group dead.
  79   (amazingly pachi recovered and azlan7 escaped in the end).
  80
  81 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
  82   threw away won game, probably because of complex corner situations
  83   won by time but game was lost on board
  84
  85 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
  86   Passed even though a dead opponent group was marked alive.
  87
  88 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
  89   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
  90   so it should not play desperate moves.
  91   Pachi thought it was winning 72% at W 198 M3 but lost the game.
  92
  93 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
  94   pachi threw away the game because it didn't evaluate the
  95   semeai in bottom left correctly.
  96
  97 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
  98   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
  99   Pachi usually finds this so I'm surprised it didn't get it here.
 100
 101 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 102   move 150 R19: pachi extends a losing ladder
 103
 104 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 105   move 121 L19: pachi extends a losing ladder
 106
 107 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 108   move 143 N19: pachi extends a losing ladder
 109   This ladder bug seems more frequent since e9df2b6 (even though
 110   this change made Pachi 40 elo stronger).
 111
 112 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 113   lost even game against 3k. Win ratio drops from 61% at 117 N1
 114   to 49% at the next move. So pachi didn't evaluate the semai correctly.