t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf ladder
   8   pachi tries to run away from a losing ladder against a 7k in even
   9   game. The 7k, disgusted, passed then resigned.
  10
  11 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
  12   pachi shouldn't play the broken ladders up to move 53
  13
  14 * http://files.gokgs.com/games/2011/6/5/Zen19-pachi2.sgf semeai falseeye
  15   should have won
  16  . move 185 S15 very dubious
  17
  18  . move 211 T18 pachi still thinks the semeai is undecided.
  19    but white has a lot more liberties. How can the playouts
  20    not see this?
  21
  22  . move 227 S3: here are suggestions by Aja
  23     If a false will become a real eye by capturing a diagonal group,
  24     then capture the group instead of filling the false eye. So if
  25     pachi wants to fill s3 it will capture at T1 instead. Then S3
  26     will become an illegal move so pachi will evaluate this group
  27     100% alive and won't play at T2 such stupid move.
  28
  29 * http://files.gokgs.com/games/2011/6/5/tazaki-pachi30s.sgf semeai falseeye
  30   pachi doesn't see even one move ahead in a semeai, it expects
  31   an answer outside the semeai. The score drops from 0.625 to 0.337:
  32
  33   move 194:
  34     [880000] best 0.624794 komi 0.4 | seq L19 G12 F11 P11 | can L19(0.625)
  35 O19(0.623) N19(0.469) P11(0.523)
  36     FINEST: Got successful response to command "genmove b": = L19
  37     FINEST: Got successful response to command "play w j16": =
  38   move 196:
  39     FINEST: Queued command sent to engine: genmove b
  40     [1026644] best 0.336825 komi 0.2 | seq P11  T8  R3  M9 | can P11(0.337)
  41 O11(0.336) O19(0.334) N19(0.340)
  42     FINEST: Got successful response to command "genmove b": = P11
  43
  44   The game was lost already but pachi should have known this before.
  45
  46   move 244: T13 doesn't make sense. This is due to wrong estimate of
  47   white's right group:
  48     [1922010] best 0.492722 | seq T13  T4  D5  M6 | can T13(0.493)
  49 S18(0.493)  L4(0.493)  E6(0.491)
  50     FINEST: Got successful response to command "genmove b": = T13
  51
  52   At move 282 pachi still thinks white's group is undecided.
  53   We must find a way of not filling the S7 eye in the playouts.
  54
  55 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  56     169 B5 seems to be the losing move. This move doesn't make sense.
  57   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  58   hairy for simulations) and top group around A19 - that one is a bit more
  59   interesting, the problem is that black is double likely to play E19
  60   (since it's C19 selfatari cousin), but after E19, white will not notice
  61   the need to connect at C19. Not sure how to solve this yet, perhaps some
  62   way to add cousins to last_move logic...
  63
  64 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  65     won game lost: 212 H13 should be at J12.
  66
  67 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  68    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  69 kills above)
  70
  71 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  72   leading up to 90% then lost.
  73   bad evaluation of 3 areas according to pasky.
  74
  75 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  76   lost but was leading according to ajahuang and Zen itself
  77
  78 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  79   good example of losing a won game.
  80
  81 * http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf ladder
  82   terrible ladder bug
  83
  84 * http://files.gokgs.com/games/2010/12/5/pachi-CzechBot.sgf
  85   big mistake at F9 didn't see snapback. Pasky comments:
  86     The "does not seen snapback" bug is nasty.  The problem is that
  87     there is also a "global capture heuristic" if there're no fun
  88     local moves, it looks for groups to capture and if white tenukis
  89     and does not capture immediately, this heuristic kicks in.  But
  90     there is no "global atari heuristic" that would drive black
  91     similarly to play at F1 and create the snapback if I test with
  92     playout=moggy:capturerate=0, it reliably destroys the snapback
  93     i.e. with capturerate=90, white is much more likely to come back
  94     to the situation later even when playing tenuki first.
  95
  96 * http://files.gokgs.com/games/2011/1/15/pachi2-rollingon.sgf semeai
  97   big semeai with easy counting of liberties misjuged
  98   move 169 0.7322 -> move 171  0.2600
  99
 100 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
 101   lost because of unrecognized seki
 102
 103 * http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf falseeye
 104   threw away a won game. pachi thought until the end that top left
 105   white group was dead, so it made silly moves elsewhere.
 106   The playouts must be prevented from filling the eye at A17.
 107
 108 * http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf falseeye
 109   exactly the same problem as botkiller2-pachi30s.sgf:
 110   pachi considers the top left black group as unsettled
 111   although it is clearly alive. So it makes silly moves
 112   elsewhere. We have to fix this bug, it is too frequent.
 113
 114 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
 115   move 165 G5 again playing the ko threat before the ko.
 116   move 187 R18 is not a ko threat
 117   move 215:
 118     At this point pachi still considers the top right as
 119     unsetled, although it is is clearly lost for B. So pachi's
 120     estimate of winning by 61% is way too optimistic.
 121
 122 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
 123   pachi doesn't see that bent four in top left corner is dead.
 124   Still thinks it is winning 79% at move 250 G4.
 125
 126 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
 127   pachi loses every semai by a large number of liberties
 128   but still considers itself winning 57% up to move 222 G16.
 129
 130 * http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf ladder
 131   moves 102..108 playing a broken ladder
 132
 133 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
 134   pachi considers the bottom left semeai won by black (but black
 135   loses it) and the bottom right as undecided (white is clearly
 136   alive). At move 270 L4 it still thinks it is leading by 80%
 137   although the game is lost.
 138   The bottom right is the same problem as
 139   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 140   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 141   This corner shape is very frequent and pachi always gets it wrong.
 142
 143 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
 144   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
 145   from 60% to 25% at next move.
 146
 147 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
 148   pachi totally confused by very simple seki.
 149
 150 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
 151   pachi thinks until the end that it wins by 80% because it
 152   doesn't understand the seki in lower right. It should have lost
 153   by 42.5 points but white mistakenly agreed to treat the seki as dead.
 154
 155 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
 156   move 84 E10 & 86 F10 big mistakes, leave white group dead.
 157   (amazingly pachi recovered and azlan7 escaped in the end).
 158
 159 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
 160   threw away won game, probably because of complex corner situations
 161   won by time but game was lost on board
 162
 163 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
 164   Passed even though a dead opponent group was marked alive.
 165
 166 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
 167   Pachi makes many stupid moves because it thinks the top left
 168   corner is unsettled although it is clearly alive. This shape
 169   (4 in a row) is so simple that it should get it right.
 170   W 252 S11 bad
 171   W 256 T12 bad
 172   W 264 E19 doesn't make sense, but still 69%
 173   W 266 H19 doesn't make sense, but still 61%
 174   W 268 T9 should be T8
 175   W 292 A17 50%, W 294 R6 37% shows that top left was not
 176     evaluated correctly.
 177   Also false eye evaluation problem in bottom left.
 178
 179 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 180   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 181   so it should not play desperate moves.
 182   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 183
 184 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 185   pachi threw away the game because it didn't evaluate the
 186   semeai in bottom left correctly.
 187
 188 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 189   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 190   Pachi usually finds this so I'm surprised it didn't get it here.
 191
 192 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 193   move 150 R19: pachi extends a losing ladder
 194
 195 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 196   move 121 L19: pachi extends a losing ladder
 197
 198 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 199   move 143 N19: pachi extends a losing ladder
 200   This ladder bug seems more frequent since e9df2b6 (even though
 201   this change made Pachi 40 elo stronger).
 202
 203 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 204   lost even game against 3k. Win ratio drops from 61% at 117 N1
 205   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 206
 207 * http://files.gokgs.com/games/2011/8/12/xiaosugi-pachi2.sgf falseeye
 208   Pachi hallucinated again on bottom right corner.
 209   This is the same problem as
 210     http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf
 211     http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 212     http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 213   This corner shape is very frequent and pachi always gets it wrong.
 214
 215 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 216   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 217   This might be the same bug as
 218     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 219     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 220     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 221     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 222     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 223     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 224     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 225     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 226
 227 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 228   Move 48 onwards: pachi plays a broken ladder, which cost not
 229   just the game but also the first place in the tournament.
 230   See also broken ladders in
 231     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 232     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 233     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 234     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 235     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 236     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 237     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 238     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 239     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf