DMVCCM.html~20080526~

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
   2                "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml"
   4 lang="en" xml:lang="en">
   5 <head>
   6 <title>DMV/CCM</title>
   7 <meta http-equiv="Content-Type" content="text/html;charset=utf-8"/>
   8 <meta name="generator" content="Org-mode"/>
   9 <meta name="generated" content="2008/05/25 22:45:46"/>
  10 <meta name="author" content="Kevin Brubeck Unhammer"/>
  11 <link rel="stylesheet" type="text/css" href="http://www.student.uib.no/~kun041/org.css">
  12 </head><body>
  13 <h1 class="title">DMV/CCM</h1>
  14 <div id="table-of-contents">
  15 <h2>Table of Contents</h2>
  16 <div id="text-table-of-contents">
  17 <ul>
  18 <li><a href="#sec-1">1 dmvccm</a>
  19 <ul>
  20 <li><a href="#sec-1.1">1.1 [#A] P<sub>STOP</sub></a></li>
  21 <li><a href="#sec-1.2">1.2 P<sub>CHOOSE</sub></a></li>
  22 <li><a href="#sec-1.3">1.3 Initialization   </a></li>
  23 <li><a href="#sec-1.4">1.4 Adjacency and combining it with inner()</a></li>
  24 <li><a href="#sec-1.5">1.5 What exactly is the E-step of DMV? Is the M-step just inner on the full sentence?</a></li>
  25 <li><a href="#sec-1.6">1.6 Meet Yoav again about dmvccm</a>
  26 <ul>
  27 <li><a href="#sec-1.6.1">1.6.1 Initialization</a></li>
  28 <li><a href="#sec-1.6.2">1.6.2 Corpus access?</a></li>
  29 <li><a href="#sec-1.6.3">1.6.3 How do we interpret DMV as an inside/outside process?</a></li>
  30 <li><a href="#sec-1.6.4">1.6.4 The upside-down P<sub>STOP</sub> formula (left-to-right also)?</a></li>
  31 <li><a href="#sec-1.6.5">1.6.5 Technical: sentences or rules as the "outer loop"?</a></li>
  32 <li><a href="#sec-1.6.6">1.6.6 What are the formulas for P<sub>CHOOSE</sub> etc?</a></li>
  33 <li><a href="#sec-1.6.7">1.6.7 How is the P<sub>STOP</sub> formula different given other values for dir and adj?</a></li>
  34 <li><a href="#sec-1.6.8">1.6.8 CCM-questions</a></li>
  35 <li><a href="#sec-1.6.9">1.6.9 (Answered already?) How do we know whether we are 'adjacent' or not? </a></li>
  36 </ul></li>
  37 </ul>
  38 </li>
  39 <li><a href="#sec-2">2 Python-stuff</a></li>
  40 </ul>
  41 </div>
  42 </div>
  43
  44 <div id="outline-container-1" class="outline-2">
  45 <h2 id="sec-1">1 dmvccm</h2>
  46 <div id="text-1">
  47
  48 <p><span class="timestamp-kwd">DEADLINE: </span> <span class="timestamp">2008-06-30 Mon</span><br/>
  49 (But absolute, extended, really-quite-dead-now deadline: August 31&hellip;)
  50 <a href="src/dmv.py">dmv.py</a>
  51 <a href="src/io.py">io.py</a>
  52 </p>
  53 </div>
  54
  55 <div id="outline-container-1.1" class="outline-3">
  56 <h3 id="sec-1.1">1.1 <span class="todo">TODO</span> [#A] P<sub>STOP</sub></h3>
  57 <div id="text-1.1">
  58
  59 <p><a href="src/dmv.py">dmv.py</a>
  60 </p></div>
  61
  62 </div>
  63
  64 <div id="outline-container-1.2" class="outline-3">
  65 <h3 id="sec-1.2">1.2 <span class="todo">TOGROK</span> P<sub>CHOOSE</sub></h3>
  66 <div id="text-1.2">
  67
  68 </div>
  69
  70 </div>
  71
  72 <div id="outline-container-1.3" class="outline-3">
  73 <h3 id="sec-1.3">1.3 <span class="todo">TOGROK</span> Initialization   </h3>
  74 <div id="text-1.3">
  75
  76 </div>
  77
  78 </div>
  79
  80 <div id="outline-container-1.4" class="outline-3">
  81 <h3 id="sec-1.4">1.4 <span class="todo">TOGROK</span> Adjacency and combining it with inner()</h3>
  82 <div id="text-1.4">
  83
  84 </div>
  85
  86 </div>
  87
  88 <div id="outline-container-1.5" class="outline-3">
  89 <h3 id="sec-1.5">1.5 <span class="todo">TOGROK</span> What exactly is the E-step of DMV? Is the M-step just inner on the full sentence?</h3>
  90 <div id="text-1.5">
  91
  92
  93
  94 </div>
  95
  96 </div>
  97
  98 <div id="outline-container-1.6" class="outline-3">
  99 <h3 id="sec-1.6">1.6 Meet Yoav again about dmvccm</h3>
 100 <div id="text-1.6">
 101
 102 <p><span class="timestamp-kwd">SCHEDULED: </span> <span class="timestamp">2008-05-26 Mon</span><br/>
 103 13:30, P3.21.
 104 </p>
 105 <p>
 106 Questions:
 107 </p>
 108 </div>
 109
 110 <div id="outline-container-1.6.1" class="outline-4">
 111 <h4 id="sec-1.6.1">1.6.1 Initialization</h4>
 112 <div id="text-1.6.1">
 113
 114 <p>Do we have to go through the corpus, since the probabilities are based
 115 on how far away in the sentence arguments are from their heads?
 116 </p></div>
 117
 118 </div>
 119
 120 <div id="outline-container-1.6.2" class="outline-4">
 121 <h4 id="sec-1.6.2">1.6.2 Corpus access?</h4>
 122 <div id="text-1.6.2">
 123
 124 </div>
 125
 126 </div>
 127
 128 <div id="outline-container-1.6.3" class="outline-4">
 129 <h4 id="sec-1.6.3">1.6.3 How do we interpret DMV as an inside/outside process?</h4>
 130 <div id="text-1.6.3">
 131
 132 <p>c<sub>s</sub>(x : i, j) is "the expected fraction of parses of s" with x from
 133 i to j; expectation then uses the probabilities gotten from
 134 initialization and previously gained probabilities, but these are of
 135 the form P<sub>STOP</sub> and P<sub>CHOOSE</sub>, how do we translate this to inside
 136 outside, which just uses the probabilities of CFG-rules?
 137 </p></div>
 138
 139 </div>
 140
 141 <div id="outline-container-1.6.4" class="outline-4">
 142 <h4 id="sec-1.6.4">1.6.4 The upside-down P<sub>STOP</sub> formula (left-to-right also)?</h4>
 143 <div id="text-1.6.4">
 144
 145 </div>
 146
 147 </div>
 148
 149 <div id="outline-container-1.6.5" class="outline-4">
 150 <h4 id="sec-1.6.5">1.6.5 Technical: sentences or rules as the "outer loop"?</h4>
 151 <div id="text-1.6.5">
 152
 153 </div>
 154
 155 </div>
 156
 157 <div id="outline-container-1.6.6" class="outline-4">
 158 <h4 id="sec-1.6.6">1.6.6 What are the formulas for P<sub>CHOOSE</sub> etc?</h4>
 159 <div id="text-1.6.6">
 160
 161 <p>Is this the same as the regular E-step (M-step?) summation of
 162 Lari&amp;Young?  (Equation 20)
 163 </p></div>
 164
 165 </div>
 166
 167 <div id="outline-container-1.6.7" class="outline-4">
 168 <h4 id="sec-1.6.7">1.6.7 How is the P<sub>STOP</sub> formula different given other values for dir and adj?</h4>
 169 <div id="text-1.6.7">
 170
 171
 172 <p>
 173 (Presumably, the P<sub>STOP</sub> formula where STOP is True is just the
 174 rule-probability of <u>h</u> -&gt; STOP h_ or h_ -&gt; h STOP, but how does
 175 adjacency fit in here?)
 176 </p>
 177 <p>
 178 (And P<sub>STOP</sub>(-STOP|&hellip;) = 1 - P<sub>STOP</sub>(STOP|&hellip;) )
 179 </p></div>
 180
 181 </div>
 182
 183 <div id="outline-container-1.6.8" class="outline-4">
 184 <h4 id="sec-1.6.8">1.6.8 CCM-questions</h4>
 185 <div id="text-1.6.8">
 186
 187 <ul>
 188 <li>
 189 True or false: half of the CCM model probabilities (the one where
 190 the span is a constituent) are exactly inside and outside
 191 probabilities
 192 <ul>
 193 <li>
 194
 195 <ul>
 196 </ul></li>
 197 </ul>
 198 <p>&hellip;
 199 </p>
 200 </li>
 201 </ul></div>
 202
 203 </div>
 204
 205 <div id="outline-container-1.6.9" class="outline-4">
 206 <h4 id="sec-1.6.9">1.6.9 (Answered already?) How do we know whether we are 'adjacent' or not? </h4>
 207 <div id="text-1.6.9">
 208
 209
 210 </div>
 211
 212 <div id="outline-container-1.6.9.1" class="outline-5">
 213 <h5 id="sec-1.6.9.1">1.6.9.1 One configuration that I'm fairly certain of: right w/CHOOSE</h5>
 214 <div id="text-1.6.9.1">
 215
 216 <p>if we have
 217 \Tree [<sub>b</sub> [<sub>b</sub> b <u>c</u> ] <u>d</u> ]
 218 then the lower tree [<sub>b</sub> b <u>c</u> ] is adjacent since, working your way up
 219 the tree, no argument has been created to the right "yet"; while the
 220 outer tree [<sub>b</sub> [<sub>b</sub> &hellip; ] <u>d</u> ] is non-adjacent, since there is something in
 221 between&hellip; Is it thus always adjacent to the right if the distance
 222 is 2? (That is, in e(s,t,i) for the adjacent rule: t - s == 2; while
 223 in the non_adj rule: t - s == 4)
 224 </p><ul>
 225 <li id="sec-1.6.9.1.1">Implementing this:<br/>
 226 Two different DMVRules? Or just two different prob-values per rule?
 227 </li>
 228 </ul>
 229 </div>
 230
 231 </div>
 232
 233 <div id="outline-container-1.6.9.2" class="outline-5">
 234 <h5 id="sec-1.6.9.2">1.6.9.2 left w/CHOOSE</h5>
 235 <div id="text-1.6.9.2">
 236
 237 <p>Same deal here?
 238 </p></div>
 239
 240 </div>
 241
 242 <div id="outline-container-1.6.9.3" class="outline-5">
 243 <h5 id="sec-1.6.9.3">1.6.9.3 R/L without CHOOSE, the "sealing operations"</h5>
 244 <div id="text-1.6.9.3">
 245
 246 <p><u>h</u> -&gt; STOP h_ and h_ -&gt; h STOP
 247 </p>
 248 <p>
 249 What is "adjacency" here? That t - s == 1?
 250 </p>
 251
 252
 253
 254
 255 </div>
 256 </div>
 257 </div>
 258 </div>
 259
 260 </div>
 261
 262 <div id="outline-container-2" class="outline-2">
 263 <h2 id="sec-2">2 Python-stuff</h2>
 264 <div id="text-2">
 265
 266 <ul>
 267 <li>
 268 <a href="src/pseudo.py">pseudo.py</a>
 269 </li>
 270 <li>
 271 <a href="http://nltk.org/doc/en/structured-programming.html">http://nltk.org/doc/en/structured-programming.html</a> recursive dynamic
 272 </li>
 273 <li>
 274 <a href="http://nltk.org/doc/en/advanced-parsing.html">http://nltk.org/doc/en/advanced-parsing.html</a>
 275
 276
 277 </li>
 278 </ul>
 279 </div>
 280 </div>
 281 <div id="postamble"><p class="author"> Author: Kevin Brubeck Unhammer
 282 <a href="mailto:K.BrubeckUnhammer at student uva nl ">&lt;K.BrubeckUnhammer at student uva nl &gt;</a>
 283 </p>
 284 <p class="date"> Date: 2008/05/25 22:45:46</p>
 285 </div><p class="postamble">Skrive vha. emacs + <a href='http://orgmode.org/'>org-mode</a></p></body>
 286 </html>