extools/README

   1
   2 Categories have the format i-j:CAT where i and j are the indices of the spaces
   3 between words in the TARGET language.  For example, slash categories can be written:
   4
   5   the blue house
   6   0-1:DT 1-2:JJ 2-3:NN 1-3:NBAR 0-2:NP/NN 0-3:NP
   7
   8
   9 You may multiply label each span, e.g.
  10
  11   NP
  12    |
  13  NBAR
  14    |
  15   NN
  16    |
  17  John
  18   0-1:NP 0-1:NBAR 0-1:NP
  19
  20 However, this may result in a very large number of rules being extracted.
  21
  22
  23 ****
  24 * Filtering and Scoring of Unscored and Unfiltered Grammars
  25 ****
  26
  27 Take the unfiltered grammar, and a test set, and run:
  28 ./filter_grammar <test set> < unfiltered.grammar > filter.grammar
  29
  30 Then, to score the new filtered grammar, run:
  31 ./score_grammar <alignment> < filtered.grammar > scored.grammar
  32