lib/rdoc/tokenstream.rb

   1 module RDoc; end
   2
   3 ##
   4 # A TokenStream is a list of tokens, gathered during the parse of some entity
   5 # (say a method). Entities populate these streams by being registered with the
   6 # lexer. Any class can collect tokens by including TokenStream. From the
   7 # outside, you use such an object by calling the start_collecting_tokens
   8 # method, followed by calls to add_token and pop_token.
   9
  10 module RDoc::TokenStream
  11
  12   def token_stream
  13     @token_stream
  14   end
  15
  16   def start_collecting_tokens
  17     @token_stream = []
  18   end
  19
  20   def add_token(tk)
  21     @token_stream << tk
  22   end
  23
  24   def add_tokens(tks)
  25     tks.each  {|tk| add_token(tk)}
  26   end
  27
  28   def pop_token
  29     @token_stream.pop
  30   end
  31
  32 end
  33