libvspell/tokenize.h

   1 #ifndef __TOKENIZE_H__
   2 #define __TOKENIZE_H__
   3
   4 #ifndef __VECTOR__
   5 #include <vector>
   6 #endif
   7 #ifndef __STRING__
   8 #include <string>
   9 #endif
  10
  11 struct Token
  12 {
  13   bool is_token;
  14   std::string value;
  15
  16   Token(bool _is_token, const std::string &_value):
  17     is_token(_is_token),
  18     value(_value)
  19   {}
  20 };
  21
  22 typedef std::vector<Token> Tokens;
  23
  24 bool tokenize(const std::string& str,Tokens &tokens);
  25
  26 #endif