l10ntools/source/xrmlex.l

   1 %{
   2 /*
   3  * lexer for parsing xml-property source files (*.xml)
   4  *
   5  */
   6
   7 /* enlarge token buffer to tokenize whole strings */
   8 #undef YYLMAX
   9 #define YYLMAX 64000
  10
  11 /* to enable debug output define LEXDEBUG */
  12 #define LEXDEBUG                1
  13 #ifdef LEXDEBUG
  14 #define OUTPUT  fprintf
  15 #else
  16 #define OUTPUT(Par1,Par2);
  17 #endif
  18
  19 /* table of possible token ids */
  20 #include "tokens.h"
  21 #include <stdlib.h>
  22 #include <stdio.h>
  23
  24 #include "sal/main.h"
  25
  26 #if defined __GNUC__
  27 #if (__GNUC__ > 4 || (__GNUC__ == 4 && __GNUC_MINOR__ >= 2))
  28 #pragma GCC diagnostic ignored "-Wunused-function"
  29 #pragma GCC diagnostic ignored "-Wunused-label"
  30 #pragma GCC diagnostic ignored "-Wunused-but-set-variable"
  31 #endif
  32 #elif defined __SINPRO_CC
  33 #pragma disable_warn
  34 #elif defined _MSC_VER
  35 #pragma warning(push, 1)
  36 #endif
  37
  38 /* external functions (C++ code, declared as extern "C" */
  39 extern "C" int WorkOnTokenSet( int, char* );
  40 extern "C" int Argument( char * );
  41 extern "C" int InitXrmExport( char * , char * );
  42 extern "C" int EndXrmExport();
  43 extern "C" int GetError();
  44 extern "C" int SetError();
  45 extern "C" char *GetOutputFile( int argc, char* argv[]);
  46 extern "C" FILE *GetXrmFile();
  47 extern "C" int isQuiet();
  48 extern "C" char* getFilename();
  49
  50 /* forwards */
  51 void YYWarning();
  52
  53 int bText=0;
  54 %}
  55
  56 %option yylineno
  57 %option never-interactive
  58
  59 %p 24000
  60 %e 1200
  61 %n 500
  62
  63 %%
  64
  65 "<p "[^\>]*xml:lang[^\>]*\> {
  66         WorkOnTokenSet( XRM_TEXT_START , yytext );
  67 }
  68
  69 "</p>" {
  70         WorkOnTokenSet( XRM_TEXT_END, yytext );
  71 }
  72
  73 "<h1 "[^\>]*xml:lang[^\>]*\> {
  74         WorkOnTokenSet( XRM_TEXT_START , yytext );
  75 }
  76
  77 "</h1>" {
  78         WorkOnTokenSet( XRM_TEXT_END, yytext );
  79 }
  80 "<h2 "[^\>]*xml:lang[^\>]*\> {
  81         WorkOnTokenSet( XRM_TEXT_START , yytext );
  82 }
  83
  84 "</h2>" {
  85         WorkOnTokenSet( XRM_TEXT_END, yytext );
  86 }
  87 "<h3 "[^\>]*xml:lang[^\>]*\> {
  88         WorkOnTokenSet( XRM_TEXT_START , yytext );
  89 }
  90
  91 "</h3>" {
  92         WorkOnTokenSet( XRM_TEXT_END, yytext );
  93 }
  94 "<h4 "[^\>]*xml:lang[^\>]*\> {
  95         WorkOnTokenSet( XRM_TEXT_START , yytext );
  96 }
  97
  98 "</h4>" {
  99         WorkOnTokenSet( XRM_TEXT_END, yytext );
 100 }
 101 "<h5 "[^\>]*xml:lang[^\>]*\> {
 102         WorkOnTokenSet( XRM_TEXT_START , yytext );
 103 }
 104
 105 "</h5>" {
 106         WorkOnTokenSet( XRM_TEXT_END, yytext );
 107 }
 108
 109 "<display-name>" {
 110         WorkOnTokenSet( DESC_DISPLAY_NAME_START , yytext );
 111 }
 112
 113 "</display-name>" {
 114         WorkOnTokenSet( DESC_DISPLAY_NAME_END, yytext );
 115 }
 116
 117 "<name "[^\>]*lang[^\>]*\> {
 118         WorkOnTokenSet( DESC_TEXT_START , yytext );
 119 }
 120
 121 "</name>" {
 122         WorkOnTokenSet( DESC_TEXT_END, yytext );
 123 }
 124
 125 "<extension-description>" {
 126         WorkOnTokenSet( DESC_EXTENSION_DESCRIPTION_START , yytext );
 127 }
 128
 129 "</extension-description>" {
 130         WorkOnTokenSet( DESC_EXTENSION_DESCRIPTION_END , yytext );
 131 }
 132
 133 "<src "[^\>]*lang[^\>]*\> {
 134         WorkOnTokenSet( DESC_EXTENSION_DESCRIPTION_SRC , yytext );
 135 }
 136
 137
 138
 139 "<!--"  {
 140         char c1 = 0, c2 = 0, c3 = yyinput();
 141         char pChar[2];
 142         pChar[1] = 0x00;
 143         pChar[0] = c3;
 144
 145         WorkOnTokenSet( COMMEND, yytext );
 146         WorkOnTokenSet( COMMEND, pChar );
 147
 148         for(;;) {
 149                 if ( c3 == EOF )
 150                         break;
 151                 if ( c1 == '-' && c2 == '-' && c3 == '>' )
 152                         break;
 153                 c1 = c2;
 154                 c2 = c3;
 155                 c3 = yyinput();
 156                 pChar[0] = c3;
 157                 WorkOnTokenSet( COMMEND, pChar );
 158         }
 159 }
 160
 161 .|\n {
 162         if ( bText == 1 )
 163                 WorkOnTokenSet( XML_TEXTCHAR, yytext );
 164         else
 165                 WorkOnTokenSet( UNKNOWNCHAR, yytext );
 166 }
 167
 168
 169 %%
 170
 171 /*****************************************************************************/
 172 int     yywrap(void)
 173 /*****************************************************************************/
 174 {
 175         return 1;
 176 }
 177
 178 /*****************************************************************************/
 179 void YYWarning( const char *s )
 180 /*****************************************************************************/
 181 {
 182         /* write warning to stderr */
 183         fprintf( stderr,
 184                 "Warning: \"%s\" in line %d: \"%s\"\n", s, yylineno, yytext  );
 185 }
 186
 187 /*****************************************************************************/
 188 void yyerror ( const char *s )
 189 /*****************************************************************************/
 190 {
 191         /* write error to stderr */
 192         fprintf( stderr,
 193                 "Error: \"%s\" in line %d: \"%s\"\n", s, yylineno, yytext  );
 194         SetError();
 195 }
 196
 197 SAL_IMPLEMENT_MAIN_WITH_ARGS(argc, argv) {
 198         /* error level */
 199         int nRetValue = 0;
 200         char *pOutput;
 201         FILE *pFile;
 202
 203         pOutput = GetOutputFile( argc, argv );
 204
 205         if ( !pOutput ) {
 206                 fprintf( stdout, "Syntax: XRMEX[-p Prj][-r PrjRoot]-i FileIn [-o FileOut][-m DataBase][-e][-b][-u][-NOUTF8][-L l1,l2,...]\n" );
 207                 fprintf( stdout, " Prj:      Project\n" );
 208                 fprintf( stdout, " PrjRoot:  Path to project root (..\\.. etc.)\n" );
 209                 fprintf( stdout, " FileIn:   Source files (*.src)\n" );
 210                 fprintf( stdout, " FileOut:  Destination file (*.*)\n" );
 211                 fprintf( stdout, " DataBase: Mergedata (*.sdf)\n" );
 212                 fprintf( stdout, " -e: Disable writing errorlog\n" );
 213                 fprintf( stdout, " -b: Break when Token \"HelpText\" found in source\n" );
 214                 fprintf( stdout, " -u: [english] and [german] are allowed, Id is Taken from DataBase \n" );
 215                 fprintf( stdout, " -NOUTF8: disable UTF8 as language independent encoding\n" );
 216                 fprintf( stdout, " -L: Restrict the handled languages. l1,l2,... are elements of (de,en-US,es...)\n" );
 217                 return 1;
 218         }
 219         pFile = GetXrmFile();
 220         InitXrmExport( pOutput , getFilename() );
 221
 222     if ( !pFile )
 223                 return 1;
 224
 225         yyin = pFile;
 226
 227         /* create global instance of class XmlExport */
 228         //InitXrmExport( pOutput );
 229
 230         /* start parser */
 231         yylex();
 232
 233         /* get error info. and end export */
 234         nRetValue = GetError();
 235         EndXrmExport();
 236
 237         /* return error level */
 238         return nRetValue;
 239 }