assets/developer-notes/stephanie-gawroriski/2017/09/11.mkd

   1 # 2017/09/11
   2
   3 ## 13:36
   4
   5 I would say that parsing integer and floating point values is the most complex
   6 part of the tokenizer.
   7
   8 ## 13:48
   9
  10 The simplest way to parse would be similar to what I have done before,
  11 basically a mini kind of state machine with possibilities. Basically as
  12 characters are parsed determine what it cannot be. The only unambigious
  13 literal would be binary digits which start with `0b`. Anything else could be
  14 floating point values. But if a decimal point exists, it will be known that it
  15 is a float value, so there will just be removing what is needed.
  16
  17 ## 13:55
  18
  19 But definitely literal parsing will be quite complex, especially with
  20 underscores and such.