ACE/examples/Web_Crawler/README

   1
   2
   3 Web Crawler                                     Kirthika Parameswaran
   4 -----------
   5
   6 The Web Crawler follows the  HTTP_1.1 protocol.
   7
   8 This Crawler crawls in  either FIFO or LIFO order over the URLs
   9 now stored in a ACE_Unbounded_Queue. The Command Processor pattern is
  10 used in this example.
  11
  12 Also the auto-purging feature where connections are removed from the cache
  13 when the process runs out of file descriptors, is added to this example.
  14
  15 [Use the -l option to set the handle limit].
  16
  17 Run:
  18 ---
  19
  20
  21 > make
  22
  23 > main -r -u www.cs.wustl.edu/~kirthika/test.html -o LIFO
  24
  25 or
  26
  27 > main -r -u www.cs.wustl.edu/~kirthika/test.html -o FIFO