README.md

   1 jobflow by rofl0r
   2 =================
   3
   4 this program is inspired by GNU parallel, but has the following differences
   5
   6  + written in C (orders of magnitude less memory used, a few KB vs 50-60 MB)
   7  + does not leak memory
   8  + much faster
   9  + supports rlimits passed to started processes
  10  - doesn't support ssh (usage of remote cpus)
  11  - doesn't support all kinds of argument permutations
  12
  13 basically, it works by processing stdin, launching one process per line.
  14 the actual line can be passed to the started program as an argv.
  15 this allows for easy parallelization of standard unix tasks.
  16
  17 it is possible to save the current processed line, so when the task is killed
  18 it can be continued later.
  19
  20 example usage:
  21 you have a list of things, and a tool that processes a single thing.
  22
  23     cat things.list | jobflow -threads=8 -exec ./mytask {}
  24
  25     seq 100 | jobflow -threads=100 -exec echo {}
  26
  27     cat urls.txt | jobflow -threads=32 -exec wget {}
  28
  29     find . -name '*.bmp' | jobflow -threads=8 -exec bmp2jpeg {.}.bmp {.}.jpg
  30
  31 run jobflow without arguments to see a list of possible command line options,
  32 and argument permutations.
  33
  34
  35