Add depends_exact: simplified dependency tracking for dependencies on a single page
commitc80a3cbcfde1a00ffdb0e62f70ee3a7d6bf442df
authorSimon McVittie <smcv@ http://smcv.pseudorandom.co.uk/>
Thu, 27 Aug 2009 22:25:58 +0000 (27 23:25 +0100)
committerSimon McVittie <smcv@ http://smcv.pseudorandom.co.uk/>
Fri, 28 Aug 2009 14:34:35 +0000 (28 15:34 +0100)
treed2979fa7c4c42ee57b21754aeb537268a8ef584f
parentd92f767fb772c9b11293134bd67bc1261aea8f1e
Add depends_exact: simplified dependency tracking for dependencies on a single page

Let E be the number of dependencies per page of the form "A depends on B and
nothing else", let D be the number of other dependencies per page,
let P be the total number of pages, and let C be the number of changed
pages in a refresh.

This patch should speed up a refresh from O(E*C*P + D*C*P) to
O(C + E*P + D*C*P), assuming that hash lookups are O(1).

In practice, plugins like inline and map produce a lot of these very simple
dependencies, and my album plugin's combination of inline with a large
number of pages causes it to suffer particularly badly.

In testing on a wiki with about 7000 objects (3500 full pages, 3500
images), a full rebuild continued to take about 5:30, and a refresh
after touching about 350 pages and 350 images reduced from 5:30 to 1:30.

As with my previous optimizations, this change will result in downgrades not
working correctly until the wiki is rebuilt.
IkiWiki.pm
IkiWiki/Render.pm