doc/todo/allow_site-wide_meta_definitions.mdwn

   1 [[!tag plugins/meta patch]]
   2 [[!template id=gitbranch branch=jon/defaultmeta author="[[Jon]]"]]
   3
   4 I'd like to define [[plugins/meta]] values to apply across all pages
   5 site-wide unless the pages define their own: default values for meta
   6 definitions essentially.
   7
   8     <snip old patch, see below for latest>
   9
  10 -- [[Jon]]
  11
  12 > This doesn't support multiple-argument meta directives like
  13 > `link=x rel=y`, or meta directives with special side-effects like
  14 > `updated`.
  15 >
  16 > The first could be solved (if you care) by a syntax like this:
  17 >
  18 >     meta_defaults => [
  19 >         { copyright => "© me" },
  20 >         { link => "about:blank", rel => "silly", },
  21 >     ]
  22 >
  23 > The second could perhaps be solved by invoking `meta::preprocess` from within
  24 > `scan` (which might be a simplification anyway), although this is complicated
  25 > by the fact that some (but not all!) meta headers are idempotent.
  26 >
  27 > --[[smcv]]
  28
  29 >> Thanks for your comment. I've revised the patch to use the config syntax
  30 >> you suggest. I need to perform some more testing to make sure I've
  31 >> addressed the issues you highlight.
  32 >>
  33 >> I had to patch part of IkiWiki core, the merge routine in Setup, because
  34 >> the use of `possibly_foolish_untaint` was causing the hashrefs at the deep
  35 >> end of the data structure to be converted into strings. The specific change
  36 >> I've made may not be acceptable, though -- I'd appreciate someone providing
  37 >> some feedback on that hunk!
  38
  39 >>> Well, re that hunk, taint checking is currently disabled, but
  40 >>> if the perl bug that disallows it is fixed and it is turned back on,
  41 >>> the hash values will remain tainted, which will probably lead to
  42 >>> problems.
  43 >>>
  44 >>> I'm also leery of using such a complex data structure in config.
  45 >>> The websetup plugin would be hard pressed to provide a UI for such a
  46 >>> data structure. (It lacks even UI for a single hash ref yet, let alone
  47 >>> a list.)
  48 >>>
  49 >>> Also, it seems sorta wrong to have two so very different syntaxes to
  50 >>> represent the same meta data. A user without a lot of experience will
  51 >>> be hard pressed to map from a directive to this in the setup file.
  52 >>>
  53 >>> All of which leads me to think the setup file could just contain
  54 >>> a text that could hold meta directives. Which generalizes really to
  55 >>> a text that contains any directives, and is, perhaps appended to the
  56 >>> top of every page. Which nearly generalizes to the sidebar plugin,
  57 >>> or perhaps something more general than that...
  58 >>>
  59 >>> However, excessive generalization is the root of all evil, so
  60 >>> I'm not necessarily saying that's a good idea. Indeed, my memory
  61 >>> concerns below invalidate this idea pretty well. --[[Joey]]
  62
  63     diff --git a/IkiWiki/Plugin/meta.pm b/IkiWiki/Plugin/meta.pm
  64     index 6fe9cda..2f8c098 100644
  65     --- a/IkiWiki/Plugin/meta.pm
  66     +++ b/IkiWiki/Plugin/meta.pm
  67     @@ -13,6 +13,8 @@ sub import {
  68         hook(type => "needsbuild", id => "meta", call => \&needsbuild);
  69         hook(type => "preprocess", id => "meta", call => \&preprocess, scan => 1);
  70         hook(type => "pagetemplate", id => "meta", call => \&pagetemplate);
  71     +   hook(type => "scan", id => "meta", call => \&scan)
  72     +           if $config{"meta_defaults"};
  73      }
  74
  75      sub getsetup () {
  76     @@ -305,6 +307,15 @@ sub match {
  77         }
  78      }
  79
  80     +sub scan() {
  81     +   my %params = @_;
  82     +   my $page = $params{page};
  83     +   foreach my $default (@{$config{"meta_defaults"}}) {
  84     +           preprocess(%$default, page => $page,
  85     +                   destpage => $page, preview => 0);
  86     +   }
  87     +}
  88     +
  89      package IkiWiki::PageSpec;
  90
  91      sub match_title ($$;@) {
  92     diff --git a/IkiWiki/Setup.pm b/IkiWiki/Setup.pm
  93     index 8a25ecc..e4d50c9 100644
  94     --- a/IkiWiki/Setup.pm
  95     +++ b/IkiWiki/Setup.pm
  96     @@ -51,7 +51,13 @@ sub merge ($) {
  97                                         $config{$c}=$setup{$c};
  98                                 }
  99                                 else {
 100     -                                   $config{$c}=[map { IkiWiki::possibly_foolish_untaint($_) } @{$setup{$c}}]
 101     +                                   $config{$c}=[map {
 102     +                                           if(ref $_ eq 'HASH') {
 103     +                                                   $_
 104     +                                           } else {
 105     +                                                   IkiWiki::possibly_foolish_untaint($_)
 106     +                                           }
 107     +                                   } @{$setup{$c}}];
 108                                 }
 109                         }
 110                         elsif (ref $setup{$c} eq 'HASH') {
 111     diff --git a/doc/ikiwiki/directive/meta.mdwn b/doc/ikiwiki/directive/meta.mdwn
 112     index 000f461..8d34ee4 100644
 113     --- a/doc/ikiwiki/directive/meta.mdwn
 114     +++ b/doc/ikiwiki/directive/meta.mdwn
 115     @@ -12,6 +12,16 @@ also specifies some additional sub-parameters.
 116      The field values are treated as HTML entity-escaped text, so you can include
 117      a quote in the text by writing `&quot;` and so on.
 118
 119     +You can also define site-wide defaults for meta values by including them
 120     +in your setup file. The key used is `meta_defaults` and the value is a list
 121     +of hashes, one per meta directive. e.g.:
 122     +
 123     +   meta_defaults = [
 124     +           { copyright => "Copyright 2007 by Joey Hess" },
 125     +           { license   => "GPL v2+" },
 126     +           { link => "somepage", rel => "site entrypoint", },
 127     +   ],
 128     +
 129      Supported fields:
 130
 131      * title
 132
 133 -- [[Jon]]
 134
 135 >> Ok, I've had a bit of a think about this. There are currently 15 supported
 136 >> meta fields. Of these: title, licence, copyright, author, authorurl,
 137 >> and robots might make sense to define globally and override on a per-page
 138 >> basis.
 139 >>
 140 >> Less so, description (due to its impact on map); openid (why would
 141 >> someone want more than one URI to act as an openid endpoint to the same
 142 >> place?); updated. I can almost see why someone might want to set a global
 143 >> updated value. Almost.
 144 >>
 145 >> Not useful are permalink, date, stylesheet (you already have a global
 146 >> stylesheet), link, redir, and guid.
 147 >>
 148 >> In other words, the limitations of my first patch that [[smcv]] outlined
 149 >> are only relevant to defined fields that you wouldn't want to specify a
 150 >> global default for anyway.
 151 >>
 152 >>> I generally agree with this. It is *possible* that meta would have a new
 153 >>> field added, that takes parameters and make sense to use globally.
 154 >>> --[[Joey]]
 155 >>
 156 >> Due to this, and the added complexity of the second patch (having to adjust
 157 >> `IkiWiki/Setup.pm`), I think the first patch makes more sense. I've thus
 158 >> reverted to it here.
 159 >>
 160 >> Is this merge-worthy?
 161
 162     diff --git a/IkiWiki/Plugin/meta.pm b/IkiWiki/Plugin/meta.pm
 163     index b229592..3132257 100644
 164     --- a/IkiWiki/Plugin/meta.pm
 165     +++ b/IkiWiki/Plugin/meta.pm
 166     @@ -13,6 +13,7 @@ sub import {
 167         hook(type => "needsbuild", id => "meta", call => \&needsbuild);
 168         hook(type => "preprocess", id => "meta", call => \&preprocess, scan => 1);
 169         hook(type => "pagetemplate", id => "meta", call => \&pagetemplate);
 170     +   hook(type => "scan", id => "meta", call => \&scan);
 171      }
 172
 173      sub getsetup () {
 174     @@ -302,6 +303,15 @@ sub match {
 175         }
 176      }
 177
 178     +sub scan() {
 179     +   my %params = @_;
 180     +   my $page = $params{page};
 181     +    foreach my $type (map { s/^meta_//; $_ } grep /^meta_/, keys %config) {
 182     +           $pagestate{$page}{meta}{$type} = $config{"meta_$type"}
 183     +                   unless defined $pagestate{$page}{meta}{$type};
 184     +   }
 185     +}
 186     +
 187      package IkiWiki::PageSpec;
 188
 189      sub match_title ($$;@) {
 190     diff --git a/doc/ikiwiki/directive/meta.mdwn b/doc/ikiwiki/directive/meta.mdwn
 191     index 000f461..200c4b2 100644
 192     --- a/doc/ikiwiki/directive/meta.mdwn
 193     +++ b/doc/ikiwiki/directive/meta.mdwn
 194     @@ -12,6 +12,12 @@ also specifies some additional sub-parameters.
 195      The field values are treated as HTML entity-escaped text, so you can include
 196      a quote in the text by writing `&quot;` and so on.
 197
 198     +You can also define site-wide defaults for meta values by including them
 199     +in your setup file, e.g.
 200     +
 201     +   meta_copyright => "Copyright 2007 by Joey Hess",
 202     +   meta_license   => "GPL v2+",
 203     +
 204      Supported fields:
 205
 206      * title
 207
 208 -- [[Jon]]
 209
 210 >>> Merry Christmas/festive season/happy new year folks. I've been away from
 211 >>> ikiwiki for the break, and now I've returned to watching recentchanges.
 212 >>> Hopefully I'll be back in the mix soon, too. In the meantime, Joey, have
 213 >>> you had a chance to look at this yet? -- [[Jon]]
 214
 215 >>>> Ping :) Hi.  [[Joey]], would you consider this patch for the next
 216 >>>> ikiwiki release? -- [[Jon]]
 217
 218 >>> For this to work with websetup and --dumpsetup, it needs to define the
 219 >>> `meta_*` settings in the getsetup function.
 220 >>>>
 221 >>>> I think this will be problematic with the current implementation of this
 222 >>>> patch. The datatype here is an array of hash references, with each hash
 223 >>>> having a variable (and arbitrary) number of key/value pairs.  I can't
 224 >>>> think of an intuitive way of implementing a way of editing such a
 225 >>>> datatype in the web interface, let alone registering the option in
 226 >>>> getsetup.
 227 >>>>
 228 >>>> Perhaps a limited set of defined meta values could be exposed via
 229 >>>> websetup (the obvious ones: author, copyright, license, etc.) -- [[Jon]]
 230 >>>
 231 >>> I also have some concerns about both these patches, since both throw
 232 >>> a lot of redundant data at meta, which then stores it in a very redundant
 233 >>> way. Specifically, meta populates a per-page `%metaheaders` hash
 234 >>> as well as storing per-page metadata in `%pagestate`. So, if you have
 235 >>> a wiki with 10 thousand pages, and you add a 1k site-wide license text,
 236 >>> that will bloat the memory usage of ikiwiki by in excess of 2
 237 >>> megabytes. It will also cause ikiwiki to write a similar amount more data
 238 >>> to its state file which has to be loaded back in each
 239 >>> run.
 240 >>>
 241 >>> Seems that this could be managed much more efficiently by having
 242 >>> meta special-case the site-wide settings, not store them in these
 243 >>> per-page data structures, and just make them be used if no per-page
 244 >>> metadata of the given type is present. --[[Joey]]
 245 >>>>
 246 >>>> that should be easy enough to do. I will work on a patch. -- [[Jon]]