BibleGateway: Fix bitrotted scraper, use mobile.*
commita707b6abbb2601ca581607c7d82b27d2ad74a797
authorJames Hogan <james@albanarts.com>
Sun, 14 Nov 2010 22:49:06 +0000 (14 22:49 +0000)
committerJames Hogan <james@albanarts.com>
Sun, 14 Nov 2010 22:49:06 +0000 (14 22:49 +0000)
treedef0a54916f196fb87f08326c8533ba6447cd8c6
parent90e8efd189a9d41e20595ef6b84024f8b7c34243
BibleGateway: Fix bitrotted scraper, use mobile.*

Biblegateway has changed a fair bit. On the one hand it now claims to be
XHTML so it is more valid than it was. On the other hand the interface
to different bible versions has changed and there are now about 3
different ways of referring to a bible version. Some use numeric ids
still, but most use the full name, munged into the url. All use a short
name for the searching.

We use the mobile version at mobile.biblegateway.com as it's more likely
to be valid (mobile browsers are more pedantic), and likely to be more
compact (to save bandwidth).

The list of versions is now extracted directly from the versions list at
http://mobile.biblegateway.com/versions/. The table is read and the urls
to the version info pages are extracted.

The version info pages then provide more info, as well as a table
linking to every chapter in the Bible, sorted into rows for each book,
which can be read as they were before.

When reading the actual bible text, use the contents of sup tags instead
of the value attribute, and clip the footnotes section.
kworship/bible/biblegateway/KwBibleManagerBibleGateway.cpp
kworship/bible/biblegateway/KwBibleManagerBibleGateway.h
kworship/bible/biblegateway/KwBibleModuleBibleGateway.cpp
kworship/bible/biblegateway/KwBibleModuleBibleGateway.h