wiki/src/news/report_2017_05.mdwn

   1 [[!meta title="Tails report for May, 2017"]]
   2 [[!meta date="Tue, 06 Jun 2017 12:34:56 +0000"]]
   3 [[!pagetemplate template="news.tmpl"]]
   4
   5 [[!toc ]]
   6
   7 Releases
   8 ========
   9
  10 * We've finished testing and releasing Tails 3.0~rc1.
  11
  12 * Tails 3.0 is [[scheduled for June 13th|contribute/calendar]].
  13
  14 Code
  15 ====
  16
  17 ## Tails 3.0
  18
  19 We have been focused on the last finishing touches before we deem
  20 Tails 3.0 ready for release. Things are looking good so far!
  21
  22 ## Reproducible builds
  23
  24 Here are some details about our work in April and May on making Tails
  25 reproducible. This effort is covered by the Mozilla Open Source Support
  26 award (MOSS) that we've received.
  27
  28 ### Current status
  29
  30 In March we [[reported|news/report_2017_03]] that we had finally seen
  31 an ISO image build reproducibly on several machines. Since then we
  32 kept working on this front.
  33
  34 Our automatic upgrades are now reproducible, however, one
  35 remaining issue currently blocks us from claiming that our ISO images
  36 are too. We are confident that this issue will be solved within a few weeks.
  37
  38 ### Reproducible website build
  39
  40 In March we've made great progress to get our website build
  41 reproducibly.  Later on, we realized that ikiwiki resized some
  42 images of our website which sometimes contained timestamped metadata,
  43 thus making the ISO image build unreproducibly. We have worked around this on
  44 our side ([[!tails_ticket 12566]]), and will fix the root cause of the
  45 problem in ikiwiki upstream ([[!tails_ticket 12625]]).
  46
  47 ### The blocker: fontconfig
  48
  49 The cloud which hides the blue skies and the sun in the reproducible
  50 builds solar system today, and which is our sole remaining problem to
  51 make our ISO image build reproducibly is this: we ship a cache for fonts
  52 in Tails. However, this cache is currently not generated in a
  53 reproducible manner. In March we
  54 tried moving its generation out of the ISO, however, it makes Tails
  55 start slower and resulted in too many unreliable test failures. Thus, we
  56 decided to move it back into the ISO image and to try and fix the root cause of
  57 the problem instead. We filed [[!debbug 863427]], but
  58 we already know that our patch is not yet enough to fix the problem,
  59 although it greatly reduces the number of differences from 75 to 5
  60 ([[!tails_ticket 12567]]); so we'll keep working on it.
  61
  62 ### ISO image and IUKs
  63
  64 Our automatic upgrades are now reproducible ([[!tails_ticket 12630]]).
  65
  66 When we generate the ISO image using isohybrid, we pass it an ID. We
  67 tried setting this ID to `$SOURCE_DATE_EPOCH` which resulted in a
  68 reproducible, but non-hybrid, ISO. Thus, we decided to pass a fixed ID
  69 instead: [[!tails_ticket 12453]].
  70
  71 ### The bright future
  72
  73 Remaining technical issues are tracked on [[!tails_ticket 12608]].
  74
  75 We are working on documenting how to modify our release process to
  76 ensure the ISO images we publish are reproducible
  77 ([[!tails_ticket 12628]], [[!tails_ticket 12629]]).
  78
  79 For those of our users who want to verify their own ISO builds against ours,
  80 we'll soon document how to do that ([[!tails_ticket 12630]]).
  81
  82 ### Infrastructure
  83
  84 See the [[Infrastructure section|report_2017_05#infrastructure]]
  85 for our work on the infrastructural aspects of this project.
  86
  87 Documentation and website
  88 =========================
  89
  90 - We have published the [[Tails Social contract|doc/about/social_contract]].
  91
  92 - We finished updating all our documentation to Tails 3.0, based on
  93   Debian Stretch.
  94
  95 - We updated our documentation to a new layout of the *Universal USB
  96   Installer* for Windows and scaled its screenshots to fix an issue
  97   reported by [[!tails_ticket 11527 desc="huertanix"]].
  98
  99 - We updated our documentation of the [[build system|contribute/build]],
 100   as a result of the work on reproducible builds.
 101
 102 User experience
 103 ===============
 104
 105 - We started experimenting with *Piwik* to do web analytics ([[!tails_ticket 12563]]).
 106
 107 - We continued redesigning the [main window of *Tails
 108   Installer*](https://mailman.boum.org/pipermail/tails-ux/2017-May/003374.html).
 109
 110 <a id="infrastructure"></a>
 111
 112 Infrastructure
 113 ==============
 114
 115 - We upgraded some more of our systems to Debian Stretch.
 116
 117 - We have continued the efforts to optimize our systems' resources, by
 118   playing with different settings of the NUMA balancing ([[!tails_ticket 11179]]).
 119
 120 - We have adapted our CI infrastructure to be able to bring back the
 121   email notification mechanism for build and test failures, at least for
 122   branches which have tickets in a "Ready For QA" state in Redmine ([[!tails_ticket 11355]]).
 123   This will be unleashed in June so that we'll be able to gather statistics
 124   about false positives in our CI notifications to developers.
 125
 126 - Most of our efforts have been focused on upgrading our infrastructure
 127   to support reproducible builds, see below.
 128
 129 ## Reproducible builds
 130
 131 After a long discussion, we [[!tails_ticket 12409 desc="decided"]] not
 132 to publish any Vagrant basebox at all: the key argument in favour of
 133 this major design change was to remove one huge binary blob from the
 134 list of trusted inputs needed for building a Tails ISO image.
 135 This will substantially increase the value of Tails ISO images
 136 building reproducibly. This decision has a few nice side effects,
 137 including:
 138
 139  * the properties of the basebox required to build a given state of our
 140    code base are entirely encoded in the corresponding Git commit;
 141  * changes in the ISO build box definition don't require building and
 142    uploading a new basebox.
 143
 144 Then we made enough progress to migrate our Continuous Integration
 145 platform to the build system used by developers. This is now running
 146 in production, not exactly smoothly yet (as explained below), but well
 147 enough to keep supporting our development and quality assurance
 148 processes. For details, see [[!tails_ticket 11972]],
 149 [[!tails_ticket 11979]], [[!tails_ticket 11980]],
 150 [[!tails_ticket 11981]], [[!tails_ticket 12017]], and
 151 [[!tails_ticket 11006]].
 152
 153 Then we had to deal with a number of issues that we were not in
 154 a position to identify before submitting this brand new system to
 155 a real-world workload. Some are fixed already
 156 ([[!tails_ticket 12530]], [[!tails_ticket 12578]],
 157 [[!tails_ticket 12565]], [[!tails_ticket 12541]],
 158 [[!tails_ticket 12529]], [[!tails_ticket 12575]],
 159 [[!tails_ticket 12606]]). Work is still in progress on some other
 160 problems: they are our Continuous Integration engineers' top priority,
 161 and should be fully resolved in the next couple of months.
 162
 163 Finally, we have [[!tails_ticket 12579 desc="set up"]] automated tests for
 164 the reproducibility of our ISO image. Obviously, the results of these
 165 tests
 166 [are publicly available](https://nightly.tails.boum.org/reproducibly_build_Tails_ISO_testing/builds/).
 167
 168
 169 Funding
 170 =======
 171
 172 - We are still in the process of discussing our proposal with OTF, and
 173   reworking it accordingly.
 174
 175 - We've submitted a proposal to [Lush Digital
 176   Fund](https://uk.lush.com/article/introducing-digital-fund).
 177
 178 - We started migrating our European fiscal sponsor from Zwiebelfreunde
 179   to [CCT, the Center for the Cultivation of Technology](https://techcultivation.org/).
 180
 181 Outreach
 182 ========
 183
 184 Past events
 185 -----------
 186
 187 * gagz and geb did a presentation and a workshop of Tails at the [CPML](http://medias-libres.org) yearly meeting.
 188
 189 On-going discussions
 190 ====================
 191
 192 - We started to discuss the [coordination of Tails 3.0 and Debian
 193   Stretch releases](https://mailman.boum.org/pipermail/tails-dev/2017-May/011451.html).
 194
 195 - The news on the update of our build system [received a lot of
 196   answers](https://mailman.boum.org/pipermail/tails-dev/2017-May/011416.html).
 197
 198 Translation
 199 ===========
 200
 201 ## All the website
 202
 203   - de: 59% (2977) strings translated, 5% strings fuzzy, 52% words translated
 204   - fa: 43% (2200) strings translated, 9% strings fuzzy, 47% words translated
 205   - fr: 87% (4357) strings translated, 1% strings fuzzy, 85% words translated
 206   - it: 31% (1585) strings translated, 4% strings fuzzy, 28% words translated
 207   - pt: 28% (1443) strings translated, 8% strings fuzzy, 25% words translated
 208
 209 Total original words: 52.798
 210
 211 ## [[Core pages of the website|contribute/l10n_tricks/core_po_files.txt]]
 212
 213   - de: 82% (1537) strings translated, 10% strings fuzzy, 82% words translated
 214   - fa: 37% (695) strings translated, 10% strings fuzzy, 39% words translated
 215   - fr: 98% (1843) strings translated, 1% strings fuzzy, 98% words translated
 216   - it: 78% (1473) strings translated, 11% strings fuzzy, 78% words translated
 217   - pt: 48% (910) strings translated, 13% strings fuzzy, 49% words translated
 218
 219 Total original words: 17.079
 220
 221 Metrics
 222 =======
 223
 224 * Tails has been started more than 694.165 times this month. This makes 22.392 boots a day on average.
 225 * 13.181 downloads of the OpenPGP signature of Tails ISO from our website.
 226 * 110 bug reports were received through WhisperBack.