NEWS

   1
   2 XZ Utils Release Notes
   3 ======================
   4
   5 5.2.0 (2014-12-21)
   6
   7     Since 5.1.4beta:
   8
   9     * All fixes from 5.0.8
  10
  11     * liblzma: Fixed lzma_stream_encoder_mt_memusage() when a preset
  12       was used.
  13
  14     * xzdiff: If mktemp isn't installed, mkdir will be used as
  15       a fallback to create a temporary directory. Installing mktemp
  16       is still recommended.
  17
  18     * Updated French, German, Italian, Polish, and Vietnamese
  19       translations.
  20
  21     Summary of fixes and new features added in the 5.1.x development
  22     releases:
  23
  24     * liblzma:
  25
  26         - Added support for multi-threaded compression. See the
  27           lzma_mt structure, lzma_stream_encoder_mt(), and
  28           lzma_stream_encoder_mt_memusage() in <lzma/container.h>,
  29           lzma_get_progress() in <lzma/base.h>, and lzma_cputhreads()
  30           in <lzma/hardware.h> for details.
  31
  32         - Made the uses of lzma_allocator const correct.
  33
  34         - Added lzma_block_uncomp_encode() to create uncompressed
  35           .xz Blocks using LZMA2 uncompressed chunks.
  36
  37         - Added support for LZMA_IGNORE_CHECK.
  38
  39         - A few speed optimizations were made.
  40
  41         - Added support for symbol versioning. It is enabled by default
  42           on GNU/Linux, other GNU-based systems, and FreeBSD.
  43
  44         - liblzma (not the whole XZ Utils) should now be buildable
  45           with MSVC 2013 update 2 or later using windows/config.h.
  46
  47     * xz:
  48
  49         - Fixed a race condition in the signal handling. It was
  50           possible that e.g. the first SIGINT didn't make xz exit
  51           if reading or writing blocked and one had bad luck. The fix
  52           is non-trivial, so as of writing it is unknown if it will be
  53           backported to the v5.0 branch.
  54
  55         - Multi-threaded decompression can be enabled with the
  56           --threads (-T) option.
  57
  58         - New command line options in xz: --single-stream,
  59           --block-size=SIZE, --block-list=SIZES,
  60           --flush-timeout=TIMEOUT, and --ignore-check.
  61
  62         - xz -lvv now shows the minimum xz version that is required to
  63           decompress the file. Currently it is 5.0.0 for all supported
  64           .xz files except files with empty LZMA2 streams require 5.0.2.
  65
  66     * xzdiff and xzgrep now support .lzo files if lzop is installed.
  67       The .tzo suffix is also recognized as a shorthand for .tar.lzo.
  68
  69
  70 5.1.4beta (2014-09-14)
  71
  72     * All fixes from 5.0.6
  73
  74     * liblzma: Fixed the use of presets in threaded encoder
  75       initialization.
  76
  77     * xz --block-list and --block-size can now be used together
  78       in single-threaded mode. Previously the combination only
  79       worked in multi-threaded mode.
  80
  81     * Added support for LZMA_IGNORE_CHECK to liblzma and made it
  82       available in xz as --ignore-check.
  83
  84     * liblzma speed optimizations:
  85
  86         - Initialization of a new LZMA1 or LZMA2 encoder has been
  87           optimized. (The speed of reinitializing an already-allocated
  88           encoder isn't affected.) This helps when compressing many
  89           small buffers with lzma_stream_buffer_encode() and other
  90           similar situations where an already-allocated encoder state
  91           isn't reused. This speed-up is visible in xz too if one
  92           compresses many small files one at a time instead running xz
  93           once and giving all files as command-line arguments.
  94
  95         - Buffer comparisons are now much faster when unaligned access
  96           is allowed (configured with --enable-unaligned-access). This
  97           speeds up encoding significantly. There is arch-specific code
  98           for 32-bit and 64-bit x86 (32-bit needs SSE2 for the best
  99           results and there's no run-time CPU detection for now).
 100           For other archs there is only generic code which probably
 101           isn't as optimal as arch-specific solutions could be.
 102
 103         - A few speed optimizations were made to the SHA-256 code.
 104           (Note that the builtin SHA-256 code isn't used on all
 105           operating systems.)
 106
 107     * liblzma can now be built with MSVC 2013 update 2 or later
 108       using windows/config.h.
 109
 110     * Vietnamese translation was added.
 111
 112
 113 5.1.3alpha (2013-10-26)
 114
 115     * All fixes from 5.0.5
 116
 117     * liblzma:
 118
 119         - Fixed a deadlock in the threaded encoder.
 120
 121         - Made the uses of lzma_allocator const correct.
 122
 123         - Added lzma_block_uncomp_encode() to create uncompressed
 124           .xz Blocks using LZMA2 uncompressed chunks.
 125
 126         - Added support for native threads on Windows and the ability
 127           to detect the number of CPU cores.
 128
 129     * xz:
 130
 131         - Fixed a race condition in the signal handling. It was
 132           possible that e.g. the first SIGINT didn't make xz exit
 133           if reading or writing blocked and one had bad luck. The fix
 134           is non-trivial, so as of writing it is unknown if it will be
 135           backported to the v5.0 branch.
 136
 137         - Made the progress indicator work correctly in threaded mode.
 138
 139         - Threaded encoder now works together with --block-list=SIZES.
 140
 141         - Added preliminary support for --flush-timeout=TIMEOUT.
 142           It can be useful for (somewhat) real-time streaming. For
 143           now the decompression side has to be done with something
 144           else than the xz tool due to how xz does buffering, but this
 145           should be fixed.
 146
 147
 148 5.1.2alpha (2012-07-04)
 149
 150     * All fixes from 5.0.3 and 5.0.4
 151
 152     * liblzma:
 153
 154         - Fixed a deadlock and an invalid free() in the threaded encoder.
 155
 156         - Added support for symbol versioning. It is enabled by default
 157           on GNU/Linux, other GNU-based systems, and FreeBSD.
 158
 159         - Use SHA-256 implementation from the operating system if one is
 160           available in libc, libmd, or libutil. liblzma won't use e.g.
 161           OpenSSL or libgcrypt to avoid introducing new dependencies.
 162
 163         - Fixed liblzma.pc for static linking.
 164
 165         - Fixed a few portability bugs.
 166
 167     * xz --decompress --single-stream now fixes the input position after
 168       successful decompression. Now the following works:
 169
 170           echo foo | xz > foo.xz
 171           echo bar | xz >> foo.xz
 172           ( xz -dc --single-stream ; xz -dc --single-stream ) < foo.xz
 173
 174       Note that it doesn't work if the input is not seekable
 175       or if there is Stream Padding between the concatenated
 176       .xz Streams.
 177
 178     * xz -lvv now shows the minimum xz version that is required to
 179       decompress the file. Currently it is 5.0.0 for all supported .xz
 180       files except files with empty LZMA2 streams require 5.0.2.
 181
 182     * Added an *incomplete* implementation of --block-list=SIZES to xz.
 183       It only works correctly in single-threaded mode and when
 184       --block-size isn't used at the same time. --block-list allows
 185       specifying the sizes of Blocks which can be useful e.g. when
 186       creating files for random-access reading.
 187
 188
 189 5.1.1alpha (2011-04-12)
 190
 191     * All fixes from 5.0.2
 192
 193     * liblzma fixes that will also be included in 5.0.3:
 194
 195         - A memory leak was fixed.
 196
 197         - lzma_stream_buffer_encode() no longer creates an empty .xz
 198           Block if encoding an empty buffer. Such an empty Block with
 199           LZMA2 data would trigger a bug in 5.0.1 and older (see the
 200           first bullet point in 5.0.2 notes). When releasing 5.0.2,
 201           I thought that no encoder creates this kind of files but
 202           I was wrong.
 203
 204         - Validate function arguments better in a few functions. Most
 205           importantly, specifying an unsupported integrity check to
 206           lzma_stream_buffer_encode() no longer creates a corrupt .xz
 207           file. Probably no application tries to do that, so this
 208           shouldn't be a big problem in practice.
 209
 210         - Document that lzma_block_buffer_encode(),
 211           lzma_easy_buffer_encode(), lzma_stream_encoder(), and
 212           lzma_stream_buffer_encode() may return LZMA_UNSUPPORTED_CHECK.
 213
 214         - The return values of the _memusage() functions are now
 215           documented better.
 216
 217     * Support for multithreaded compression was added using the simplest
 218       method, which splits the input data into blocks and compresses
 219       them independently. Other methods will be added in the future.
 220       The current method has room for improvement, e.g. it is possible
 221       to reduce the memory usage.
 222
 223     * Added the options --single-stream and --block-size=SIZE to xz.
 224
 225     * xzdiff and xzgrep now support .lzo files if lzop is installed.
 226       The .tzo suffix is also recognized as a shorthand for .tar.lzo.
 227
 228     * Support for short 8.3 filenames under DOS was added to xz. It is
 229       experimental and may change before it gets into a stable release.
 230
 231
 232 5.0.8 (2014-12-21)
 233
 234     * Fixed an old bug in xzgrep that affected OpenBSD and probably
 235       a few other operating systems too.
 236
 237     * Updated French and German translations.
 238
 239     * Added support for detecting the amount of RAM on AmigaOS/AROS.
 240
 241     * Minor build system updates.
 242
 243
 244 5.0.7 (2014-09-20)
 245
 246     * Fix regressions introduced in 5.0.6:
 247
 248         - Fix building with non-GNU make.
 249
 250         - Fix invalid Libs.private value in liblzma.pc which broke
 251           static linking against liblzma if the linker flags were
 252           taken from pkg-config.
 253
 254
 255 5.0.6 (2014-09-14)
 256
 257     * xzgrep now exits with status 0 if at least one file matched.
 258
 259     * A few minor portability and build system fixes
 260
 261
 262 5.0.5 (2013-06-30)
 263
 264     * lzmadec and liblzma's lzma_alone_decoder(): Support decompressing
 265       .lzma files that have less common settings in the headers
 266       (dictionary size other than 2^n or 2^n + 2^(n-1), or uncompressed
 267       size greater than 256 GiB). The limitations existed to avoid false
 268       positives when detecting .lzma files. The lc + lp <= 4 limitation
 269       still remains since liblzma's LZMA decoder has that limitation.
 270
 271       NOTE: xz's .lzma support or liblzma's lzma_auto_decoder() are NOT
 272       affected by this change. They still consider uncommon .lzma headers
 273       as not being in the .lzma format. Changing this would give way too
 274       many false positives.
 275
 276     * xz:
 277
 278         - Interaction of preset and custom filter chain options was
 279           made less illogical. This affects only certain less typical
 280           uses cases so few people are expected to notice this change.
 281
 282           Now when a custom filter chain option (e.g. --lzma2) is
 283           specified, all preset options (-0 ... -9, -e) earlier are on
 284           the command line are completely forgotten. Similarly, when
 285           a preset option is specified, all custom filter chain options
 286           earlier on the command line are completely forgotten.
 287
 288           Example 1: "xz -9 --lzma2=preset=5 -e" is equivalent to "xz -e"
 289           which is equivalent to "xz -6e". Earlier -e didn't put xz back
 290           into preset mode and thus the example command was equivalent
 291           to "xz --lzma2=preset=5".
 292
 293           Example 2: "xz -9e --lzma2=preset=5 -7" is equivalent to
 294           "xz -7". Earlier a custom filter chain option didn't make
 295           xz forget the -e option so the example was equivalent to
 296           "xz -7e".
 297
 298         - Fixes and improvements to error handling.
 299
 300         - Various fixes to the man page.
 301
 302     * xzless: Fixed to work with "less" versions 448 and later.
 303
 304     * xzgrep: Made -h an alias for --no-filename.
 305
 306     * Include the previously missing debug/translation.bash which can
 307       be useful for translators.
 308
 309     * Include a build script for Mac OS X. This has been in the Git
 310       repository since 2010 but due to a mistake in Makefile.am the
 311       script hasn't been included in a release tarball before.
 312
 313
 314 5.0.4 (2012-06-22)
 315
 316     * liblzma:
 317
 318         - Fix lzma_index_init(). It could crash if memory allocation
 319           failed.
 320
 321         - Fix the possibility of an incorrect LZMA_BUF_ERROR when a BCJ
 322           filter is used and the application only provides exactly as
 323           much output space as is the uncompressed size of the file.
 324
 325         - Fix a bug in doc/examples_old/xz_pipe_decompress.c. It didn't
 326           check if the last call to lzma_code() really returned
 327           LZMA_STREAM_END, which made the program think that truncated
 328           files are valid.
 329
 330         - New example programs in doc/examples (old programs are now in
 331           doc/examples_old). These have more comments and more detailed
 332           error handling.
 333
 334     * Fix "xz -lvv foo.xz". It could crash on some corrupted files.
 335
 336     * Fix output of "xz --robot -lv" and "xz --robot -lvv" which
 337       incorrectly printed the filename also in the "foo (x/x)" format.
 338
 339     * Fix exit status of "xzdiff foo.xz bar.xz".
 340
 341     * Fix exit status of "xzgrep foo binary_file".
 342
 343     * Fix portability to EBCDIC systems.
 344
 345     * Fix a configure issue on AIX with the XL C compiler. See INSTALL
 346       for details.
 347
 348     * Update French, German, Italian, and Polish translations.
 349
 350
 351 5.0.3 (2011-05-21)
 352
 353     * liblzma fixes:
 354
 355         - A memory leak was fixed.
 356
 357         - lzma_stream_buffer_encode() no longer creates an empty .xz
 358           Block if encoding an empty buffer. Such an empty Block with
 359           LZMA2 data would trigger a bug in 5.0.1 and older (see the
 360           first bullet point in 5.0.2 notes). When releasing 5.0.2,
 361           I thought that no encoder creates this kind of files but
 362           I was wrong.
 363
 364         - Validate function arguments better in a few functions. Most
 365           importantly, specifying an unsupported integrity check to
 366           lzma_stream_buffer_encode() no longer creates a corrupt .xz
 367           file. Probably no application tries to do that, so this
 368           shouldn't be a big problem in practice.
 369
 370         - Document that lzma_block_buffer_encode(),
 371           lzma_easy_buffer_encode(), lzma_stream_encoder(), and
 372           lzma_stream_buffer_encode() may return LZMA_UNSUPPORTED_CHECK.
 373
 374         - The return values of the _memusage() functions are now
 375           documented better.
 376
 377     * Fix command name detection in xzgrep. xzegrep and xzfgrep now
 378       correctly use egrep and fgrep instead of grep.
 379
 380     * French translation was added.
 381
 382
 383 5.0.2 (2011-04-01)
 384
 385     * LZMA2 decompressor now correctly accepts LZMA2 streams with no
 386       uncompressed data. Previously it considered them corrupt. The
 387       bug can affect applications that use raw LZMA2 streams. It is
 388       very unlikely to affect .xz files because no compressor creates
 389       .xz files with empty LZMA2 streams. (Empty .xz files are a
 390       different thing than empty LZMA2 streams.)
 391
 392     * "xz --suffix=.foo filename.foo" now refuses to compress the
 393       file due to it already having the suffix .foo. It was already
 394       documented on the man page, but the code lacked the test.
 395
 396     * "xzgrep -l foo bar.xz" works now.
 397
 398     * Polish translation was added.
 399
 400
 401 5.0.1 (2011-01-29)
 402
 403     * xz --force now (de)compresses files that have setuid, setgid,
 404       or sticky bit set and files that have multiple hard links.
 405       The man page had it documented this way already, but the code
 406       had a bug.
 407
 408     * gzip and bzip2 support in xzdiff was fixed.
 409
 410     * Portability fixes
 411
 412     * Minor fix to Czech translation
 413
 414
 415 5.0.0 (2010-10-23)
 416
 417     Only the most important changes compared to 4.999.9beta are listed
 418     here. One change is especially important:
 419
 420       * The memory usage limit is now disabled by default. Some scripts
 421         written before this change may have used --memory=max on xz command
 422         line or in XZ_OPT. THESE USES OF --memory=max SHOULD BE REMOVED
 423         NOW, because they interfere with user's ability to set the memory
 424         usage limit himself. If user-specified limit causes problems to
 425         your script, blame the user.
 426
 427     Other significant changes:
 428
 429       * Added support for XZ_DEFAULTS environment variable. This variable
 430         allows users to set default options for xz, e.g. default memory
 431         usage limit or default compression level. Scripts that use xz
 432         must never set or unset XZ_DEFAULTS. Scripts should use XZ_OPT
 433         instead if they need a way to pass options to xz via an
 434         environment variable.
 435
 436       * The compression settings associated with the preset levels
 437         -0 ... -9 have been changed. --extreme was changed a little too.
 438         It is now less likely to make compression worse, but with some
 439         files the new --extreme may compress slightly worse than the old
 440         --extreme.
 441
 442       * If a preset level (-0 ... -9) is specified after a custom filter
 443         chain options have been used (e.g. --lzma2), the custom filter
 444         chain will be forgotten. Earlier the preset options were
 445         completely ignored after custom filter chain options had been
 446         seen.
 447
 448       * xz will create sparse files when decompressing if the uncompressed
 449         data contains long sequences of binary zeros. This is done even
 450         when writing to standard output that is connected to a regular
 451         file and certain additional conditions are met to make it safe.
 452
 453       * Support for "xz --list" was added. Combine with --verbose or
 454         --verbose --verbose (-vv) for detailed output.
 455
 456       * I had hoped that liblzma API would have been stable after
 457         4.999.9beta, but there have been a couple of changes in the
 458         advanced features, which don't affect most applications:
 459
 460           - Index handling code was revised. If you were using the old
 461             API, you will get a compiler error (so it's easy to notice).
 462
 463           - A subtle but important change was made to the Block handling
 464             API. lzma_block.version has to be initialized even for
 465             lzma_block_header_decode(). Code that doesn't do it will work
 466             for now, but might break in the future, which makes this API
 467             change easy to miss.
 468
 469       * The major soname has been bumped to 5.0.0. liblzma API and ABI
 470         are now stable, so the need to recompile programs linking against
 471         liblzma shouldn't arise soon.
 472