c_cpp/lib/htslib/NEWS

   1 Noteworthy changes in release 1.5 (21st June 2017)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 * Added a new logging API: hts_log(), along with hts_log_error(),
   5   hts_log_warn() etc. convenience macros.  Thanks go to Anders Kaplan
   6   for the implementation. (#499, #543, #551)
   7
   8 * Added a new file I/O option "block_size" (HTS_OPT_BLOCK_SIZE) to
   9   alter the hFILE buffer size.
  10
  11 * Fixed various bugs, including compilation issues samtools/bcftools#610,
  12   samtools/bcftools#611 and robustness to corrupted data #537, #538,
  13   #541, #546, #548, #549, #554.
  14
  15
  16 Noteworthy changes in release 1.4.1  (8th May 2017)
  17 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  18
  19 This is primarily a security bug fix update.
  20
  21 * Fixed SECURITY issue with buffer overruns with malicious data. (#514).
  22
  23 * S3 support for non Amazon AWS endpoints. (#506)
  24
  25 * Support for variant breakpoints in bcftools. (#516)
  26
  27 * Improved handling of BCF NaNs. (#485)
  28
  29 * Compilation / portability improvements. (#255, #423, #498, #488)
  30
  31 * Miscellaneous bug fixes (#482, #521, #522, #523, #524).
  32
  33 * Sanitise headers (#509)
  34
  35
  36 Release 1.4 (13 March 2017)
  37
  38 * Incompatible changes: several functions and data types have been changed
  39   in this release, and the shared library soversion has been bumped to 2.
  40
  41   - bam_pileup1_t has an additional field (which holds user data)
  42   - bam1_core_t has been modified to allow for >64K CIGAR operations
  43     and (along with bam1_t) so that CIGAR entries are aligned in memory
  44   - hopen() has vararg arguments for setting URL scheme-dependent options
  45   - the various tbx_conf_* presets are now const
  46   - auxiliary fields in bam1_t are now always stored in little-endian byte
  47     order (previously this depended on if you read a bam, sam or cram file)
  48   - index metadata (accessible via hts_idx_get_meta()) is now always
  49     stored in little-endian byte order (previously this depended on if
  50     the index was in tbi or csi format)
  51   - bam_aux2i() now returns an int64_t value
  52   - fai_load() will no longer save local copies of remote fasta indexes
  53   - hts_idx_get_meta() now takes a uint32_t * for l_meta (was int32_t *)
  54
  55 * HTSlib now links against libbz2 and liblzma by default.  To remove these
  56   dependencies, run configure with options --disable-bz2 and --disable-lzma,
  57   but note that this may make some CRAM files produced elsewhere unreadable.
  58
  59 * Added a thread pool interface and replaced the bgzf multi-threading
  60   code to use this pool.  BAM and CRAM decoding is now multi-threaded
  61   too, using the pool to automatically balance the number of threads
  62   between decode, encode and any data processing jobs.
  63
  64 * New errmod_cal(), probaln_glocal(), sam_cap_mapq(), and sam_prob_realn()
  65   functions, previously internal to SAMtools, have been added to HTSlib.
  66
  67 * Files can now be accessed via Google Cloud Storage using gs: URLs, when
  68   HTSlib is configured to use libcurl for network file access rather than
  69   the included basic knetfile networking.
  70
  71 * S3 file access now also supports the "host_base" setting in the
  72   $HOME/.s3cfg configuration file.
  73
  74 * Data URLs ("data:,text") now follow the standard RFC 2397 format and may
  75   be base64-encoded (when written as "data:;base64,text") or may include
  76   percent-encoded characters.  HTSlib's previous over-simplified "data:text"
  77   format is no longer supported -- you will need to add an initial comma.
  78
  79 * When plugins are enabled, S3 support is now provided by a separate
  80   hfile_s3 plugin rather than by hfile_libcurl itself as previously.
  81   When --enable-libcurl is used, by default both GCS and S3 support
  82   and plugins will also be built; they can be individually disabled
  83   via --disable-gcs and --disable-s3.
  84
  85 * The iRODS file access plugin has been moved to a separate repository.
  86   Configure no longer has a --with-irods option; instead build the plugin
  87   found at <https://github.com/samtools/htslib-plugins>.
  88
  89 * APIs to portably read and write (possibly unaligned) data in little-endian
  90   byte order have been added.
  91
  92 * New functions bam_auxB_len(), bam_auxB2i() and bam_auxB2f() have been
  93   added to make accessing array-type auxiliary data easier.  bam_aux2i()
  94   can now return the full range of values that can be stored in an integer
  95   tag (including unsigned 32 bit tags).  bam_aux2f() will return the value
  96   of integer tags (as a double) as well as floating-point ones.  All of
  97   the bam_aux2 and bam_auxB2 functions will set errno if the requested
  98   conversion is not valid.
  99
 100 * New functions fai_load3() and fai_build3() allow fasta indexes to be
 101   stored in a different location to the indexed fasta file.
 102
 103 * New functions bgzf_index_dump_hfile() and bgzf_index_load_hfile()
 104   allow bgzf index files (.gzi) to be written to / read from an existing
 105   hFILE handle.
 106
 107 * hts_idx_push() will report when trying to add a range to an index that
 108   is beyond the limits that the given index can handle.  This means trying
 109   to index chromosomes longer than 2^29 bases with a .bai or .tbi index
 110   will report an error instead of apparantly working but creating an invalid
 111   index entry.
 112
 113 * VCF formatting is now approximately 4x faster.  (Whether this is
 114   noticable depends on what was creating the VCF.)
 115
 116 * CRAM lossy_names mode now works with TLEN of 0 or TLEN within +/- 1
 117   of the computed value.  Note in these situations TLEN will be
 118   generated / fixed during CRAM decode.
 119
 120 * CRAM now supports bzip2 and lzma codecs.  Within htslib these are
 121   disabled by default, but can be enabled by specifying "use_bzip2" or
 122   "use_lzma" in an hts_opt_add() call or via the mode string of the
 123   hts_open_format() function.
 124
 125 Noteworthy changes in release 1.3.2  (13 September 2016)
 126
 127 * Corrected bin calculation when converting directly from CRAM to BAM.
 128   Previously a small fraction of converted reads would fail Picard's
 129   validation with "bin field of BAM record does not equal value computed"
 130   (SAMtools issue #574).
 131
 132 * Plugins can now signal to HTSlib which of RTLD_LOCAL and RTLD_GLOBAL
 133   they wish to be opened with -- previously they were always RTLD_LOCAL.
 134
 135
 136 Noteworthy changes in release 1.3.1  (22 April 2016)
 137
 138 * Improved error checking and reporting, especially of I/O errors when
 139   writing output files (#17, #315, PR #271, PR #317).
 140
 141 * Build fixes for 32-bit systems; be sure to run configure to enable
 142   large file support and access to 2GiB+ files.
 143
 144 * Numerous VCF parsing fixes (#321, #322, #323, #324, #325; PR #370).
 145   Particular thanks to Kostya Kortchinsky of the Google Security Team
 146   for testing and numerous input parsing bug reports.
 147
 148 * HTSlib now prints an informational message when initially creating a
 149   CRAM reference cache in the default location under your $HOME directory.
 150   (No message is printed if you are using $REF_CACHE to specify a location.)
 151
 152 * Avoided rare race condition when caching downloaded CRAM reference sequence
 153   files, by using distinctive names for temporary files (in addition to O_EXCL,
 154   which has always been used).  Occasional corruption would previously occur
 155   when multiple tools were simultaneously caching the same reference sequences
 156   on an NFS filesystem that did not support O_EXCL (PR #320).
 157
 158 * Prevented race condition in file access plugin loading (PR #341).
 159
 160 * Fixed mpileup memory leak, so no more "[bam_plp_destroy] memory leak [...]
 161   Continue anyway" warning messages (#299).
 162
 163 * Various minor CRAM fixes.
 164
 165 * Fixed documentation problems #348 and #358.
 166
 167
 168 Noteworthy changes in release 1.3  (15 December 2015)
 169
 170 * Files can now be accessed via HTTPS and Amazon S3 in addition to HTTP
 171   and FTP, when HTSlib is configured to use libcurl for network file access
 172   rather than the included basic knetfile networking.
 173
 174 * HTSlib can be built to use remote access hFILE backends (such as iRODS
 175   and libcurl) via a plugin mechanism.  This allows other backends to be
 176   easily added and facilitates building tools that use HTSlib, as they
 177   don't need to be linked with the backends' various required libraries.
 178
 179 * When writing CRAM output, sam_open() etc now default to writing CRAM v3.0
 180   rather than v2.1.
 181
 182 * fai_build() and samtools faidx now accept initial whitespace in ">"
 183   headers (e.g., "> chr1 description" is taken to refer to "chr1").
 184
 185 * tabix --only-header works again (was broken in 1.2.x; #249).
 186
 187 * HTSlib's configure script and Makefile now fully support the standard
 188   convention of allowing CC/CPPFLAGS/CFLAGS/LDFLAGS/LIBS to be overridden
 189   as needed.  Previously the Makefile listened to $(LDLIBS) instead; if you
 190   were overriding that, you should now override LIBS rather than LDLIBS.
 191
 192 * Fixed bugs #168, #172, #176, #197, #206, #225, #245, #265, #295, and #296.
 193
 194
 195 Noteworthy changes in release 1.2.1  (3 February 2015)
 196
 197 * Reinstated hts_file_type() and FT_* macros, which were available until 1.1
 198   but briefly removed in 1.2.  This function is deprecated and will be removed
 199   in a future release -- you should use hts_detect_format() etc instead
 200
 201
 202 Noteworthy changes in release 1.2  (2 February 2015)
 203
 204 * HTSlib now has a configure script which checks your build environment
 205   and allows for selection of optional extras.  See INSTALL for details
 206
 207 * By default, reference sequences are fetched from the EBI CRAM Reference
 208   Registry and cached in your $HOME cache directory.  This behaviour can
 209   be controlled by setting REF_PATH and REF_CACHE enviroment variables
 210   (see the samtools(1) man page for details)
 211
 212 * Numerous CRAM improvements:
 213   - Support for CRAM v3.0, an upcoming revision to CRAM supporting
 214     better compression and per-container checksums
 215   - EOF checking for v2.1 and v3.0 (similar to checking BAM EOF blocks)
 216   - Non-standard values for PNEXT and TLEN fields are now preserved
 217   - hts_set_fai_filename() now provides a reference file when encoding
 218   - Generated read names are now numbered from 1, rather than being
 219     labelled 'slice:record-in-slice'
 220   - Multi-threading and speed improvements
 221
 222 * New htsfile command for identifying file formats, and corresponding
 223   file format detection APIs
 224
 225 * New tabix --regions FILE, --targets FILE options for filtering via BED files
 226
 227 * Optional iRODS file access, disabled by default.  Configure with --with-irods
 228   to enable accessing iRODS data objects directly via 'irods:DATAOBJ'
 229
 230 * All occurences of 2^29 in the source have been eliminated, so indexing
 231   and querying against reference sequences larger than 512Mbp works (when
 232   using CSI indices)
 233
 234 * Support for plain GZIP compression in various places
 235
 236 * VCF header editing speed improvements
 237
 238 * Added seq_nt16_int[] (equivalent to the samtools API's bam_nt16_nt4_table)
 239
 240 * Reinstated faidx_fetch_nseq(), which was accidentally removed from 1.1.
 241   Now faidx_fetch_nseq() and faidx_nseq() are equivalent; eventually
 242   faidx_fetch_nseq() will be deprecated and removed [#156]
 243
 244 * Fixed bugs #141, #152, #155, #158, #159, and various memory leaks