Fix 43670, 44501 - Fix how HDGF deals with trailing data in the list of chunk headers
[poi.git] / src / documentation / content / xdocs / poifs / how-to.xml
blobe1bc8c2c619959af3de00c23ffd6abdd149c5e7b
1 <?xml version="1.0" encoding="UTF-8"?>
2 <!--
3    ====================================================================
4    Licensed to the Apache Software Foundation (ASF) under one or more
5    contributor license agreements.  See the NOTICE file distributed with
6    this work for additional information regarding copyright ownership.
7    The ASF licenses this file to You under the Apache License, Version 2.0
8    (the "License"); you may not use this file except in compliance with
9    the License.  You may obtain a copy of the License at
11        http://www.apache.org/licenses/LICENSE-2.0
13    Unless required by applicable law or agreed to in writing, software
14    distributed under the License is distributed on an "AS IS" BASIS,
15    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16    See the License for the specific language governing permissions and
17    limitations under the License.
18    ====================================================================
19 -->
20 <!DOCTYPE document PUBLIC "-//APACHE//DTD Documentation V1.1//EN" "../dtd/document-v11.dtd">
21 <document>
22   <header>
23     <title>How To Use the POIFS APIs</title>
24     <authors>
25       <person email="mjohnson@apache.org" name="Marc Johnson" id="MJ"/>
26     </authors>
27   </header>
28   <body>
29     <section><title>How To Use the POIFS APIs</title>
30       <p>This document describes how to use the POIFS APIs to read, write, and modify files that employ a POIFS-compatible data structure to organize their content.</p>
31       <section><title>Revision History</title>
32         <ul>
33           <li>02.10.2002 - completely rewritten from original documents on <link href="https://sourceforge.net/cvs/?group_id=32701">sourceforge</link></li>
34         </ul>
35       </section>
36       <section><title>Target Audience</title>
37         <p>This document is intended for Java developers who need to use the POIFS APIs to read, write, or modify files that employ a POIFS-compatible data structure to organize their content. It is not necessary for developers to understand the POIFS data structures, and an explanation of those data structures is beyond the scope of this document. It is expected that the members of the target audience will understand the rudiments of a hierarchical file system, and familiarity with the event pattern employed by Java APIs such as AWT would be helpful.</p>
38       </section>
39       <section><title>Glossary</title>
40         <p>This document attempts to be consistent in its terminology, which is defined here:</p>
41         <table>
42           <tr>
43             <td><em>Term</em></td>
44             <td><em>Definition</em></td>
45           </tr>
46           <tr>
47             <td>Directory</td>
48             <td>A special file that may contain other directories and documents.</td>
49           </tr>
50           <tr>
51             <td>DirectoryEntry</td>
52             <td>Representation of a directory within another directory.</td>
53           </tr>
54           <tr>
55             <td>Document</td>
56             <td>A file containing data, such as word processing data or a spreadsheet workbook.</td>
57           </tr>
58           <tr>
59             <td>DocumentEntry</td>
60             <td>Representation of a document within a directory.</td>
61           </tr>
62           <tr>
63             <td>Entry</td>
64             <td>Representation of a file in a directory.</td>
65           </tr>
66           <tr>
67             <td>File</td>
68             <td>A named entity, managed and contained by the file system.</td>
69           </tr>
70           <tr>
71             <td>File System</td>
72             <td>The POIFS data structures, plus the contained directories and documents, which are maintained in a hierarchical directory structure.</td>
73           </tr>
74           <tr>
75             <td>Root Directory</td>
76             <td>The directory at the base of a file system. All file systems have a root directory. The POIFS APIs will not allow the root directory to be removed or renamed, but it can be accessed for the purpose of reading its contents or adding files (directories and documents) to it.</td>
77           </tr>
78         </table>
79       </section>
80     </section>
81     <section><title>Reading a File System</title>
82       <p>This section covers reading a file system. There are two ways to read a file system; these techniques are sketched out in the following table, and then explained in greater depth in the sections following the table.</p>
83       <table>
84         <tr>
85           <td><em>Technique</em></td>
86           <td><em>Advantages</em></td>
87           <td><em>Disadvantages</em></td>
88         </tr>
89         <tr>
90           <td>Conventional Reading</td>
91           <td>
92               Simpler API similar to reading a conventional file system.<br/>
93               Can read documents in any order.
94           </td>
95           <td>
96               All files are resident in memory, whether your application needs them or not.
97           </td>
98         </tr>
99         <tr>
100           <td>Event-Driven Reading</td>
101           <td>
102               Reduced footprint -- only the documents you care about are processed.<br/>
103               Improved performance -- no time is wasted reading the documents you're not interested in.
104           </td>
105           <td>
106               More complicated API.<br/>
107               Need to know in advance which documents you want to read.<br/>
108               No control over the order in which the documents are read.<br/>
109               No way to go back and get additional documents except to re-read the file system, which may not be possible, e.g., if the file system is being read from an input stream that lacks random access support.
110           </td>
111         </tr>
112       </table>
113       <section><title>Conventional Reading</title>
114         <p>In this technique for reading, the entire file system is loaded into memory, and the entire directory tree can be walked by an application, reading specific documents at the application's leisure.</p>
115         <section><title>Preparation</title>
116           <p>Before an application can read a file from the file system, the file system needs to be loaded into memory. This is done by using the <code>org.apache.poi.poifs.filesystem.POIFSFileSystem</code> class. Once the file system has been loaded into memory, the application may need the root directory. The following code fragment will accomplish this preparation stage:</p>
117           <source>
118 // need an open InputStream; for a file-based system, this would be appropriate:
119 // InputStream stream = new FileInputStream(fileName);
120 POIFSFileSystem fs;
123     fs = new POIFSFileSystem(inputStream);
125 catch (IOException e)
127     // an I/O error occurred, or the InputStream did not provide a compatible
128     // POIFS data structure
130 DirectoryEntry root = fs.getRoot();</source>
131           <p>Assuming no exception was thrown, the file system can then be read.</p>
132           <p>Note: loading the file system can take noticeable time, particularly for large file systems.</p>
133         </section>
134         <section><title>Reading the Directory Tree</title>
135           <p>Once the file system has been loaded into memory and the root directory has been obtained, the root directory can be read. The following code fragment shows how to read the entries in an <code>org.apache.poi.poifs.filesystem.DirectoryEntry</code> instance:</p>
136           <source>
137 // dir is an instance of DirectoryEntry ...
138 for (Iterator iter = dir.getEntries(); iter.hasNext(); )
140     Entry entry = (Entry)iter.next();
141     System.out.println("found entry: " + entry.getName());
142     if (entry instanceof DirectoryEntry)
143     {
144         // .. recurse into this directory
145     }
146     else if (entry instanceof DocumentEntry)
147     {
148         // entry is a document, which you can read
149     }
150     else
151     {
152         // currently, either an Entry is a DirectoryEntry or a DocumentEntry,
153         // but in the future, there may be other entry subinterfaces. The
154         // internal data structure certainly allows for a lot more entry types.
155     }
156 }</source>
157         </section>
158         <section><title>Reading a Specific Document</title>
159           <p>There are a couple of ways to read a document, depending on whether the document resides in the root directory or in another directory. Either way, you will obtain an <code>org.apache.poi.poifs.filesystem.DocumentInputStream</code> instance.</p>
160           <section><title>DocumentInputStream</title>
161             <p>The DocumentInputStream class is a simple implementation of InputStream that makes a few guarantees worth noting:</p>
162             <ul>
163               <li><code>available()</code> always returns the number of bytes in the document from your current position in the document.</li>
164               <li><code>markSupported()</code> returns <code>true</code>.</li>
165               <li><code>mark(int limit)</code> ignores the limit parameter; basically the method marks the current position in the document.</li>
166               <li><code>reset()</code> takes you back to the position when <code>mark()</code> was last called, or to the beginning of the document if <code>mark()</code> has not been called.</li>
167               <li><code>skip(long n)</code> will take you to your current position + n (but not past the end of the document).</li>
168             </ul>
169             <p>The behavior of <code>available</code> means you can read in a document in a single read call like this:</p>
170             <source>
171 byte[] content = new byte[ stream.available() ];
172 stream.read(content);
173 stream.close();</source>
174             <p>The combination of <code>mark</code>, <code>reset</code>, and <code>skip</code> provide the basic mechanisms needed for random access of the document contents.</p>
175           </section>
176           <section><title>Reading a Document From the Root Directory</title>
177             <p>If the document resides in the root directory, you can obtain a <code>DocumentInputStream</code> like this:</p>
178             <source>
179 // load file system
182     DocumentInputStream stream = filesystem.createDocumentInputStream(documentName);
183     // process data from stream
185 catch (IOException e)
187     // no such document, or the Entry represented by documentName is not a
188     // DocumentEntry
189 }</source>
190           </section>
191           <section><title>Reading a Document From an Arbitrary Directory</title>
192             <p>A more generic technique for reading a document is to obtain an <code>org.apache.poi.poifs.filesystem.DirectoryEntry</code> instance for the directory containing the desired document (recall that you can use <code>getRoot()</code> to obtain the root directory from its file system). From that DirectoryEntry, you can then obtain a <code>DocumentInputStream</code> like this:</p>
193             <source>
194 DocumentEntry document = (DocumentEntry)directory.getEntry(documentName);
195 DocumentInputStream stream = new DocumentInputStream(document);
196 </source>
197           </section>
198         </section>
199       </section>
200       <section><title>Event-Driven Reading</title>
201         <p>The event-driven API for reading documents is a little more complicated and requires that your application know, in advance, which files it wants to read. The benefit of using this API is that each document is in memory just long enough for your application to read it, and documents that you never read at all are not in memory at all. When you're finished reading the documents you wanted, the file system has no data structures associated with it at all and can be discarded.</p>
202         <section><title>Preparation</title>
203           <p>The preparation phase involves creating an instance of <code>org.apache.poi.poifs.eventfilesystem.POIFSReader</code> and to then register one or more <code>org.apache.poi.poifs.eventfilesystem.POIFSReaderListener</code> instances with the <code>POIFSReader</code>.</p>
204           <source>
205 POIFSReader reader = new POIFSReader();
206 // register for everything
207 reader.registerListener(myOmnivorousListener);
208 // register for selective files
209 reader.registerListener(myPickyListener, "foo");
210 reader.registerListener(myPickyListener, "bar");
211 // register for selective files
212 reader.registerListener(myOtherPickyListener, new POIFSDocumentPath(),
213      "fubar");
214 reader.registerListener(myOtherPickyListener, new POIFSDocumentPath(
215     new String[] { "usr", "bin" ), "fubar");</source>
216         </section>
217         <section><title>POIFSReaderListener</title>
218           <p><code>org.apache.poi.poifs.eventfilesystem.POIFSReaderListener</code> is an interface used to register for documents. When a matching document is read by the <code>org.apache.poi.poifs.eventfilesystem.POIFSReader</code>, the <code>POIFSReaderListener</code> instance receives an <code>org.apache.poi.poifs.eventfilesystem.POIFSReaderEvent</code> instance, which contains an open <code>DocumentInputStream</code> and information about the document.</p>
219           <p>A <code>POIFSReaderListener</code> instance can register for individual documents, or it can register for all documents; once it has registered for all documents, subsequent (and previous!) registration requests for individual documents are ignored. There is no way to unregister a <code>POIFSReaderListener</code>.</p>
220           <p>Thus, it is possible to register a single <code>POIFSReaderListener</code> for multiple documents - one, some, or all documents. It is guaranteed that a single <code>POIFSReaderListener</code> will receive exactly one notification per registered document. There is no guarantee as to the order in which it will receive notification of its documents, as future implementations of <code>POIFSReader</code> are free to change the algorithm for walking the file system's directory structure.</p>
221           <p>It is also permitted to register more than one <code>POIFSReaderListener</code> for the same document. There is no guarantee of ordering for notification of <code>POIFSReaderListener</code> instances that have registered for the same document when <code>POIFSReader</code> processes that document.</p>
222           <p>It is guaranteed that all notifications occur in the same thread. A future enhancement may be made to provide multi-threaded notifications, but such an enhancement would very probably be made in a new reader class, a <code>ThreadedPOIFSReader</code> perhaps.</p>
223           <p>The following table describes the three ways to register a <code>POIFSReaderListener</code> for a document or set of documents:</p>
224           <table>
225             <tr>
226               <td><em>Method Signature</em></td>
227               <td><em>What it does</em></td>
228             </tr>
229             <tr>
230               <td>registerListener(POIFSReaderListener <em>listener</em>)</td>
231               <td>registers <em>listener</em> for all documents.</td>
232             </tr>
233             <tr>
234               <td>registerListener(POIFSReaderListener <em>listener</em>, String <em>name</em>)</td>
235               <td>registers <em>listener</em> for a document with the specified <em>name</em> in the root directory.</td>
236             </tr>
237             <tr>
238               <td>registerListener(POIFSReaderListener <em>listener</em>, POIFSDocumentPath <em>path</em>, String <em>name</em>)</td>
239               <td>registers <em>listener</em> for a document with the specified <em>name</em> in the directory described by <em>path</em></td>
240             </tr>
241           </table>
242         </section>
243         <section><title>POIFSDocumentPath</title>
244           <p>The <code>org.apache.poi.poifs.filesystem.POIFSDocumentPath</code> class is used to describe a directory in a POIFS file system. Since there are no reserved characters in the name of a file in a POIFS file system, a more traditional string-based solution for describing a directory, with special characters delimiting the components of the directory name, is not feasible. The constructors for the class are used as follows:</p>
245           <table>
246             <tr>
247               <td><em>Constructor example</em></td>
248               <td><em>Directory described</em></td>
249             </tr>
250             <tr>
251               <td>new POIFSDocumentPath()</td>
252               <td>The root directory.</td>
253             </tr>
254             <tr>
255               <td>new POIFSDocumentPath(null)</td>
256               <td>The root directory.</td>
257             </tr>
258             <tr>
259               <td>new POIFSDocumentPath(new String[ 0 ])</td>
260               <td>The root directory.</td>
261             </tr>
262             <tr>
263               <td>new POIFSDocumentPath(new String[ ] { "foo", "bar"} )</td>
264               <td>in Unix terminology, "/foo/bar".</td>
265             </tr>
266             <tr>
267               <td>new POIFSDocumentPath(new POIFSDocumentPath(new String[] { "foo" }), new String[ ] { "fu", "bar"} )</td>
268               <td>in Unix terminology, "/foo/fu/bar".</td>
269             </tr>
270           </table>
271         </section>
272         <section><title>Processing POIFSReaderEvent Events</title>
273           <p>Processing <code>org.apache.poi.poifs.eventfilesystem.POIFSReaderEvent</code> events is relatively easy. After all of the <code>POIFSReaderListener</code> instances have been registered with <code>POIFSReader</code>, the <code>POIFSReader.read(InputStream stream)</code> method is called.</p>
274           <p>Assuming that there are no problems with the data, as the <code>POIFSReader</code> processes the documents in the specified <code>InputStream</code>'s data, it calls registered <code>POIFSReaderListener</code> instances' <code>processPOIFSReaderEvent</code> method with a <code>POIFSReaderEvent</code> instance.</p>
275           <p>The <code>POIFSReaderEvent</code> instance contains information to identify the document (a <code>POIFSDocumentPath</code> object to identify the directory that the document is in, and the document name), and an open <code>DocumentInputStream</code> instance from which to read the document.</p>
276         </section>
277       </section>
278     </section>
279     <section><title>Writing a File System</title>
280       <p>Writing a file system is very much like reading a file system in that there are multiple ways to do so. You can load an existing file system into memory and modify it (removing files, renaming files) and/or add new files to it, and write it, or you can start with a new, empty file system:</p>
281       <source>
282 POIFSFileSystem fs = new POIFSFileSystem();</source>
283       <section><title>The Naming of Names</title>
284         <p>There are two restrictions on the names of files in a file system that must be considered when creating files:</p>
285         <ol>
286           <li>The name of the file must not exceed 31 characters. If it does, the POIFS API will silently truncate the name to fit.</li>
287           <li>The name of the file must be unique within its containing directory. This seems pretty obvious, but if it isn't spelled out, there'll be hell to pay, to be sure. Uniqueness, of course, is determined <em>after</em> the name has been truncated, if the original name was too long to begin with.</li>
288         </ol>
289       </section>
290       <section><title>Creating a Document</title>
291         <p>A document can be created by acquiring a <code>DirectoryEntry</code> and calling one of the two <code>createDocument</code> methods:</p>
292         <table>
293           <tr>
294             <td><em>Method Signature</em></td>
295             <td><em>Advantages</em></td>
296             <td><em>Disadvantages</em></td>
297           </tr>
298           <tr>
299             <td>CreateDocument(String name, InputStream stream)</td>
300             <td>
301                 Simple API.
302             </td>
303             <td>
304                 Increased memory footprint (document is in memory until file system is written).
305             </td>
306           </tr>
307           <tr>
308             <td>CreateDocument(String name, int size, POIFSWriterListener writer)</td>
309             <td>
310                 Decreased memory footprint (only very small documents are held in memory, and then only for a short time).
311             </td>
312             <td>
313                 More complex API.<br/>
314             Determining document size in advance may be difficult.<br/>
315             Lose control over when document is to be written.
316             </td>
317           </tr>
318         </table>
319         <p>Unlike reading, you don't have to choose between the in-memory and event-driven writing models; both can co-exist in the same file system.</p>
320         <p>Writing is initiated when the <code>POIFSFileSystem</code> instance's <code>writeFilesystem()</code> method is called with an <code>OutputStream</code> to write to.</p>
321         <p>The event-driven model is quite similar to the event-driven model for reading, in that the file system calls your <code>org.apache.poi.poifs.filesystem.POIFSWriterListener</code> when it's time to write your document, just as the <code>POIFSReader</code> calls your <code>POIFSReaderListener</code> when it's time to read your document. Internally, when <code>writeFilesystem()</code> is called, the final POIFS data structures are created and are written to the specified <code>OutputStream</code>. When the file system needs to write a document out that was created with the event-driven model, it calls the <code>POIFSWriterListener</code> back, calling its <code>processPOIFSWriterEvent()</code> method, passing an <code>org.apache.poi.poifs.filesystem.POIFSWriterEvent</code> instance. This object contains the <code>POIFSDocumentPath</code> and name of the document, its size, and an open <code>org.apache.poi.poifs.filesystem.DocumentOutputStream</code> to which to write. A <code>DocumentOutputStream</code> is a wrapper over the <code>OutputStream</code> that was provided to the <code>POIFSFileSystem</code> to write to, and has the responsibility of making sure that the document your application writes fits within the size you specified for it.</p>
322       </section>
323       <section><title>Creating a Directory</title>
324         <p>Creating a directory is similar to creating a document, except that there's only one way to do so:</p>
325         <source>
326 DirectoryEntry createdDir = existingDir.createDirectory(name);</source>
327       </section>
328       <section><title>Using POIFSFileSystem Directly To Create a Document Or Directory</title>
329         <p>As with reading documents, it is possible to create a new document or directory in the root directory by using convenience methods of POIFSFileSystem.</p>
330         <table>
331           <tr>
332             <td>DirectoryEntry Method Signature</td>
333             <td>POIFSFileSystem Method Signature</td>
334           </tr>
335           <tr>
336             <td>createDocument(String name, InputStream stream)</td>
337             <td>createDocument(InputStream stream, String name)</td>
338           </tr>
339           <tr>
340             <td>createDocument(String name, int size, POIFSWriterListener writer)</td>
341             <td>createDocument(String name, int size, POIFSWriterListener writer)</td>
342           </tr>
343           <tr>
344             <td>createDirectory(String name)</td>
345             <td>createDirectory(String name)</td>
346           </tr>
347         </table>
348       </section>
349     </section>
350     <section><title>Modifying a File System</title>
351       <p>It is possible to modify an existing POIFS file system, whether it's one your application has loaded into memory, or one which you are creating on the fly.</p>
352       <section><title>Removing a Document</title>
353         <p>Removing a document is simple: you get the <code>Entry</code> corresponding to the document and call its <code>delete()</code> method. This is a boolean method, but should always return <code>true</code>, indicating that the operation succeeded.</p>
354       </section>
355       <section><title>Removing a Directory</title>
356         <p>Removing a directory is also simple: you get the <code>Entry</code> corresponding to the directory and call its <code>delete()</code> method. This is a boolean method, but, unlike deleting a document, may not always return <code>true</code>, indicating that the operation succeeded. Here are the reasons why the operation may fail:</p>
357         <ul>
358           <li>The directory still has files in it (to check, call <code>isEmpty()</code> on its DirectoryEntry; is the return value <code>false</code>?)</li>
359           <li>The directory is the root directory. You cannot remove the root directory.</li>
360         </ul>
361       </section>
362       <section><title>Renaming a File</title>
363         <p>Regardless of whether the file is a directory or a document, it can be renamed, with one exception - the root directory has a special name that is expected by the components of a major software vendor's office suite, and the POIFS API will not let that name be changed. Renaming is done by acquiring the file's corresponding <code>Entry</code> instance and calling its <code>renameTo</code> method, passing in the new name.</p>
364         <p>Like <code>delete</code>, <code>renameTo</code> returns <code>true</code> if the operation succeeded, otherwise <code>false</code>. Reasons for failure include these:</p>
365         <ul>
366           <li>The new name is the same as another file in the same directory. And don't forget - if the new name is longer than 31 characters, it <em>will</em> be silently truncated. In its original length, the new name may have been unique, but truncated to 31 characters, it may not be unique any longer.</li>
367           <li>You tried to rename the root directory.</li>
368         </ul>
369       </section>
370     </section>
371   </body>
372 </document>