Fix broken character definitions.  (Arrgh.)

Fix thinko in call to MAKE-XML-!ENTITY.

Add support for XHTML predefined entities.  These are available only
when the document has an XHTML DTD.

Add predicates to identify XHTML DTDs.

Change HTML-EXTERNAL-DTD to HTML-EXTERNAL-ID.

Add constructors to aid in building conformant XHTML documents.

Add support for XHTML 1.1.

Fix some text that isn't right for Edwin.  (closes: [bugs #7233])

Move generic XML convenience procedures from "xhtml.scm" to
"xml-struct.scm".  Add new procedures STANDARD-XML-ELEMENT-CONSTRUCTOR
and STANDARD-XML-ELEMENT-PREDICATE.

Export FLATTEN-XML-ELEMENT-CONTENTS.

Update list of element names to cover exactly those elements defined
by XHTML 1.0 strict, and no others.  Add some context information, for
use in styling and analysis.

New procedures GUARANTEE-HTML-ELEMENT, HTML-ELEMENT-NAME?,
GUARANTEE-HTML-ELEMENT-NAME, HTML-ELEMENT-CONTEXT,
HTML-ELEMENT-NAME-CONTEXT, HTML-ELEMENT-NAMES.  Rename HTML-ATTRS to
XML-ATTRS.  Rename HTML:COMMENT to XML-COMMENT and move it to
"xml-struct".

Allow HTML:COMMENT to take anything that satisfies XML-CHAR-DATA? as
an argument.  Also, be a little smarter about when to add leading or
trailing whitespace.

Add support for NMTOKENS values.

Generalize HTML-ATTRS to allow xml-attribute objects as arguments,
interspersed with keyword pairs.

Add XHTML support.

Allow SYMBOL to accept characters as arguments.

Implement SYMBOL.

Implement HTML-ELEMENT?.

Move xhtml support into this package.  Change names to contain "html"
so they don't conflict with others.

New macro RULE-MATCHER.  Rewrite rule-matching mechanism to make it
more abstract.

Fix typo.

Add new operations to categorize type codes.

Add new primitive TYPE->GC-TYPE.

OBJECT-GC-TYPE is no longer a primitive.

Fix definitions of OBJECT-POINTER? and OBJECT-NON-POINTER? so they are
more accurate.

Use OBJECT-NON-POINTER? rather than NON-POINTER-OBJECT?.

Fix typo in previous change.

Move REGISTER-TYPES-COMPATIBLE? to arch-independent file.

Implement XML-PROCESSING-INSTRUCTIONS-HANDLERS.

Implement XML-MISC-CONTENT-ITEM?.

Fix valid-content tests on output of processing instructions to
correspond to those in xml-struct.

Add support for fractional seconds in ISO 8601 times.

Update menu: delete missing section in hash-table docs.

Must lock table during REHASH-TABLE!.

Make sure hashing operations integrate as I intended.  Reduce table
locking to protect against abort but not simultaneous access.

Reimplement PRIME-NUMBERS-STREAM to use less space.

Implement SMALLEST-FIXNUM and LARGEST-FIXNUM.

Reflect new hash-table implementation.

New hash-table implementation.

When closing a port, don't try to flush output if the channel is
already closed.

Export UTF-xx input ports.

Add missing error checking to UTF-8 decoder: was allowing illegal code
points.  Simplify code that checks for illegal code points; some of
the checks were redundant.  Implement object buffering, and use it to
reimplement wide-string format conversions and ports.  Implement input
ports for UTF-xx strings.

Implement byte sources.

Add procedures to do output directly to UTF-xx strings.

Fix bug in handling of wide strings.

Use new procedure PORT/SUPPORTS-CODING? to eliminate error when
writing XML to string.

Add new procedure PORT/SUPPORTS-CODING?.

When deciding whether it is legal to associate an IRI with a name,
distinguish between a name with no prefix and a name that is not
namespace well formed.  The former may have an IRI, and the latter may
not.

Generalize code to toggle Dired sort order.

New port abstraction is hiding unread characters from the underlying
port operations; consequently, the buffer-input implementation was
returning the wrong value for the current mark.  This has been kludged
around.

Allow "utf7" and "utf8" character sets.

Change PAGE_READWRITE to PAGE_EXECUTE_READWRITE, so that XP SP2
doesn't invalidate all execution in the heap.

Don't try to allocate zero-length string in RELOAD-SAVE-STRING.

INPUT-PORT/READ-STRING wasn't returning an EOF object when needed.

Fix typo that prevented EOF from being properly detected.

Update version number to reflect changes.

Allow a name to contain colons as specified by the XML standard.
However, don't allow association of an IRI with the name unless the
name uses a single colon as specified by the namespace standard.

Fix thinko in handling of name parsing.

Restore colon as name-initial char.

Remove now-obsolete code that forces output coding to UTF-8.

Generate BOM on output for those encodings that require it.

Fix bugs in implementation of UTF-32 coding.

Add name for BOM character.

Fix thinko.

Use temporary file as intermediary for write/re-read test.  This tests
the character coding as well as the plain I/O.

Fix typo.

Implement support for character coding.

Implement operations to detect known codings and line endings of a
port.  Add support for US-ASCII, UTF-16, and UTF-32 codings.

Don't read more characters than are needed.  The XML character-coding
detection depends on this.

Export DISCARD-CHAR.

Export UNREAD-CHAR.

Canonicalize UTF-16 and UTF-32 names.

Clean up output a little.

When using XML line ending on I/O port, treat output side as TEXT.

Eliminate PARSE-XML-DOCUMENT.  Merge STRING->XML and SUBSTRING->XML.
Force input coding to UTF-8 (for now).  Force input line ending to
XML-1.0.

Some tweaks to handle changes in I/O subsystem.  Force UTF-8 coding on
output (for now).

Use STRING->PARSER-BUFFER rather than WIDE-STRING->PARSER-BUFFER,
since the former has replaced the latter.

Use wide string to test re-reading of document.

Eliminate SOURCE->PARSER-BUFFER.  Merge procedures
*STRING->PARSER-BUFFER into a single procedure.

Rewrite STRING->WIDE-STRING to make it more efficient.

Add support for UTF-32.

Fix problems with parsing of element content.

Use new arguments for OPEN-TCP-STREAM-SOCKET.

Fix some bugs in the parser buffer.

Fix typo.

Add kludge to define MATCH-UTF8-CHAR-IN-ALPHABET.

Add line-ending support.

Add NEWLINE line-ending.

Changes required by reimplementation of I/O subsystem.

Bump version to reflect major change.

The I/O subsystem has once again been redesigned.  The primary goal of
this large change is to integrate support for Unicode and character
coding directly into the I/O subsystem.  Secondary goals are to
improve I/O performance, to simplify the design, and to provide
flexibility for future enhancement.

This change set has received cursory testing, and no doubt a number of
problems remain.  Additionally, there are several unfinished aspects
to the change.  But this version works well enough to run Edwin.

Detailed changes
----------------

The term "line translation" is everywhere replaced with "line ending".
A line ending is now specified by a symbol, such as 'crlf or 'lf;
previously it was a string.  I/O files now support a single line
ending for both input and output sides; previously there were two
independent line translations.

The I/O buffers have been completely redesigned.  They now operate in
three stages: one stage does byte-stream I/O, the second manages
coding (e.g. UTF-8), and the third manages line endings.  Only bytes
are buffered.  As a consequence, READ-CHAR and WRITE-CHAR will now
handle any Unicode character, provided the port's coding is set to an
appropriate value.

The READ-SUBSTRING port operation can now assume that its START
argument is strictly less than its END argument.  Likewise for the new
operations READ-WIDE-SUBSTRING and READ-EXTERNAL-SUBSTRING.

The WRITE-SUBSTRING port operation now returns either #F or a
non-negative integer.  It can also now assume that its START argument
is strictly less than its END argument.  Both of these properties are
true for the new WRITE-WIDE-SUBSTRING and WRITE-EXTERNAL-SUBSTRING.

The WRITE-CHAR port operation now returns either #F, 0, or 1, as if it
was a call to WRITE-SUBSTRING with a one-char string.

The CHAR-READY? port operation and the INPUT-PORT/CHAR-READY?
procedure no longer accept a second "interval" argument.  Handling of
the timeout interval is instead implemented directly in the
CHAR-READY? procedure.

Strings are always considered to be encoded using ISO-8859-1.

The parser-buffer datatype has been widened to handle all Unicode
characters.

All ports now support the FRESH-LINE operation, which is implemented
as a layer on top of the supplied operations.  Similarly, the
PEEK-CHAR, DISCARD-CHAR, and new UNREAD-CHAR operations are
implemented for all ports.

End-of-file objects now have an associated port.

RUN-SHELL-COMMAND and RUN-SYNCHRONOUS-SUBPROCESS now accept a keyword
argument LINE-ENDING, which replaces the old options
INPUT-LINE-TRANSLATION and OUTPUT-LINE-TRANSLATION.

Transcript support has been moved into the core port abstraction.
Consequently, it is no longer necessary to encapsulate a port in order
to get transcript support.  Encapsulated ports have been eliminated,
as this was their only use.

The procedures OPEN-TCP-STREAM-SOCKET, OPEN-UNIX-STREAM-SOCKET,
SUBPROCESS-I/O-PORT, and TCP-SERVER-CONNECTION-ACCEPT have changed
their argument structure.  All arguments dealing with buffer size and
line translation have been eliminated.  In the new implementation, the
buffer size is fixed, and handling of line endings is changed by
calling PORT/SET-LINE-ENDING.

The following variables have been eliminated:

CHANNEL-WRITE-CHAR-BLOCK
CHANNEL-WRITE-STRING-BLOCK
ENCAPSULATED-PORT/PORT
ENCAPSULATED-PORT/STATE
ENCAPSULATED-PORT?
GUARANTEE-ENCAPSULATED-PORT
INPUT-PORT/CHANNEL
INPUT-PORT/COPY
INPUT-PORT/CUSTOM-OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION-NAMES
INPUT-PORT/STATE
MAKE-ENCAPSULATED-PORT
MAKE-GENERIC-INPUT-PORT
MAKE-GENERIC-OUTPUT-PORT
MAKE-I/O-PORT
MAKE-INPUT-PORT
MAKE-OUTPUT-PORT
MATCH-UTF8-CHAR-IN-ALPHABET
OUTPUT-PORT/CHANNEL
OUTPUT-PORT/COPY
OUTPUT-PORT/CUSTOM-OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION-NAMES
OUTPUT-PORT/STATE
PATHNAME-END-OF-LINE-STRING
PATHNAME-NEWLINE-TRANSLATION
SET-ENCAPSULATED-PORT/STATE!
SET-INPUT-PORT/STATE!
SET-OUTPUT-PORT/STATE!

The following port operations have been eliminated:

BUFFERED-INPUT-CHARS
BUFFERED-OUTPUT-CHARS
CHARS-REMAINING
DISCARD-CHAR
DISCARD-CHARS
FRESH-LINE
INPUT-BUFFER-SIZE
OUTPUT-BUFFER-SIZE
PEEK-CHAR
READ-STRING
REST->STRING
SET-INPUT-BUFFER-SIZE
SET-OUTPUT-BUFFER-SIZE
\f
To do:

* locking
* column tracking
* convert parser from peek/discard to read/unread
* [?] integrate parser-buffer support (port.scm/input.scm)
* change buffer I/O ports to handle line endings as needed

Change arg structure of:
char-ready? port operation
input-port/char-ready?
make-generic-i/o-port
make-input-buffer
make-output-buffer
open-tcp-stream-socket
open-unix-stream-socket
subprocess-i/o-port
tcp-server-connection-accept

Renamed variables:
os/default-end-of-line-translation => default-line-ending
os/file-end-of-line-translation => file-line-ending

New variables:
channel-has-input?
channel-write-byte-block
condition-type:char-decoding-error
condition-type:char-encoding-error
condition-type:not-8-bit-char
console-i/o-port?
eof-object-port
error:char-decoding
error:char-encoding
error:not-8-bit-char
guarantee-wide-substring
input-port/read-external-substring
input-port/read-wide-substring
input-port/unread-char
match-parser-buffer-char-in-alphabet
match-parser-buffer-char-in-alphabet-no-advance
match-parser-buffer-char-not-in-alphabet
match-parser-buffer-char-not-in-alphabet-no-advance
match-parser-buffer-char-not-in-set
match-parser-buffer-char-not-in-set-no-advance
output-port/write-external-substring
output-port/write-wide-substring
port/coding
port/line-ending
port/set-coding
port/set-line-ending
port=?
set-channel-port!
unread-char
wide-string->parser-buffer
wide-substring
wide-substring->parser-buffer

New port operations:
coding
line-ending
read-external-substring
read-wide-substring
set-coding
set-line-ending
write-external-substring
write-wide-substring

Fix typo.

Fix typos.

Fix CLOSE-ENOUGH?.

Don't set super/hyper bucky bits based on modifier keys.

Don't specially handle control/meta-modified alphabetic keys; this
appears to be a broken optimization from long ago.  Thanks to Joe
Marshall for figuring it out.

Update CVS access information.

Implement support for associating input-port "position" with each
pointer object in the output of the parser.  This is useful for
mapping s-expressions back to positions in the source code, for
example.  Also, rearrange the code a bit to make it clearer.

Rewrite the CHAR-READY? operation to use TEST-SELECT-DESCRIPTOR rather
than a non-blocking read.  The latter used five system calls, while
the former uses one to achieve the same effect.  Also, the
INPUT-BUFFER/READ-UNTIL-DELIMITER and
INPUT-BUFFER/DISCARD-UNTIL-DELIMITER procedures were eliminated.

Eliminate the READ-STRING and DISCARD-CHARS operations.