Add missing error checking to UTF-8 decoder: was allowing illegal code
points.  Simplify code that checks for illegal code points; some of
the checks were redundant.  Implement object buffering, and use it to
reimplement wide-string format conversions and ports.  Implement input
ports for UTF-xx strings.

Implement byte sources.

Add procedures to do output directly to UTF-xx strings.

Fix bug in handling of wide strings.

Use new procedure PORT/SUPPORTS-CODING? to eliminate error when
writing XML to string.

Add new procedure PORT/SUPPORTS-CODING?.

When deciding whether it is legal to associate an IRI with a name,
distinguish between a name with no prefix and a name that is not
namespace well formed.  The former may have an IRI, and the latter may
not.

Generalize code to toggle Dired sort order.

New port abstraction is hiding unread characters from the underlying
port operations; consequently, the buffer-input implementation was
returning the wrong value for the current mark.  This has been kludged
around.

Allow "utf7" and "utf8" character sets.

Change PAGE_READWRITE to PAGE_EXECUTE_READWRITE, so that XP SP2
doesn't invalidate all execution in the heap.

Don't try to allocate zero-length string in RELOAD-SAVE-STRING.

INPUT-PORT/READ-STRING wasn't returning an EOF object when needed.

Fix typo that prevented EOF from being properly detected.

Update version number to reflect changes.

Allow a name to contain colons as specified by the XML standard.
However, don't allow association of an IRI with the name unless the
name uses a single colon as specified by the namespace standard.

Fix thinko in handling of name parsing.

Restore colon as name-initial char.

Remove now-obsolete code that forces output coding to UTF-8.

Generate BOM on output for those encodings that require it.

Fix bugs in implementation of UTF-32 coding.

Add name for BOM character.

Fix thinko.

Use temporary file as intermediary for write/re-read test.  This tests
the character coding as well as the plain I/O.

Fix typo.

Implement support for character coding.

Implement operations to detect known codings and line endings of a
port.  Add support for US-ASCII, UTF-16, and UTF-32 codings.

Don't read more characters than are needed.  The XML character-coding
detection depends on this.

Export DISCARD-CHAR.

Export UNREAD-CHAR.

Canonicalize UTF-16 and UTF-32 names.

Clean up output a little.

When using XML line ending on I/O port, treat output side as TEXT.

Eliminate PARSE-XML-DOCUMENT.  Merge STRING->XML and SUBSTRING->XML.
Force input coding to UTF-8 (for now).  Force input line ending to
XML-1.0.

Some tweaks to handle changes in I/O subsystem.  Force UTF-8 coding on
output (for now).

Use STRING->PARSER-BUFFER rather than WIDE-STRING->PARSER-BUFFER,
since the former has replaced the latter.

Use wide string to test re-reading of document.

Eliminate SOURCE->PARSER-BUFFER.  Merge procedures
*STRING->PARSER-BUFFER into a single procedure.

Rewrite STRING->WIDE-STRING to make it more efficient.

Add support for UTF-32.

Fix problems with parsing of element content.

Use new arguments for OPEN-TCP-STREAM-SOCKET.

Fix some bugs in the parser buffer.

Fix typo.

Add kludge to define MATCH-UTF8-CHAR-IN-ALPHABET.

Add line-ending support.

Add NEWLINE line-ending.

Changes required by reimplementation of I/O subsystem.

Bump version to reflect major change.

The I/O subsystem has once again been redesigned.  The primary goal of
this large change is to integrate support for Unicode and character
coding directly into the I/O subsystem.  Secondary goals are to
improve I/O performance, to simplify the design, and to provide
flexibility for future enhancement.

This change set has received cursory testing, and no doubt a number of
problems remain.  Additionally, there are several unfinished aspects
to the change.  But this version works well enough to run Edwin.

Detailed changes
----------------

The term "line translation" is everywhere replaced with "line ending".
A line ending is now specified by a symbol, such as 'crlf or 'lf;
previously it was a string.  I/O files now support a single line
ending for both input and output sides; previously there were two
independent line translations.

The I/O buffers have been completely redesigned.  They now operate in
three stages: one stage does byte-stream I/O, the second manages
coding (e.g. UTF-8), and the third manages line endings.  Only bytes
are buffered.  As a consequence, READ-CHAR and WRITE-CHAR will now
handle any Unicode character, provided the port's coding is set to an
appropriate value.

The READ-SUBSTRING port operation can now assume that its START
argument is strictly less than its END argument.  Likewise for the new
operations READ-WIDE-SUBSTRING and READ-EXTERNAL-SUBSTRING.

The WRITE-SUBSTRING port operation now returns either #F or a
non-negative integer.  It can also now assume that its START argument
is strictly less than its END argument.  Both of these properties are
true for the new WRITE-WIDE-SUBSTRING and WRITE-EXTERNAL-SUBSTRING.

The WRITE-CHAR port operation now returns either #F, 0, or 1, as if it
was a call to WRITE-SUBSTRING with a one-char string.

The CHAR-READY? port operation and the INPUT-PORT/CHAR-READY?
procedure no longer accept a second "interval" argument.  Handling of
the timeout interval is instead implemented directly in the
CHAR-READY? procedure.

Strings are always considered to be encoded using ISO-8859-1.

The parser-buffer datatype has been widened to handle all Unicode
characters.

All ports now support the FRESH-LINE operation, which is implemented
as a layer on top of the supplied operations.  Similarly, the
PEEK-CHAR, DISCARD-CHAR, and new UNREAD-CHAR operations are
implemented for all ports.

End-of-file objects now have an associated port.

RUN-SHELL-COMMAND and RUN-SYNCHRONOUS-SUBPROCESS now accept a keyword
argument LINE-ENDING, which replaces the old options
INPUT-LINE-TRANSLATION and OUTPUT-LINE-TRANSLATION.

Transcript support has been moved into the core port abstraction.
Consequently, it is no longer necessary to encapsulate a port in order
to get transcript support.  Encapsulated ports have been eliminated,
as this was their only use.

The procedures OPEN-TCP-STREAM-SOCKET, OPEN-UNIX-STREAM-SOCKET,
SUBPROCESS-I/O-PORT, and TCP-SERVER-CONNECTION-ACCEPT have changed
their argument structure.  All arguments dealing with buffer size and
line translation have been eliminated.  In the new implementation, the
buffer size is fixed, and handling of line endings is changed by
calling PORT/SET-LINE-ENDING.

The following variables have been eliminated:

CHANNEL-WRITE-CHAR-BLOCK
CHANNEL-WRITE-STRING-BLOCK
ENCAPSULATED-PORT/PORT
ENCAPSULATED-PORT/STATE
ENCAPSULATED-PORT?
GUARANTEE-ENCAPSULATED-PORT
INPUT-PORT/CHANNEL
INPUT-PORT/COPY
INPUT-PORT/CUSTOM-OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION-NAMES
INPUT-PORT/STATE
MAKE-ENCAPSULATED-PORT
MAKE-GENERIC-INPUT-PORT
MAKE-GENERIC-OUTPUT-PORT
MAKE-I/O-PORT
MAKE-INPUT-PORT
MAKE-OUTPUT-PORT
MATCH-UTF8-CHAR-IN-ALPHABET
OUTPUT-PORT/CHANNEL
OUTPUT-PORT/COPY
OUTPUT-PORT/CUSTOM-OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION-NAMES
OUTPUT-PORT/STATE
PATHNAME-END-OF-LINE-STRING
PATHNAME-NEWLINE-TRANSLATION
SET-ENCAPSULATED-PORT/STATE!
SET-INPUT-PORT/STATE!
SET-OUTPUT-PORT/STATE!

The following port operations have been eliminated:

BUFFERED-INPUT-CHARS
BUFFERED-OUTPUT-CHARS
CHARS-REMAINING
DISCARD-CHAR
DISCARD-CHARS
FRESH-LINE
INPUT-BUFFER-SIZE
OUTPUT-BUFFER-SIZE
PEEK-CHAR
READ-STRING
REST->STRING
SET-INPUT-BUFFER-SIZE
SET-OUTPUT-BUFFER-SIZE
\f
To do:

* locking
* column tracking
* convert parser from peek/discard to read/unread
* [?] integrate parser-buffer support (port.scm/input.scm)
* change buffer I/O ports to handle line endings as needed

Change arg structure of:
char-ready? port operation
input-port/char-ready?
make-generic-i/o-port
make-input-buffer
make-output-buffer
open-tcp-stream-socket
open-unix-stream-socket
subprocess-i/o-port
tcp-server-connection-accept

Renamed variables:
os/default-end-of-line-translation => default-line-ending
os/file-end-of-line-translation => file-line-ending

New variables:
channel-has-input?
channel-write-byte-block
condition-type:char-decoding-error
condition-type:char-encoding-error
condition-type:not-8-bit-char
console-i/o-port?
eof-object-port
error:char-decoding
error:char-encoding
error:not-8-bit-char
guarantee-wide-substring
input-port/read-external-substring
input-port/read-wide-substring
input-port/unread-char
match-parser-buffer-char-in-alphabet
match-parser-buffer-char-in-alphabet-no-advance
match-parser-buffer-char-not-in-alphabet
match-parser-buffer-char-not-in-alphabet-no-advance
match-parser-buffer-char-not-in-set
match-parser-buffer-char-not-in-set-no-advance
output-port/write-external-substring
output-port/write-wide-substring
port/coding
port/line-ending
port/set-coding
port/set-line-ending
port=?
set-channel-port!
unread-char
wide-string->parser-buffer
wide-substring
wide-substring->parser-buffer

New port operations:
coding
line-ending
read-external-substring
read-wide-substring
set-coding
set-line-ending
write-external-substring
write-wide-substring

Fix typo.

Fix typos.

Fix CLOSE-ENOUGH?.

Don't set super/hyper bucky bits based on modifier keys.

Don't specially handle control/meta-modified alphabetic keys; this
appears to be a broken optimization from long ago.  Thanks to Joe
Marshall for figuring it out.

Update CVS access information.

Implement support for associating input-port "position" with each
pointer object in the output of the parser.  This is useful for
mapping s-expressions back to positions in the source code, for
example.  Also, rearrange the code a bit to make it clearer.

Rewrite the CHAR-READY? operation to use TEST-SELECT-DESCRIPTOR rather
than a non-blocking read.  The latter used five system calls, while
the former uses one to achieve the same effect.  Also, the
INPUT-BUFFER/READ-UNTIL-DELIMITER and
INPUT-BUFFER/DISCARD-UNTIL-DELIMITER procedures were eliminated.

Eliminate the READ-STRING and DISCARD-CHARS operations.

Deal gracefully with EOF in READ-FINISH operation.

Use getpt() if available.

Combine TABLE and DB parameters.

Simplify table-lookup mechanism.

Add "autom4te.cache" to cleanup.

Add ssp.

Add ssp.

Fix quoting.

Eliminate obsolete references to INPUT-PORT/OPERATION and
OUTPUT-PORT/OPERATION.

Bump component version to reflect changes since last release.

Eliminate use of obsolete OUTPUT-PORT/OPERATION.

Eliminate use of obsolete INPUT-PORT/OPERATION.

Provide BASE-PORT to parser.

Fix handling of quote within strings.

Fix syntax definitions to reflect what the parser does, and simplify
them for clarity.

Quote some more prefixed atom delimiters.

Now that comma is an atom delimiter, it's necessary to quote it in
prefixed character constants.

Pass the shared objects database as an argument to all the handlers,
rather than using a dynamically-bound variable.  Pass an additional
argument to indicate when close-paren and close-bracket are allowed.
Fix long-standing bug in handling of unmatched close parens at top
level: the port comparison was never true because of encapsulation.

Fix some minor bugs.  Considerably simplify parsing of characters.

Compensate for a change to the definition of CHAR-SET/ATOM-DELIMITERS.

Add name for non-blocking space.

Initial draft of new parser.  Needs more testing, and at least one
feature is missing.

Implement %STRING->SYMBOL for to eliminate unnecessary copying in
parser.

Fix incorrect package references for files loaded at the very
beginning of the boot.

Eliminate INPUT-BUFFER/DISCARD-CHAR, which couldn't be used with
non-blocking input ports because there was no way to tell whether the
char was discarded.  Instead, use INPUT-BUFFER/READ-CHAR in its place,
which is only slightly slower and does provide this indication.

Fix problem: some uses of terminated-region-matcher must behave as
they did prior to revision 1.51.

Implement REVERSE* and REVERSE*!, like REVERSE and REVERSE! but a
non-null tail element can be specified.

Fix bug: RANDOM-BYTE-VECTOR has to supply a default state object if
none is given.

Fix thinko in previous change.

Eliminate strict-aliasing warning that could potentially cause trouble
when compiled with newer GCC.

Fix compilation error caused by change to "obstack.h".

Update copyright dates.

Eliminate some compiler warnings.

Implement SRFI 27, except for RANDOM-SOURCE-PSEUDO-RANDOMIZE!.  While
I agree that this could be useful, it effectively mandates a
particular PRNG, and I don't want to be forced to use it.

Use FILE-READABLE? instead of FILE-EXISTS? when testing for
"/dev/urandom".

Rewrite the code that converts the output of the RNG to usable
numbers.  The old methods didn't work; instead we now use the
rejection method, which is the only known good method.

Update email addresses from ai->csail.

Fix typo.

Repackage using standard packaging tools.

Integrate SSP/XDOC into system.

Import files from other places.