Fix thinko.

Use temporary file as intermediary for write/re-read test.  This tests
the character coding as well as the plain I/O.

Fix typo.

Implement support for character coding.

Implement operations to detect known codings and line endings of a
port.  Add support for US-ASCII, UTF-16, and UTF-32 codings.

Don't read more characters than are needed.  The XML character-coding
detection depends on this.

Export DISCARD-CHAR.

Export UNREAD-CHAR.

Canonicalize UTF-16 and UTF-32 names.

Clean up output a little.

When using XML line ending on I/O port, treat output side as TEXT.

Eliminate PARSE-XML-DOCUMENT.  Merge STRING->XML and SUBSTRING->XML.
Force input coding to UTF-8 (for now).  Force input line ending to
XML-1.0.

Some tweaks to handle changes in I/O subsystem.  Force UTF-8 coding on
output (for now).

Use STRING->PARSER-BUFFER rather than WIDE-STRING->PARSER-BUFFER,
since the former has replaced the latter.

Use wide string to test re-reading of document.

Eliminate SOURCE->PARSER-BUFFER.  Merge procedures
*STRING->PARSER-BUFFER into a single procedure.

Rewrite STRING->WIDE-STRING to make it more efficient.

Add support for UTF-32.

Fix problems with parsing of element content.

Use new arguments for OPEN-TCP-STREAM-SOCKET.

Fix some bugs in the parser buffer.

Fix typo.

Add kludge to define MATCH-UTF8-CHAR-IN-ALPHABET.

Add line-ending support.

Add NEWLINE line-ending.

Changes required by reimplementation of I/O subsystem.

Bump version to reflect major change.

The I/O subsystem has once again been redesigned.  The primary goal of
this large change is to integrate support for Unicode and character
coding directly into the I/O subsystem.  Secondary goals are to
improve I/O performance, to simplify the design, and to provide
flexibility for future enhancement.

This change set has received cursory testing, and no doubt a number of
problems remain.  Additionally, there are several unfinished aspects
to the change.  But this version works well enough to run Edwin.

Detailed changes
----------------

The term "line translation" is everywhere replaced with "line ending".
A line ending is now specified by a symbol, such as 'crlf or 'lf;
previously it was a string.  I/O files now support a single line
ending for both input and output sides; previously there were two
independent line translations.

The I/O buffers have been completely redesigned.  They now operate in
three stages: one stage does byte-stream I/O, the second manages
coding (e.g. UTF-8), and the third manages line endings.  Only bytes
are buffered.  As a consequence, READ-CHAR and WRITE-CHAR will now
handle any Unicode character, provided the port's coding is set to an
appropriate value.

The READ-SUBSTRING port operation can now assume that its START
argument is strictly less than its END argument.  Likewise for the new
operations READ-WIDE-SUBSTRING and READ-EXTERNAL-SUBSTRING.

The WRITE-SUBSTRING port operation now returns either #F or a
non-negative integer.  It can also now assume that its START argument
is strictly less than its END argument.  Both of these properties are
true for the new WRITE-WIDE-SUBSTRING and WRITE-EXTERNAL-SUBSTRING.

The WRITE-CHAR port operation now returns either #F, 0, or 1, as if it
was a call to WRITE-SUBSTRING with a one-char string.

The CHAR-READY? port operation and the INPUT-PORT/CHAR-READY?
procedure no longer accept a second "interval" argument.  Handling of
the timeout interval is instead implemented directly in the
CHAR-READY? procedure.

Strings are always considered to be encoded using ISO-8859-1.

The parser-buffer datatype has been widened to handle all Unicode
characters.

All ports now support the FRESH-LINE operation, which is implemented
as a layer on top of the supplied operations.  Similarly, the
PEEK-CHAR, DISCARD-CHAR, and new UNREAD-CHAR operations are
implemented for all ports.

End-of-file objects now have an associated port.

RUN-SHELL-COMMAND and RUN-SYNCHRONOUS-SUBPROCESS now accept a keyword
argument LINE-ENDING, which replaces the old options
INPUT-LINE-TRANSLATION and OUTPUT-LINE-TRANSLATION.

Transcript support has been moved into the core port abstraction.
Consequently, it is no longer necessary to encapsulate a port in order
to get transcript support.  Encapsulated ports have been eliminated,
as this was their only use.

The procedures OPEN-TCP-STREAM-SOCKET, OPEN-UNIX-STREAM-SOCKET,
SUBPROCESS-I/O-PORT, and TCP-SERVER-CONNECTION-ACCEPT have changed
their argument structure.  All arguments dealing with buffer size and
line translation have been eliminated.  In the new implementation, the
buffer size is fixed, and handling of line endings is changed by
calling PORT/SET-LINE-ENDING.

The following variables have been eliminated:

CHANNEL-WRITE-CHAR-BLOCK
CHANNEL-WRITE-STRING-BLOCK
ENCAPSULATED-PORT/PORT
ENCAPSULATED-PORT/STATE
ENCAPSULATED-PORT?
GUARANTEE-ENCAPSULATED-PORT
INPUT-PORT/CHANNEL
INPUT-PORT/COPY
INPUT-PORT/CUSTOM-OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION
INPUT-PORT/OPERATION-NAMES
INPUT-PORT/STATE
MAKE-ENCAPSULATED-PORT
MAKE-GENERIC-INPUT-PORT
MAKE-GENERIC-OUTPUT-PORT
MAKE-I/O-PORT
MAKE-INPUT-PORT
MAKE-OUTPUT-PORT
MATCH-UTF8-CHAR-IN-ALPHABET
OUTPUT-PORT/CHANNEL
OUTPUT-PORT/COPY
OUTPUT-PORT/CUSTOM-OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION
OUTPUT-PORT/OPERATION-NAMES
OUTPUT-PORT/STATE
PATHNAME-END-OF-LINE-STRING
PATHNAME-NEWLINE-TRANSLATION
SET-ENCAPSULATED-PORT/STATE!
SET-INPUT-PORT/STATE!
SET-OUTPUT-PORT/STATE!

The following port operations have been eliminated:

BUFFERED-INPUT-CHARS
BUFFERED-OUTPUT-CHARS
CHARS-REMAINING
DISCARD-CHAR
DISCARD-CHARS
FRESH-LINE
INPUT-BUFFER-SIZE
OUTPUT-BUFFER-SIZE
PEEK-CHAR
READ-STRING
REST->STRING
SET-INPUT-BUFFER-SIZE
SET-OUTPUT-BUFFER-SIZE
\f
To do:

* locking
* column tracking
* convert parser from peek/discard to read/unread
* [?] integrate parser-buffer support (port.scm/input.scm)
* change buffer I/O ports to handle line endings as needed

Change arg structure of:
char-ready? port operation
input-port/char-ready?
make-generic-i/o-port
make-input-buffer
make-output-buffer
open-tcp-stream-socket
open-unix-stream-socket
subprocess-i/o-port
tcp-server-connection-accept

Renamed variables:
os/default-end-of-line-translation => default-line-ending
os/file-end-of-line-translation => file-line-ending

New variables:
channel-has-input?
channel-write-byte-block
condition-type:char-decoding-error
condition-type:char-encoding-error
condition-type:not-8-bit-char
console-i/o-port?
eof-object-port
error:char-decoding
error:char-encoding
error:not-8-bit-char
guarantee-wide-substring
input-port/read-external-substring
input-port/read-wide-substring
input-port/unread-char
match-parser-buffer-char-in-alphabet
match-parser-buffer-char-in-alphabet-no-advance
match-parser-buffer-char-not-in-alphabet
match-parser-buffer-char-not-in-alphabet-no-advance
match-parser-buffer-char-not-in-set
match-parser-buffer-char-not-in-set-no-advance
output-port/write-external-substring
output-port/write-wide-substring
port/coding
port/line-ending
port/set-coding
port/set-line-ending
port=?
set-channel-port!
unread-char
wide-string->parser-buffer
wide-substring
wide-substring->parser-buffer

New port operations:
coding
line-ending
read-external-substring
read-wide-substring
set-coding
set-line-ending
write-external-substring
write-wide-substring

Fix typo.

Fix typos.

Fix CLOSE-ENOUGH?.

Don't set super/hyper bucky bits based on modifier keys.

Don't specially handle control/meta-modified alphabetic keys; this
appears to be a broken optimization from long ago.  Thanks to Joe
Marshall for figuring it out.

Update CVS access information.

Implement support for associating input-port "position" with each
pointer object in the output of the parser.  This is useful for
mapping s-expressions back to positions in the source code, for
example.  Also, rearrange the code a bit to make it clearer.

Rewrite the CHAR-READY? operation to use TEST-SELECT-DESCRIPTOR rather
than a non-blocking read.  The latter used five system calls, while
the former uses one to achieve the same effect.  Also, the
INPUT-BUFFER/READ-UNTIL-DELIMITER and
INPUT-BUFFER/DISCARD-UNTIL-DELIMITER procedures were eliminated.

Eliminate the READ-STRING and DISCARD-CHARS operations.

Deal gracefully with EOF in READ-FINISH operation.

Use getpt() if available.

Combine TABLE and DB parameters.

Simplify table-lookup mechanism.

Add "autom4te.cache" to cleanup.

Add ssp.

Add ssp.

Fix quoting.

Eliminate obsolete references to INPUT-PORT/OPERATION and
OUTPUT-PORT/OPERATION.

Bump component version to reflect changes since last release.

Eliminate use of obsolete OUTPUT-PORT/OPERATION.

Eliminate use of obsolete INPUT-PORT/OPERATION.

Provide BASE-PORT to parser.

Fix handling of quote within strings.

Fix syntax definitions to reflect what the parser does, and simplify
them for clarity.

Quote some more prefixed atom delimiters.

Now that comma is an atom delimiter, it's necessary to quote it in
prefixed character constants.

Pass the shared objects database as an argument to all the handlers,
rather than using a dynamically-bound variable.  Pass an additional
argument to indicate when close-paren and close-bracket are allowed.
Fix long-standing bug in handling of unmatched close parens at top
level: the port comparison was never true because of encapsulation.

Fix some minor bugs.  Considerably simplify parsing of characters.

Compensate for a change to the definition of CHAR-SET/ATOM-DELIMITERS.

Add name for non-blocking space.

Initial draft of new parser.  Needs more testing, and at least one
feature is missing.

Implement %STRING->SYMBOL for to eliminate unnecessary copying in
parser.

Fix incorrect package references for files loaded at the very
beginning of the boot.

Eliminate INPUT-BUFFER/DISCARD-CHAR, which couldn't be used with
non-blocking input ports because there was no way to tell whether the
char was discarded.  Instead, use INPUT-BUFFER/READ-CHAR in its place,
which is only slightly slower and does provide this indication.

Fix problem: some uses of terminated-region-matcher must behave as
they did prior to revision 1.51.

Implement REVERSE* and REVERSE*!, like REVERSE and REVERSE! but a
non-null tail element can be specified.

Fix bug: RANDOM-BYTE-VECTOR has to supply a default state object if
none is given.

Fix thinko in previous change.

Eliminate strict-aliasing warning that could potentially cause trouble
when compiled with newer GCC.

Fix compilation error caused by change to "obstack.h".

Update copyright dates.

Eliminate some compiler warnings.

Implement SRFI 27, except for RANDOM-SOURCE-PSEUDO-RANDOMIZE!.  While
I agree that this could be useful, it effectively mandates a
particular PRNG, and I don't want to be forced to use it.

Use FILE-READABLE? instead of FILE-EXISTS? when testing for
"/dev/urandom".

Rewrite the code that converts the output of the RNG to usable
numbers.  The old methods didn't work; instead we now use the
rejection method, which is the only known good method.

Update email addresses from ai->csail.

Fix typo.

Repackage using standard packaging tools.

Integrate SSP/XDOC into system.

Import files from other places.

Export a few more useful procedures.

Fix bug: when parsing bracketed content, signal an appropriate error
when the content contains an illegal character, rather than just
failing to match.

Fix broken behavior of RANDOM when given modulus that exceeds B.  The
old implementation just scaled a random element (uniformly distributed
integer between 0 and B-1 inclusive) into the given range; this
strategy works fine for a modulus <= B but breaks pretty badly for
larger B.

In addition, RANDOM now generates an error if the modulus is a real
number but neither an exact positive integer nor an inexact real.  The
old behavior in this case was arbitrary, not terribly useful, and
likely to be at odds with the user's expectations.

Here are some tests using the "ent" program that show the problem with
the old RANDOM implementation.

The first example is a 128MB file generated by repeatedly calling
(RANDOM (EXPT 2 64)), slicing each random number into bytes, and
writing the bytes to the file.  The result is appalling:

    Entropy = 7.500650 bits per byte.

    Optimum compression would reduce the size
    of this 134217728 byte file by 6 percent.

    Chi square distribution for 134217728 samples is 515675588.87, and
    randomly would exceed this value 0.01 percent of the times.

    Arithmetic mean value of data bytes is 111.9516 (127.5 = random).
    Monte Carlo value for Pi is 3.365650585 (error 7.13 percent).
    Serial correlation coefficient is -0.031868 (totally uncorrelated = 0.0).

In contrast, here is the result from a file of the same length
generated using (RANDOM 256).  This throws away 75% of each random
element, but shows the quality of the underlying generator:

    Entropy = 7.999999 bits per byte.

    Optimum compression would reduce the size
    of this 134217728 byte file by 0 percent.

    Chi square distribution for 134217728 samples is 235.11, and
    randomly would exceed this value 75.00 percent of the times.

    Arithmetic mean value of data bytes is 127.5060 (127.5 = random).
    Monte Carlo value for Pi is 3.141120183 (error 0.02 percent).
    Serial correlation coefficient is -0.000131 (totally uncorrelated = 0.0).

The new design uses enough random elements to guarantee a uniform
distribution, no matter what the size of the modulus, by iteratively
adding and scaling the elements.  This preserves the quality of the
underlying generator, as shown by this result:

    Entropy = 7.999999 bits per byte.

    Optimum compression would reduce the size
    of this 134217728 byte file by 0 percent.

    Chi square distribution for 134217728 samples is 263.59, and
    randomly would exceed this value 50.00 percent of the times.

    Arithmetic mean value of data bytes is 127.5114 (127.5 = random).
    Monte Carlo value for Pi is 3.141132700 (error 0.01 percent).
    Serial correlation coefficient is -0.000044 (totally uncorrelated = 0.0).

Fix bug: DOUBLE_TO_FIXNUM_P was using limits that assumed the
conversion used rounding; in fact, it uses truncation.

Eliminate optional time-zone argument to iso8601 parsers.

Several changes to ISO-8601 time:
  1. Allow space to separate date and time on input.
  2. Generate space as separator rather than T.
  3. Allow seconds to be omitted on input.

Implement PGSQL-CONN-OPEN?.

Update for changes to finalizer.

Allow a channel to be closed more than once.  This is the previous
behavior, and some callers expect to be able to do this.

Don't use pathname as prompt argument to command; instead coerce to
namestring so that command history can be understood.

Signal an error if ADD-TO-GC-FINALIZER! or REMOVE-FROM-GC-FINALIZER!
is passed a finalized object.  In REMOVE-ALL-FROM-GC-FINALIZER!,
finalize each object even if the object is already gone.

Simplify gc-finalizer interface to guarantee that it is used
correctly.

Remove references to %DELETE-DIB.

Rationalize treatment of gc-finalized data structures.

Make sure channel is appropriately marked when it is closed.

Change PGSQL-GET-VALUE to return #F if field is NULL.

Add missing dload_initialize_file().

Add condition types to identify postgresql errors.  Add
CALL-WITH-PGSQL-CONN.

Delete useless PGSQL-RESULT-STATUS-STRING.

Canonicalize strings in element content.

Canonicalize strings in element content.

Fix CPUID instruction test; old test only did 386 detection and
omitted 486 detection.