Eliminate now-unused helper procedures.

Change mime-type parsing to use parser language; export the relevant
matchers and parsers.

Export CHAR-SET:MIME-TOKEN.

Export STRING-IS-MIME-TOKEN? and STRING-IS-MIME-TYPE?, and add
substring args to them.

Add HTTP line ending.

Provide better error for invalid match index in RE-MATCH-EXTRACT.

Fix CALL-WITH-TRUNCATED-OUTPUT-STRING: return type plain wrong.

Fix stupid typo in CALL-WITH-TRUNCATED-OUTPUT-PORT.

Rename 'bytes' I/O to 'octets'.

Eliminate port operations {READ,WRITE}-{WIDE,EXTERNAL}-SUBSTRING by
pushing the functionality into the {READ,WRITE}-SUBSTRING operations.

Fix input transcription problem that was introduced in revision 1.55.

Eliminate explicit operations on wide and external strings (part 1):
remove INPUT-PORT/READ-{WIDE,EXTERNAL}-SUBSTRING! and
OUTPUT-PORT/WRITE-{WIDE,EXTERNAL}-SUBSTRING.  (Part 2 will push this
multiplexing down into the port operations themselves.)

Broaden definitions of XSTRING?, XSTRING-LENGTH, XSTRING-REF, and
XSTRING-SET! to also handle wide strings.  Other xstring operations
aren't updated by this change, but will be soon.

Rewrite I/O string implementation to eliminate coding on strings --
input from a string is just the characters in the string.  The old
string I/O is renamed to refer to byte vectors, and a collection of
convenience procedurs that use byte-vector I/O to do UTF-xx coding.
Additionally, rewrite unicode support to use these I/O ports to do
format conversions.

Eliminate reference to PORT/UNREAD by implementing UNREAD-CHAR
operation.

Tighten up handling of UNREAD-CHAR: a READ-CHAR followed by any other
operation on the same port can prevent UNREAD-CHAR from working.

Eliminate cold-load call to SYMBOL->STRING.

Force errors for coding operations when the given port doesn't support
them.

Change terminology slight to emphasize that sources manipulate bytes
rather than characters.

Change handling of PEEK-CHAR and UNREAD-CHAR so that it's done in the
generic I/O port operations.  This is easy to handle by simple hacking
of the byte-buffer indexes, and provides better semantics when the
port coding is changed on the fly.

This breaks transcripting, which must also be migrated to the generic
operations.

Add PEEK-CHAR and UNREAD-CHAR operations to ports that don't inherit
the generic operations.

Fix typo: ASCII -> US-ASCII.  Eliminate unused loop binding.

Add a few char sets used in many RFCs.

Update (EDWIN IMAIL FRONT-END) package to reflect removal of Edwin
variable IMAIL-PASS-PHRASE-RETENTION-TIME.

Remove now unused Edwin variable IMAIL-PASS-PHRASE-RETENTION-TIME.
This has been subsumed by PASS-PHRASE-RETENTION-TIME in Edwin proper
since the passphrase cache was moved there.

Eliminate problem where RMAIL and IMAIL are both trying to insert
internal headers at the beginning of the message, and then assuming
their own headers are first.  IMAIL now strips out all of its internal
headers when a message is read, regardless of their position, and
appends new ones to the end of the headers block when the message is
written.

Check for end of input from server in SMTP-READ-LINE, and deliver a
sensible error message in that case.

When attaching MIME info records to the buffer, respect nested MIME
entities so that for each point in the buffer only the most specific
MIME entity is attached.  It would be nice if there were a variant of
REGION-PUT! that layered text properties `under' existing ones, but
since there isn't, we make do by scanning the text for the property
changes and associating records for parents wherever their children
had not been attached.

Use the name LIAR/C to find the subsystem's version, not just LIAR.

Don't inline sin, cos, or tan: Intel instruction has limit on operand.
Comment out and document disabled inlining rules.  Remove obsolete
alternative instruction sequences.

Eliminate use of kinit/aklog so this script can be run outside of
cron.

Use BODY.PEEK[...] rather than BODY[...] when fetching body parts to
fill folders' caches, to avoid effects on \Seen flags.

Fix typo: the word `transact' has two `a's in it.  Remarkably, I
managed to mistype it in both the definition and use of TRANSCT-SMTP,
which must be why no one noticed.

Don't cache messages' envelopes in folder outlines after all.  None of
IMAIL uses the envelopes (why not?), and they tickle a problem with a
certain (buggy) IMAP server.

Elaborate upon an important detail of the comment above
CACHE-FOLDER-CONTENTS concerning its relation to
PRELOAD-FOLDER-OUTLINES.

Enhance preloading of folder outlines for IMAP folders, and implement
caching of entire folders' contents.

PRELOAD-FOLDER-OUTLINES on IMAP folders will now be much cleverer
(read: not stupid) about what items to fetch for what messages, so that
we fetch only what we need from each message.  This means that summary
buffer generation will now spend much less time (i.e. as much time as
it did six months ago) fetching message items.

New generic procedure CACHE-FOLDER-CONTENTS works similarly to
PRELOAD-FOLDER-OUTLINES, but also fetches requested body parts of
messages.

New Edwin command IMAIL-CACHE uses CACHE-FOLDER-CONTENTS to fill the
cache of the selected folder.  The front end's generic procedure
WALK-MIME-MESSAGE-PART is now a little more general, so that it can be
used to work together with with CACHE-FOLDER-CONTENTS.

Fix typo in READ-QUOTED-TO-PORT: READ-CHAR-NO-EOF wants an input port,
not a character.

Allow service numbers in news server proxy entries.

Implement mail-yank-prefix (closes Bug#22946).

Add workaround for AppArmor rule that blocks use of low memory
addresses.  This is causing trouble on Ubuntu 8.04.

Change mode in BIND-MODE only if the port is still open.

Handle NaN objects specially when comparing them against rational
numbers.  We should probably do something similar for infinities.

Eliminate special cases for flonums in generic predicates.  These were
doing the wrong thing for NaNs.

Reword missing-support error message to clarify its meaning.

Eliminate type-size errors and warnings; some NO_CHANNEL and
NO_PROCESS were long types, while the corresponding Tchannel and
Tprocess were int types.  Now all are int types.

Can't use UCODE-PRIMITIVE in this file; it breaks the initial build.

Prioritize .so files over .bin files -- we were loading .bin files
when .so files were available.  (Thanks to Don Allen for catching
this.)

Unsyntax conditionals with the primitive NOT procedure, not the global
binding of NOT.

Regenerate tables with proper 0x prefix.

Doh... Forgot to add missing 0x prefix to hex constants.

Eliminate now-unused exports.

When calling %MAYBE-TOGGLE-THREAD-TIMER from WAIT-FOR-IO, disregard
the value of TIMER-INTERVAL, since we are waiting only until I/O or
the next timer event.

Export MHASH-HMAC-UPDATE from (RUNTIME CRYPTO).

Iron out two remaining little bugs in the recent flurry of changes
surrounding errors during compiled invocation setup from primitives.

Fix errors in output for rewriting example.

Undo previous change that removed primitive apply optimizations.  (It
turns out that my analysis was incomplete and further changes would
have been required.)  Fix the problem with the apply hacks by
introducing a new exception code PRIM_APPLY_ERROR, which provides an
alternate path for signaling an error to the interpreter, _without_
backing out of the primitive (since we've already made all the
necessary changes to the stack).

Fix various places where variables defined with DEFINE-PRIMITIVES were
assumed have primitive-procedure values.

On Taylor's suggestion, change DEFINE-PRIMITIVES so that it generates
compound procedures rather than just binding the variables to the
primitive-procedure objects.  This allows us to drop the new macros
needed by fixart, eliminating the need to patch older compilers to
compile this code.

Don't insert top-level bindings of procedures into code, assuming that
they are primitives.  Use explicit references to primitives.

Fix a few bad instances of (ACCESS ...).

Don't write (ACCESS <foo> ()).

Add SYSTEM-GLOBAL-ENVIRONMENT to global constants; this will suppress
warnings about (ACCESS <foo> SYSTEM-GLOBAL-ENVIRONMENT).

Fix fatal error: FASDUMP wasn't cleaning up correctly when signalling
an error.

Add an error check to MAKE-COMBINATION for an operator that's a
non-primitive procedure.  This is the most likely screw case from the
recent change in the handling of primitive integrations.

Rewrite some more variable references as explicit primitive constants.
This includes one instance, in MAKE-MACRO-REFERENCE-TRAP-EXPRESSION,
that was causing a fatal error.

Redo the previous change: it was causing VERY BAD things to happen.
This one should be considerably safer.

Eliminate three special cases (compiled_with_interrupt_mask,
compiled_with_stack_marker, and apply_compiled_from_primitive) that
were adding hairy edge cases to gain a small amount of efficiency.

Fix bug: setup_compiled_invocation_from_primitive wasn't calling
PRIMITIVE_ABORT when it should have been.

Fix bug: setup_compiled_invocation_from_primitive wasn't calling
PRIMITIVE_ABORT when it should have been.

Fix bug in last commit.  %MESSAGE-ORDER-KEY yields a pair of the key
and index already, so MESSAGE-ORDER-KEY doesn't need to add the index.

One more stab at it: turns out that what I thought APPLY wanted to do
is actually what WITH-INTERRUPT-MASK and WITH-STACK-MARKER also want
to do, instead of aborting the primitive.  So we can, after all, use
`setup_compiled_invocation_from_primitive' in
`apply_compiled_from_primitive'.

Fix think-o in previous commit -- wetware pattern matcher failed in
`apply_compiled_from_primitive', which obviously can't use the new
`setup_compiled_invocation_from_primitive' because the latter does a
primitive abort if an error happens, whereas APPLY just wants to
return.

Meter the progress of summary buffer generation.

Cache the keys by which messages are ordered in a hash table, so that
we need not repeatedly fetch and parse header fields and such for the
same messages.  (The cache may be optionally disabled by passing a
switch to MAKE-FOLDER-ORDER if it is concluded superfluous.)

Implement incremental processing of IMAP responses, so that long lists
of large responses, such as all the header fields in a large folder,
will not be queued up to exhaust the heap space.  Exploit this when
preloading folder outlines, and don't fetch the header fields when
only the size is needed.  (Preloading folder outlines no longer even
fetches the size -- but to do this right requires a lot more work and
would probably make preloading the outlines slower anyway, and I can
live with slightly more network-intensive summary buffer generation
for folders never before summarized.)  Store messages' header fields
and envelopes only weakly in memory to conserve space.

Simplify code to invoke compiled procedures from primitives.  Fix bug
in APPLY that would cause the stack to be munged when errors or
interrupts occur during the invocation setup.

Actually do avoid the race condition.

Fix bug: it's necessary to close the I/O channels of a subprocess when
it has finished running.  Otherwise we can end up blocked on one of
those channels, with no way to unblock.

Avoid a race condition with the GC daemon in LOOKUP-UNCOMPRESSED-FILE.

Implement SMTP AUTH LOGIN and AUTH PLAIN extensions for authentication
when sending mail by SMTP.  New Edwin variable MAIL-AUTHENTICATION
controls whether to authenticate; set it to #T to enable authentication
by default.  New Edwin variable SMTP-USER-NAME can be set to specify a
user name.

Still to do:  CRAM-MD5 (shouldn't be hard, but I don't need it now),
and automatic detection of necessity of authentication.  Is there an
SMTP reply code to tell us that we must authenticate?

Move support for temporarily stored pass-phrases into Edwin from
IMAIL's front end.

Change lots of global primitives to be defined as compound procedures.
The compiler will still open-code them appropriately when the appear
in the operator position.  However, this change means that
non-operator references to these primitives avoid passing a primitive
object around, which improves performance when the object is
eventually called.

Add LAMBDA-TAG:UNNAMED, needed for cold load.

Add FIXNUM? to list of primitives.

Change handling of global primitives; they are now integrated only
when they appear in operator position.

Make SAVE-RESOURCE on file folders gracefully handle failure to write
the file.  Previously killing an IMAIL file folder buffer for a
read-only file would create an *error* buffer and fail to kill the
IMAIL buffer!

(Perhaps it would be better to add a new value to FOLDER-SYNC-STATUS,
to indicate that the persistant storage is immutable.  But putting an
error handler here is useful anyway, because the state of the world
may change between the call to FOLDER-SYNC-STATUS and the actual write
to the disk.)

Conditionally defined OS/2 packages.

When initializing packages, ignore missing packages.

Give FIND-PACKAGE an optional argument for controlling error behavior.

Now that linking works, change WRITE-NOTIFICATION-LINE to be an alias
for WITH-NOTIFICATION, as originally planned.

Simpler fix for variable-linking problem: clobber the source trap with
the target cache, so that both traps share the same cache.

Fix bug: a relatively rare circumstance was causing linked variables
to become unlinked.  Specifically:

    1. Load compiled code that creates a cache to variable A.
    2. Link variable B to variable C.
    3. Link variable B to variable A.

After step (3), variable C was no longer linked to variable B,
although B and A were still linked.  The problem is that step (3)
overwrites the cache in B with the cache in A, but C is unchanged.

This has been fixed by leaving a forwarding link in the "old" cache
and snapping the link on reference.  Any outstanding copies of the
"old" cache, such as that in C, are updated to point to the "new"
cache the next time they're referenced.

Make sure there's only one instance of a name in each package.

Work around bug in variable linking mechanism.

Eliminate unused variable.

Doh.

Fix typo.

Fix some bugs in the previous change.

Change WITH-NOTIFICATION so that the port it passes to the MESSAGE is
smart about newlines and writes the prefix correctly.  Also, make the
THUNK optional, and consequently WRITE-NOTIFICATION-LINE is an alias
for WITH-NOTIFICATION.

Eliminate cross-file dependency on gstate structure.  Generic I/O port
now provides abstraction for managing additional state elements.

Export GUARANTEE-THUNK.