Use UTF-16 surrogate support.

Export procedures for managing UTF-16 surrogate pairs.

Fix fencepost error in UNICODE-CODE-POINT?.

Revert previous change to close I/O ports of subprocesses when they
exit.

Use MAKE-INITIALIZED-MAIL-BUFFER rather than MAKE-MAIL-BUFFER.
Initialization is separate from selection.

New procedure MAKE-INITIALIZED-MAIL-BUFFER creates a mail buffer and
initializes it with a user-supplied initialization procedure, after it
is created or after confirmation to discard the contents of any
existing mail buffer.

Split COMPUTE-MIME-MESSAGE-OUTLINE's method on <MIME-BODY> into one on
<MIME-BODY> and one on <MIME-BODY-ONE-PART>, so that the method on the
more general <MIME-BODY> will not accidentally call procedures
applicable only to <MIME-BODY-ONE-PART> instances.

Rearrange MIME part parsing entry points so that MIME:PARSE-PART can
be used to parse parts with and without headers, rather than embedding
that logic in MIME:PARSE-PARTS.

When making new cache entries, write them to a file in a temporary
directory first, and move the file to its permanent location only
after it has been fully written.  This prevents C-g from leaving
half-written cache entries.  (File folders should perhaps do this too,
but it is not clear where the temporary directory should be located,
and using /tmp or /var/tmp is not appropriate, since those directories
may reside on another file system, rendering rename(2) useless.)

Remove or ignore the now unused variables since the last commit.

Remove vestige of progress metering in CACHE-FOLDER-CONTENTS.  The
procedures that fetch the body parts already indicate their progress
with the message indices, and would overwrite a meter of the cache's
progress anyway except for fractions of seconds between messages.

Retain names with addresses when replying to mail.

Use APPEND-MAP, not MAP, over the list of internal header fields in
HEADER-FIELDS->MESSAGE-FLAGS: BURST-STRING returns a list of flags
each time, the collection of which we want to concatenate before
deleting duplicates.

Preload folder outlines before popping up a summary of messages to
expunge.

Remember what IMAP message keywords have been cached on disk, and
avoid stat(2)ing the cache files if we already expect them to exist.
This dramatically expedites repeated scanning of the message cache
(for preloading folder outlines when sorting or summarizing).

In GUARANTEE-IMAP-FOLDER-OPEN, send a SELECT command if the folder's
messages are not synchronized.  This fixes

   (with-open-resource <url> folder-length)
   ;Value: 0

where <url> is an IMAP URL for a folder that was recently open.

Change IMAIL-READ-FLAG to use visible defaults, rather than inserted
defaults, and to specify the history index, so that the prompting
facility will select a default at all.

Closing string and octet ports is a no-op, so don't bother closing in
CALL-WITH-INPUT-STRING and CALL-WITH-INPUT-OCTETS.

Eliminate now-unused helper procedures.

Change mime-type parsing to use parser language; export the relevant
matchers and parsers.

Export CHAR-SET:MIME-TOKEN.

Export STRING-IS-MIME-TOKEN? and STRING-IS-MIME-TYPE?, and add
substring args to them.

Add HTTP line ending.

Provide better error for invalid match index in RE-MATCH-EXTRACT.

Fix CALL-WITH-TRUNCATED-OUTPUT-STRING: return type plain wrong.

Fix stupid typo in CALL-WITH-TRUNCATED-OUTPUT-PORT.

Rename 'bytes' I/O to 'octets'.

Eliminate port operations {READ,WRITE}-{WIDE,EXTERNAL}-SUBSTRING by
pushing the functionality into the {READ,WRITE}-SUBSTRING operations.

Fix input transcription problem that was introduced in revision 1.55.

Eliminate explicit operations on wide and external strings (part 1):
remove INPUT-PORT/READ-{WIDE,EXTERNAL}-SUBSTRING! and
OUTPUT-PORT/WRITE-{WIDE,EXTERNAL}-SUBSTRING.  (Part 2 will push this
multiplexing down into the port operations themselves.)

Broaden definitions of XSTRING?, XSTRING-LENGTH, XSTRING-REF, and
XSTRING-SET! to also handle wide strings.  Other xstring operations
aren't updated by this change, but will be soon.

Rewrite I/O string implementation to eliminate coding on strings --
input from a string is just the characters in the string.  The old
string I/O is renamed to refer to byte vectors, and a collection of
convenience procedurs that use byte-vector I/O to do UTF-xx coding.
Additionally, rewrite unicode support to use these I/O ports to do
format conversions.

Eliminate reference to PORT/UNREAD by implementing UNREAD-CHAR
operation.

Tighten up handling of UNREAD-CHAR: a READ-CHAR followed by any other
operation on the same port can prevent UNREAD-CHAR from working.

Eliminate cold-load call to SYMBOL->STRING.

Force errors for coding operations when the given port doesn't support
them.

Change terminology slight to emphasize that sources manipulate bytes
rather than characters.

Change handling of PEEK-CHAR and UNREAD-CHAR so that it's done in the
generic I/O port operations.  This is easy to handle by simple hacking
of the byte-buffer indexes, and provides better semantics when the
port coding is changed on the fly.

This breaks transcripting, which must also be migrated to the generic
operations.

Add PEEK-CHAR and UNREAD-CHAR operations to ports that don't inherit
the generic operations.

Fix typo: ASCII -> US-ASCII.  Eliminate unused loop binding.

Add a few char sets used in many RFCs.

Update (EDWIN IMAIL FRONT-END) package to reflect removal of Edwin
variable IMAIL-PASS-PHRASE-RETENTION-TIME.

Remove now unused Edwin variable IMAIL-PASS-PHRASE-RETENTION-TIME.
This has been subsumed by PASS-PHRASE-RETENTION-TIME in Edwin proper
since the passphrase cache was moved there.

Eliminate problem where RMAIL and IMAIL are both trying to insert
internal headers at the beginning of the message, and then assuming
their own headers are first.  IMAIL now strips out all of its internal
headers when a message is read, regardless of their position, and
appends new ones to the end of the headers block when the message is
written.

Check for end of input from server in SMTP-READ-LINE, and deliver a
sensible error message in that case.

When attaching MIME info records to the buffer, respect nested MIME
entities so that for each point in the buffer only the most specific
MIME entity is attached.  It would be nice if there were a variant of
REGION-PUT! that layered text properties `under' existing ones, but
since there isn't, we make do by scanning the text for the property
changes and associating records for parents wherever their children
had not been attached.

Use the name LIAR/C to find the subsystem's version, not just LIAR.

Don't inline sin, cos, or tan: Intel instruction has limit on operand.
Comment out and document disabled inlining rules.  Remove obsolete
alternative instruction sequences.

Eliminate use of kinit/aklog so this script can be run outside of
cron.

Use BODY.PEEK[...] rather than BODY[...] when fetching body parts to
fill folders' caches, to avoid effects on \Seen flags.

Fix typo: the word `transact' has two `a's in it.  Remarkably, I
managed to mistype it in both the definition and use of TRANSCT-SMTP,
which must be why no one noticed.

Don't cache messages' envelopes in folder outlines after all.  None of
IMAIL uses the envelopes (why not?), and they tickle a problem with a
certain (buggy) IMAP server.

Elaborate upon an important detail of the comment above
CACHE-FOLDER-CONTENTS concerning its relation to
PRELOAD-FOLDER-OUTLINES.

Enhance preloading of folder outlines for IMAP folders, and implement
caching of entire folders' contents.

PRELOAD-FOLDER-OUTLINES on IMAP folders will now be much cleverer
(read: not stupid) about what items to fetch for what messages, so that
we fetch only what we need from each message.  This means that summary
buffer generation will now spend much less time (i.e. as much time as
it did six months ago) fetching message items.

New generic procedure CACHE-FOLDER-CONTENTS works similarly to
PRELOAD-FOLDER-OUTLINES, but also fetches requested body parts of
messages.

New Edwin command IMAIL-CACHE uses CACHE-FOLDER-CONTENTS to fill the
cache of the selected folder.  The front end's generic procedure
WALK-MIME-MESSAGE-PART is now a little more general, so that it can be
used to work together with with CACHE-FOLDER-CONTENTS.

Fix typo in READ-QUOTED-TO-PORT: READ-CHAR-NO-EOF wants an input port,
not a character.

Allow service numbers in news server proxy entries.

Implement mail-yank-prefix (closes Bug#22946).

Add workaround for AppArmor rule that blocks use of low memory
addresses.  This is causing trouble on Ubuntu 8.04.

Change mode in BIND-MODE only if the port is still open.

Handle NaN objects specially when comparing them against rational
numbers.  We should probably do something similar for infinities.

Eliminate special cases for flonums in generic predicates.  These were
doing the wrong thing for NaNs.

Reword missing-support error message to clarify its meaning.

Eliminate type-size errors and warnings; some NO_CHANNEL and
NO_PROCESS were long types, while the corresponding Tchannel and
Tprocess were int types.  Now all are int types.

Can't use UCODE-PRIMITIVE in this file; it breaks the initial build.

Prioritize .so files over .bin files -- we were loading .bin files
when .so files were available.  (Thanks to Don Allen for catching
this.)

Unsyntax conditionals with the primitive NOT procedure, not the global
binding of NOT.

Regenerate tables with proper 0x prefix.

Doh... Forgot to add missing 0x prefix to hex constants.

Eliminate now-unused exports.

When calling %MAYBE-TOGGLE-THREAD-TIMER from WAIT-FOR-IO, disregard
the value of TIMER-INTERVAL, since we are waiting only until I/O or
the next timer event.

Export MHASH-HMAC-UPDATE from (RUNTIME CRYPTO).

Iron out two remaining little bugs in the recent flurry of changes
surrounding errors during compiled invocation setup from primitives.

Fix errors in output for rewriting example.

Undo previous change that removed primitive apply optimizations.  (It
turns out that my analysis was incomplete and further changes would
have been required.)  Fix the problem with the apply hacks by
introducing a new exception code PRIM_APPLY_ERROR, which provides an
alternate path for signaling an error to the interpreter, _without_
backing out of the primitive (since we've already made all the
necessary changes to the stack).

Fix various places where variables defined with DEFINE-PRIMITIVES were
assumed have primitive-procedure values.

On Taylor's suggestion, change DEFINE-PRIMITIVES so that it generates
compound procedures rather than just binding the variables to the
primitive-procedure objects.  This allows us to drop the new macros
needed by fixart, eliminating the need to patch older compilers to
compile this code.

Don't insert top-level bindings of procedures into code, assuming that
they are primitives.  Use explicit references to primitives.

Fix a few bad instances of (ACCESS ...).

Don't write (ACCESS <foo> ()).

Add SYSTEM-GLOBAL-ENVIRONMENT to global constants; this will suppress
warnings about (ACCESS <foo> SYSTEM-GLOBAL-ENVIRONMENT).

Fix fatal error: FASDUMP wasn't cleaning up correctly when signalling
an error.

Add an error check to MAKE-COMBINATION for an operator that's a
non-primitive procedure.  This is the most likely screw case from the
recent change in the handling of primitive integrations.

Rewrite some more variable references as explicit primitive constants.
This includes one instance, in MAKE-MACRO-REFERENCE-TRAP-EXPRESSION,
that was causing a fatal error.

Redo the previous change: it was causing VERY BAD things to happen.
This one should be considerably safer.

Eliminate three special cases (compiled_with_interrupt_mask,
compiled_with_stack_marker, and apply_compiled_from_primitive) that
were adding hairy edge cases to gain a small amount of efficiency.

Fix bug: setup_compiled_invocation_from_primitive wasn't calling
PRIMITIVE_ABORT when it should have been.

Fix bug: setup_compiled_invocation_from_primitive wasn't calling
PRIMITIVE_ABORT when it should have been.

Fix bug in last commit.  %MESSAGE-ORDER-KEY yields a pair of the key
and index already, so MESSAGE-ORDER-KEY doesn't need to add the index.

One more stab at it: turns out that what I thought APPLY wanted to do
is actually what WITH-INTERRUPT-MASK and WITH-STACK-MARKER also want
to do, instead of aborting the primitive.  So we can, after all, use
`setup_compiled_invocation_from_primitive' in
`apply_compiled_from_primitive'.

Fix think-o in previous commit -- wetware pattern matcher failed in
`apply_compiled_from_primitive', which obviously can't use the new
`setup_compiled_invocation_from_primitive' because the latter does a
primitive abort if an error happens, whereas APPLY just wants to
return.

Meter the progress of summary buffer generation.

Cache the keys by which messages are ordered in a hash table, so that
we need not repeatedly fetch and parse header fields and such for the
same messages.  (The cache may be optionally disabled by passing a
switch to MAKE-FOLDER-ORDER if it is concluded superfluous.)

Implement incremental processing of IMAP responses, so that long lists
of large responses, such as all the header fields in a large folder,
will not be queued up to exhaust the heap space.  Exploit this when
preloading folder outlines, and don't fetch the header fields when
only the size is needed.  (Preloading folder outlines no longer even
fetches the size -- but to do this right requires a lot more work and
would probably make preloading the outlines slower anyway, and I can
live with slightly more network-intensive summary buffer generation
for folders never before summarized.)  Store messages' header fields
and envelopes only weakly in memory to conserve space.

Simplify code to invoke compiled procedures from primitives.  Fix bug
in APPLY that would cause the stack to be munged when errors or
interrupts occur during the invocation setup.

Actually do avoid the race condition.

Fix bug: it's necessary to close the I/O channels of a subprocess when
it has finished running.  Otherwise we can end up blocked on one of
those channels, with no way to unblock.

Avoid a race condition with the GC daemon in LOOKUP-UNCOMPRESSED-FILE.

Implement SMTP AUTH LOGIN and AUTH PLAIN extensions for authentication
when sending mail by SMTP.  New Edwin variable MAIL-AUTHENTICATION
controls whether to authenticate; set it to #T to enable authentication
by default.  New Edwin variable SMTP-USER-NAME can be set to specify a
user name.

Still to do:  CRAM-MD5 (shouldn't be hard, but I don't need it now),
and automatic detection of necessity of authentication.  Is there an
SMTP reply code to tell us that we must authenticate?

Move support for temporarily stored pass-phrases into Edwin from
IMAIL's front end.

Change lots of global primitives to be defined as compound procedures.
The compiler will still open-code them appropriately when the appear
in the operator position.  However, this change means that
non-operator references to these primitives avoid passing a primitive
object around, which improves performance when the object is
eventually called.

Add LAMBDA-TAG:UNNAMED, needed for cold load.