Add DISQUALIFY keyword.

Implement MATCH keyword: like QUOTE but generates a value.

Refactor MIME support,

- to make sense,
- to be more robust,
- to better reflect the terminology of the RFCs,
- to simplify code that uses MIME bodies,
- to move all generic MIME code into imail-mime.scm, and
- to fix a number of small bugs.

The documentation will need to be updated, since some user-visible
commands are now named with the word `body' rather than `entity'.

Undoubtedly, refactoring added many small bugs, too, still to be
weeded out.

Rebind forward/backward-paragraph to same commands as Emacs.

Rewrite of LIST-PARSER to be more general.  Now there are three
variants: OBJECT-PARSER, LIST-PARSER, and VECTOR-PARSER.  There are
corresponding OBJECT, LIST, and VECTOR keywords for switching between
the different modes.  And the optimizer is considerably smarter.

Implement kludges to incrementally expand and contract summary buffers
as messages are added to and expunged from the corresponding folders.

Back out earlier changes concerning a phantom race condition with
the GC daemon (of course the access to the uncompressed file list
locks the GC daemon out), and instead avoid storing entries in it
before the uncompressor has returned normally.  Also, handle file
errors in FASLOAD-LOADER, since they aren't all signalled as bad-
range-argument errors by the microcode.

Rename FILTER to QUALIFY.

Implement FILTER keyword in parser language.

Implement LIST->LIST-PARSER-VALS and MAP-LIST-PARSER-VALS.  Simplify
implementation of LIST-PARSER-VALS->LIST.

Implement LIST-PARSER-VALS-REF and LIST-PARSER-VALS-LENGTH.

Implement WRAP-LIST-PARSER.  Implement VALUES parser expression.

Add optional argument to control whether to authenticate using a
keytab (needed for cron access).

Implement LIST-PARSER macro.

Eliminate unused parameter to DIFF-BUFFER.

When parsing address lists, disregard all-whitespace entries.

When diffing with a buffer, ignore whether it is modified or not.  The
user may want to see how a file has changed on disk even if the buffer
in memory has not been touched.

Use the term `dynamic', not `ephemeral', for parts of a message that
are subject to change on the server and should not be cached on disk,
to match the RFC's terminology.

If, when resynchronizing the mapping between sequence numbers and
UIDs with the server, the folder's length has not changed and all
the UIDs match, don't signal an INCREASE-LENGTH event.

Tighten synchronization with the server:

- Record a somewhat finer approximation of the status of our
  synchronization with the server, which lets us be more careful
  about deleting caches for expunged messages: only if our mapping
  between sequence numbers to UIDs is synchronized with the server
  is it sensible to delete caches for expunged messages.

- If our length is desynchronized with the server when we update the
  folder's length because of an EXISTS response, and if all the UIDs
  that we know about are synchronized with the server, then no
  messages have been expunged from the folder, and its length has
  only increased.  In this case, signal anINCREASE-LENGTH event,
  rather than a SET-LENGTH event.  This avoids regenerating summary
  buffers when reconnecting if no messages have been expunged by
  another client.

New generic procedure MESSAGE-PERMANENT-FLAGS returns the flags that
remain permanently and are therefore useful to retain when appending
messages to other folders.  All %APPEND-MESSAGE methods now use this
rather than MESSAGE-FLAGS.  This will keep `recent' flags from being
stored in file folders as an artefact of the IMAP.

When computing from strings in summaries, avoid empty matches between
parentheses: `From: foo@mumble.bar ()'.

Implement new *parser forms ENCAPSULATE* and TRANSFORM* that call
their procedure with the values spread out as arguments.  TRANSFORM*
additionally expects the procedure to return multiple values.

Implement WRITE-MIME-TYPE.

Implement new mechanism to simplify initialization during cold load.

Implement new mechanism to simplify initialization during cold load.

Simplify previous change.

In expansion of VALUES, number the local variables to distinguish
them visibly.

Use an RFC 2822 header object, rather than a list of a symbol and a
string, per the new HTTP client.

In IOTA, multiply the index by the increment, rather than adding
adding the increment repeatedly.

Fix fencepost error in parsing of months.

Change EXPUNGE folder modification event so that it includes the
message object and its mapped index.  This is necessary to find
information about the message by identity, which will be needed by
future implementation of incremental updates to summary buffers.

In `imail-browser-view-container', if no resource is selected, prompt
the user for a URL, rather than signalling an error.  This allows the
IMAIL browser to be an entry point into IMAIL.

In `vc-version-diff', ask to save the file only if we are diffing
against the current revision.  If we are diffing two specified
revisions, there is no need to save changes in the buffer.

Fix the CVS method for LOCKING-USER in the case when FILE-ATTRIBUTES
returns #F.

When stringifying data, declare data objects after they are defined,
since the declaration is not a C forward declaration but a fragment of
C code that refers to the defined object and therefore must follow its
definition.  This fixes compilation of source files that contain only
a literal datum (including empty source files, such as one finds in
scmutils).

When reading Info files into buffers, don't visit the files.  This
prevents Edwin from trying to write over the Info files if something
goes wrong and the editor tries to save the file.

Implement a preliminary `imail-search-summary' command.  This is like
`imail-search', but produces a buffer summarizing all search results
rather than selecting only the first search result.

Don't cache message flags on disk.

Do meter the progress of caching folder contents, so that IMAIL does
not appear to be hung during the long sequence of lstat(2)s and body
structure traversals if the cache has many items already in it.

Also report a message when connecting to the IMAP server.

Put bci files in the library directory, not in the SRC/ subdirectory
of the library directory.

Implement simple parser for RFC 850 date strings (needed for HTTP).

httpio.scm, runtime.pkg: Rename HTTP-URI to HTTP-REQUEST-URI for
clarification.  Change definition of HTTP-REQUEST-URI to match RFC
2616.

url.scm, runtime.pkg: Eliminate PARSE-URI-NO-AUTHORITY, create and
export PARSE-URI-AUTHORITY and PARSE-URI-PATH-ABSOLUTE for use in
"httpio.scm".

Fix bug: HTTP status codes are arbitrary three-digit numbers.

Rewrite date parsers to use *PARSER and export them.  Rename standard
->STRING procedures to ->RFC2822-STRING to emphasize their meaning.

Add guarantors for DECODED-TIME? and TIME-ZONE?.

Make sure that user-agent string is an HTTP token.

Behave as before with no prefix given to INPUT-PORT->PARSER-BUFFER;
don't spin endlessly trying to double 0 until it exceeds the minimum
length.

Export character sets for HTTP text and token.

Rename HTTP-ENTITY to HTTP-MESSAGE.

Use hyphens rather than underscores in user-agent string.

Add support for generating the HTTP date strings: required use of
"GMT" time zone marker.  Also export the parser for iso8601 time.

Change definition of HTTP version to that from RFC 2616.

When resynchronizing message UIDs with the server, stop if we find a
message whose UID is uninitialized.  This arises if the previous
attempt to read the UIDs from the server was interrupted.

Eliminate FILENAME->COMPILED-OBJECT and the call to it in
LOAD-PACKAGE-SET.  LOAD will do the right thing when a built-in
object is available, and will also update debugging pathnames.

In FASLOAD-UPDATE-SUB-BLOCKS, use DEBUG-INFO-PATHNAME?, rather than
PATHNAME?.

Ignore errors while trying to read the uidvalidity file.  If there is
a problem reading the file, this means that we will delete the cache,
rather than signal an error to the user.  This may be the wrong
behaviour in some obscure cases -- e.g., perhaps a networked file
system where the network fails after checking that the cache directory
is in fact a directory --, but this is useful for cases where the
cache directory was just set up wrong, perhaps because Scheme was
interrupted.

Change to use new http-client support.

Replace http-client.scm with new HTTP support.  The new mechanism is
slightly lower level than the old, but it provides support for servers
and is slightly smarter about encoding.

THIS WILL BREAK EXISTING USERS OF HTTP-CLIENT

Rename XML->STRING to XML->OCTETS; define alias for compatibility.

Workaround for (what looks like) a bug in XQuartz on MacOS.

Trim whitespace surrounding addresses in
RFC822:STRING->SPLIT-ADDRESS-TOKENS.

Define __ppc64__ to 1, not just to an empty token sequence, for
consistency.

If __powerpc__ or __powerpc64__ is defined, define __ppc__ or
__ppc64__, repsectively.  This comes up on NetBSD; why GCC uses
different cpp symbols for different operating systems on a common
machine architecture, I haven't the faintest clue.

Name and export standard hash-table types.

Implement HASH-TABLE/TYPE.

Make TEXT line ending be the more generic XML-1.0 on input; behavior
on output is unchanged.  When speaking of generic text this will
support all the standard line endings for input.

Change DETERMINE-CODING to use the new prefix mechanism of the parser
buffer.

Add optional argument to INPUT-PORT->PARSER-BUFFER so that a prefix
string can be specified.  This is needed for injecting readahead from
a previous process -- for example, character coding detection.

in PROVIDE-INPUT-FEATURES, don't advertise operations that aren't
supported.

Simplify DETERMINE-CODING.

Use UTF-16 surrogate support.

Export procedures for managing UTF-16 surrogate pairs.

Fix fencepost error in UNICODE-CODE-POINT?.

Revert previous change to close I/O ports of subprocesses when they
exit.

Use MAKE-INITIALIZED-MAIL-BUFFER rather than MAKE-MAIL-BUFFER.
Initialization is separate from selection.

New procedure MAKE-INITIALIZED-MAIL-BUFFER creates a mail buffer and
initializes it with a user-supplied initialization procedure, after it
is created or after confirmation to discard the contents of any
existing mail buffer.

Split COMPUTE-MIME-MESSAGE-OUTLINE's method on <MIME-BODY> into one on
<MIME-BODY> and one on <MIME-BODY-ONE-PART>, so that the method on the
more general <MIME-BODY> will not accidentally call procedures
applicable only to <MIME-BODY-ONE-PART> instances.

Rearrange MIME part parsing entry points so that MIME:PARSE-PART can
be used to parse parts with and without headers, rather than embedding
that logic in MIME:PARSE-PARTS.

When making new cache entries, write them to a file in a temporary
directory first, and move the file to its permanent location only
after it has been fully written.  This prevents C-g from leaving
half-written cache entries.  (File folders should perhaps do this too,
but it is not clear where the temporary directory should be located,
and using /tmp or /var/tmp is not appropriate, since those directories
may reside on another file system, rendering rename(2) useless.)

Remove or ignore the now unused variables since the last commit.

Remove vestige of progress metering in CACHE-FOLDER-CONTENTS.  The
procedures that fetch the body parts already indicate their progress
with the message indices, and would overwrite a meter of the cache's
progress anyway except for fractions of seconds between messages.

Retain names with addresses when replying to mail.

Use APPEND-MAP, not MAP, over the list of internal header fields in
HEADER-FIELDS->MESSAGE-FLAGS: BURST-STRING returns a list of flags
each time, the collection of which we want to concatenate before
deleting duplicates.

Preload folder outlines before popping up a summary of messages to
expunge.

Remember what IMAP message keywords have been cached on disk, and
avoid stat(2)ing the cache files if we already expect them to exist.
This dramatically expedites repeated scanning of the message cache
(for preloading folder outlines when sorting or summarizing).

In GUARANTEE-IMAP-FOLDER-OPEN, send a SELECT command if the folder's
messages are not synchronized.  This fixes

   (with-open-resource <url> folder-length)
   ;Value: 0

where <url> is an IMAP URL for a folder that was recently open.

Change IMAIL-READ-FLAG to use visible defaults, rather than inserted
defaults, and to specify the history index, so that the prompting
facility will select a default at all.

Closing string and octet ports is a no-op, so don't bother closing in
CALL-WITH-INPUT-STRING and CALL-WITH-INPUT-OCTETS.

Eliminate now-unused helper procedures.

Change mime-type parsing to use parser language; export the relevant
matchers and parsers.

Export CHAR-SET:MIME-TOKEN.

Export STRING-IS-MIME-TOKEN? and STRING-IS-MIME-TYPE?, and add
substring args to them.

Add HTTP line ending.

Provide better error for invalid match index in RE-MATCH-EXTRACT.

Fix CALL-WITH-TRUNCATED-OUTPUT-STRING: return type plain wrong.

Fix stupid typo in CALL-WITH-TRUNCATED-OUTPUT-PORT.

Rename 'bytes' I/O to 'octets'.

Eliminate port operations {READ,WRITE}-{WIDE,EXTERNAL}-SUBSTRING by
pushing the functionality into the {READ,WRITE}-SUBSTRING operations.

Fix input transcription problem that was introduced in revision 1.55.

Eliminate explicit operations on wide and external strings (part 1):
remove INPUT-PORT/READ-{WIDE,EXTERNAL}-SUBSTRING! and
OUTPUT-PORT/WRITE-{WIDE,EXTERNAL}-SUBSTRING.  (Part 2 will push this
multiplexing down into the port operations themselves.)

Broaden definitions of XSTRING?, XSTRING-LENGTH, XSTRING-REF, and
XSTRING-SET! to also handle wide strings.  Other xstring operations
aren't updated by this change, but will be soon.