Fix infinite string input ports; add missing increment.

Rework the UTF-8 codecs:

* Allow any scalar value to be used, as required by Unicode.
* Implement strict decoding as described in Unicode document.
* Change test cases to match new behavior.

Change bucky-bit prefixes to prefer upper-case for output.

Also make sure that upper-case is accepted when case-folding is off.

Implement char->scalar-value.

Update documentation for param:parser-fold-case?.

Implement #!fold-case and #!no-fold-case.

Fix bug: ustrings may be equal but still have different type codes.

Also simplify implementations of eqv? and equal?, and remove eqv? handling of
empty vectors.

Change string printer to generate R7RS-compatible strings.

Change parser to respect fold-case? in various places.

Change some of the parser's parameter names:

* Rename param:parser-canonicalize-symbols? to param:parser-fold-case?.

* Rename param:parser-enable-file-attributes-parsing? to
  param:parser-enable-attributes?.

* Eliminate unnecessary *parser-enable-file-attributes-parsing?*
  and *parser-keyword-style*.

* Change port properties to eliminate *...* and use new names.

Refactor the character set abstraction:

* Clarify the use of "code point" versus "scalar value".

* Rename well-formed-scalar-value-list? to code-point-list? and broaden its
  scope to allow characters, strings, and character sets.

* Rename scalar-values->char-set to char-set* and broaden its domain to include
  any code-point-list?.

* Rename char-set->scalar-values to char-set->code-points.

* Implement char-in-set? which is char-member? with the args reversed.  This
  makes it consistent with scalar-value-in-char-set?.  Deprecate char-member?.

* Implement char-set-union* and char-set-intersection*.

* Eliminate all of the "alphabet" names which are obsolete.

* Eliminate guarantee-char-set and error:not-char-set.

Add substring indices to prefix/suffix tests.

Also simplify the implementations and fix a thinko in the suffix
implementations.

Rewrite the character-name support to support unicode and case folding.

Also simplify the code a bit.

Use boot inits in char.scm.

Adjust tests to match changes to unicode-scalar-value?.

Also add checks of unicode-code-point?.

Fix implementation of unicode-scalar-value? to not exclude non-characters.

Also implement unicode-code-point?.

Implement \x<hex>; syntax for strings.

Implement #\x... syntax for characters.

Eliminate char->ascii and ascii->char, which were misnomers.

Change char-ascii? to be true only for 7-bit chars.  Also change char-ascii? to
return a boolean and implement ascii-char?.

Fix bug: would-block value only returned if nothing has been read.

Simplify logic for printing generic I/O ports.

Upgrade compound-predicate implementation with latest from book.

Also clean up the initialization sequence.

Move tests from test-predicate-lattice -> test-compound-predicate.

Eliminate use of obsolete get-if-available method.

Move non-{top,bottom}-tag? to be near {top,bottom}-tag?.

Implement simple-{list,lset}-memoizer to capture common pattern.

Some tests had undefined assertions; use new assertions instead.

Improve the unit-testing framework in a few ways.

* Simplified the creation of new assertions.
* Added ability to have templated failure messages.
* Made it easy to make negated assertions.
* Added a handful of new assertions.

Rename predicate constructor/accessor to tagger/untagger.

Fix regexp bug in previous change.  Add run-time diagnostics.

Normalize .gitignore directory patterns.

Fix up STAGE0 handling which failed to use the specified build.

Also add -n arg for testing and generalized n-stages arg.

Fix compiler crash on SVM with constant that doesn't fit in 32-bit signed.

Summarize test results at end of run.

Don't return legacy strings containing UTF-8.

Deprecate symbol-name.

Fix bugs: fixnum sizes must be measured at runtime.

Otherwise cross-compiling on a host that's wider than the target will not work.

Fix typo.

Major refactor to use ustring in important places.

There is much more work to do but this converts all the textual I/O, parser
buffers, pathnames, URIs, and a bunch of the XML code.  The older Unicode
support in (runtime unicode) is completely gone now.  Outside of Edwin, it
should be fairly safe to assume that legacy strings are *NOT* UTF-8 encoded.

Some specific work items remaining:

* Eliminate symbol-name, which violates the non-utf8-legacy rule.

* Finish converting the XML code to consistently use ustrings.

* Implement real Unicode casing, ordering, and character sets.

* Change the parser to use the R7RS-defined character classes.

* Isolate Edwin from the runtime system's string implementation, since porting
  it to Unicode is not worth the trouble.  It should be frozen to use only
  ASCII, not ISO 8859-1 as at present.

And last of all:

* Once Edwin is isolated, convert the runtime system to use ustrings everywhere,
  then rename them from "ustring" to "string".

Fix thinko.

Change string I/O to use ustrings.

Convert generic I/O to support ustring.

Implement converters between utf8-string and ustring.

These are temporary: both utf8-string and wide-string are going to be
eliminated.  Until then, we need some scaffolding to incrementally rewrite code
that uses them.

Tweak to use bytevector.

Tweak to use ustrings.

Add unicode support to equal?.

Change printer to support unicode.

A handful of tweaks.

Change string hash tables to support unicode strings.

Make sure that strings being passed to primitives are converted.

Change pathname abstraction to use unicode strings.

Add support for running fewer than three stages.

Fix typo.

Eliminate large swath of unused exports from (runtime unicode) package.

Eliminate use of xstring in IMAIL.

Eliminate use of xstring in Edwin.

Refactor symbol implementation to use UTF-8 bytevectors for names.

Primitives handle this correctly since they accept either a legacy string or a
bytevector.  As long as no one peeks behind the abstraction this should be
transparent.

However, symbols with non-ASCII names will produce non-legacy strings when
asked.  AFAIK there are none currently in use.

Eliminate incorrect registration of legacy-string?.

Change bytevectors to use Unicode strings.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Implement a Unicode string abstraction.

Implement a Unicode string abstraction.

Implement char=-predicate and char-ci=-predicate.

Add "legacy" names for standard string operations.

Also deprecate "vector-8b" names.

bytevectors: Implement bytevector-hash; fix a couple of bugs and simplify.

Implement fix:end-index and fix:start-index.

Revert "Initial draft of new string implementation."

This reverts commit aafeee81eea3921e043d0332314eb4e44da176fa.

Eliminate call to now-undefined simple-predicate?.

Fix thinko: caller argument in wrong place.

Initial draft of new string implementation.

Tweak pagination.

Create synchronize-output-port and make it generic over all output ports.

Restrict most genio exports.  A couple of renames.

Plumb genio to pass caller name down to operations.

Major refactor of textual I/O ports.

New design uses a binary port to do actual I/O, so is mostly about coding.

Export fix:iota.

Implement fix:iota.

Add comment for return value of write-bytevector.

Remove unused xstring-byte-* procedures.

Fix broken indent.

Change reload-save-string/reload-retrieve-string to preserve type.

Implement find-map.

Allow undo in debugger detail buffers.

Add new char tests to standard checks.

Implement tests for characters, particularly UTF-8 codec.

Allow assert-error to be used without explicit error conditions.

Implement #\alarm and change #\u+00 to print as #\null.

Make binary ports work independent of their buffer size.

Although they require a minimum size of 1 so that single-byte ops work.  Also
re-jigger names in preparation for reusing the sources and sinks for textual
ports.

Implement UTF-X codecs for chars and strings.

Implement character encoders for UTF-16 and UTF-32.

Rearrange to put new accessors prior to string converters.

Write tests for new u16 and u32 accessors.

Implement u16 and u32 accessors for bytevectors.

Move fixnum-limit code into fixart and rename for consistency.

Greatly restrict the exports from utabs.

A couple of other tweaks.

Reorder and re-paginate.

Fix some pagination.

Eliminate simple-predicate?.

Fix incorrect indentation.