Change string comparisons to normalize to NFC prior to comparing.

The procedures that return index values have not been updated since it's not
obvious what to do with them.  Comparison is meaningless for non-normalized
strings, so it's necessary that all comparisons be done between normalized
strings.  This means either (a) require compared strings to be normalized before
calling the comparator, or (b) have the comparator do normalization on the
arguments.  If (b) is chosen, then the returned index value will be wrong in the
case where the arguments aren't normalized, as it will refer to the normalized
strings, not the arguments.

I'm considering choosing (b) and changing the definitions of these procedures to
return a slice into the normalized strings instead of an index.  However, the
upcoming implementation of immutable strings may make it simple for every
immutable string to be normalized, which may make (a) feasible.

For now I'm going to ignore this, which is fine as long as only ASCII strings
are compared.

Rewrite string-builder for performance.

Rewrite string copying for performance.

More refactoring of unicode-string layout.

Teach top-level clean target to clean tools too.

A round of small changes in preparation for supporting immutable strings.

Implement compiler support for new primitives.

Change Unicode strings to store flag in type bits of length.

D'oh! Hook up printer to new string type.

Implement primitives to read and write type/datum of object in memory.

Return end-index of TO from bytevector-copy!.

No need for X in the liarc bootstrap build.

Splice shell arguments with ${1+"$@"}.

Leave as "${@}" only where it is absolutely obvious there must be at
least one parameter anyway, e.g. because it is a full command line.

Fix bug: primitive-byte-ref returns a fixnum, not a raw number.

Also clean up and reorganize open-coding of memory references.

Fix typo.

Change unicode string representation to be more compact and flexible.

The new design is more densely coded and provides for immutable strings with
different coding, as well as memoization of NFC/NFD status.  However, in this
change only the standard 3-byte mutable representation is implemented.

Implement select-on-bytes-per-word for gnerating word-length-specific code.

Eliminate condition for open-coding integer->char.

Make sure that unicode strings are self-evaluating.

Strip down code generated for primitive memory references.

Implement open-coding of byte-ref primitives.

Implement more primitive refs, and restrict to pointers only.

Fix compilation issue.

Implement allocate-nm-vector.

Allocate new type unicode-string.

Implement bytes-per-object.

Eliminate unused multi-byte procedures.

No need to support a bunch of code that may never be used.

Add 'copy? option to string-builder.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Fix bug: string output port must copy input strings.

Fix bugs: typos caught by the macos compiler.

Add documentation for a few of the more recent string procedures.

Fix string-for-primitive: it wasn't handling slices.

Optimize string-in-nfX? since it's important that these be fast.

Normalize strings prior to hashing so equivalent sequences hash the same.

I've arbitrarily chosen NFD because its faster than NFC, but a case could be
made that NFC is preferable.

Eliminate Hangul Jamo from canonical cm/dm tables.

This makes the bands about 1 MB smaller.

Implement algorithmic Hangul Jamo compose/decompose.

Fix code-generation bug in fast-division.

Apparently this code was insufficiently tested.

Change NFC_QC to be a boolean-valued table and exploit that.

Have string builder track max code point written.

This is used for two distinct purposes in the finisher.

Change string-builder to normalize to NFC by default.

Change symbols to be in NFC.

Working NFC implementation.

Initial draft of NFC support; still need to write composition.

Add NFC_QC and Comp_EX tables.

Synthesize canonical-dm table and use it to speed up decomposition.

Fix bug in canonical-ordering algorithm.

Refactor test to make it easier to see the failures.

Boost default stack size -- I'm tired of blowing out the stack.

D'oh!  String normalization tests were broken, which explains why they pass.

Squeeze a little more space out of the tables.

Implement decomposition-type table and use it for correct NFD conversion.

Further compress the size of the UCD tables.

As of this latest set of changes the total size seems in the range of a megabyte
or so, which is much better than the 4-5 megabytes of earlier revisions.

Add a bunch of converters to/from bytevectors.

Fix some bugs in vector->string.

Add hack to force printing chars in old format; can be eliminated after 9.3.

More simplification.

Simplify parse-atom to not fold case.

Use ucd-X-value directly in ustring.

Convert all of the UCD tables to use bitwise tries.

Rework the character parser to handle backslash reasonably.

Add u16/u32 equivalents to bytevector.

Add draft of inversion-map code generator.

Update explanation of HIGH range.

Rename "signal" to "inversion list" since that's the accepted name.

Change normalization test to use characters instead of integers.

Speed up reading of #\x... characters.

Use string-builder instead of call-with-output-string.

Implement test case for string->nfd.

Fix symbols using now-illegal syntax.

Rewrite parser so that it supports Unicode input.

Fix missed references to parser.

Major refactoring of the parser.

* Eliminate kludge that makes the parser environment sensitive.
* Eliminate most of the undocumented dynamic parameters.
* Eliminate the ability to change the character sets used in parsing.
* Eliminate never-used parse-objects.
* Don't export parse-object -- it's basically the same as read.
* Convert parser to use define-deferred instead of an explicit initializer.
* Streamline internals somewhat.

Add file-attributes tests that test the parser's interface.

Add input-line operation to input strings.

Implement port-properties.

Reimplement interface between parser and file-attributes parser.

New interface just collects the comment and passes it to the parser.

Reindent test cases for easier reading.

Fix char-in-set? so it works with all characters.

Small tweaks to file-attributes.

Add file-attributes test to make check.

Fix some issues with file-attribute parser; temporarily disable.

Eliminate unused binding.

Change host-adapter to be ignored except on 9.2.

Also fix typo in tagged-object type name.

Eliminate support for custom parser tables.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Eliminate need for file-attributes parser to use custom parser table.

Also add tests for the parser using the conveniently-provided test strings.

Don't save boot inits if there are none.

This exposed some packages with inits that weren't doing anything.

plugin ChangeLogs: Add missing cd commandline.

doc: Use default htmldir, pdfdir, etc.  Rename updated manpage.

Define docdir, part of the default htmldir, pdfdir, etc.

Replace \- (minus) with - (hyphen) in the manpage.  (This was an old,
aesthetic choice?)

Load necessary options (not loaded when Edwin is not loaded).

Generalize load-ffi-quietly to use when loading other options.

edwin: Add input-event unparser.  Fix inferior unparser.

doc/ref-manual/graphics.texi: typo

cref/conpkg.scm: Fourth slot of import links: 'deprecated, not #t.

Change sequence builders to copy small sequences.

Change char-XXX-full converters to store strings.

Fix test, now that I understand what's going on.

Add Unicode segmentation tests and fix implementation to pass.*

*Except for two examples, marked in the test, that are inconsistent with my
 model for how this should work.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme