Implement proper handling of symbol quoting and case folding in parser.

Disallows use of | in symbols except at beginning and end.
Disallows use of \ in symbols unless in ||.

Implement char-{down,fold,up}case-full and use in ustring.

Use correct case-folding algorithm for symbols.

Change ustring implementation to simplify to 8-bit legacy strings.

This was happening anyway given the previous definition of char-ascii?.

Fix char-ascii? to be 7-bit instead of 8.

Also create char-8-bit?.

Fix bug: typo meant value of utfX->string was wrong.

Also, consistently use the char decoding procedures.

Character case mappers should preserve the bits.

Fix parser case-folding to use ustring-foldcase.

Implement char-foldcase and ustring-foldcase.

Also fix implementations of ustring-{up,down}case.

Add tables and support for case folding and string case conversion.

Use non-pointer hash tables for UCD tables.

Implement non-pointer hash tables.

These are like strong eq? hash tables but they don't rehash after gc.

Implement much smarter code generation for UCD tables.

New generator generates character sets for binary-valued properties.
For code-point valued properties, it uses fixnum hash tables.
It also uses fixnum hash tables for the numeric-type property.

The end result of this is a considerable reduction in code size.

Add header and explanatory comment to names.

Add metadata to all of the XML properties.

Correctly implement character case conversions and R7RS char sets.

Optimize the ucd tables a bit.

Need to reconsider the boolean tables, which will be smaller and might be faster
as char sets.

Change the ucd converter to store raw prop files in a standard place.

These files are being checked in, so it shouldn't be necessary to regenerate
them until the UCD is updated to a new version.

Fix typo in previous change.

Implement "computed" character sets.

Also define Unicode symbol characters.

Add value conversions to the UCD property code generator.

This translates the string values into something more sensible for Scheme.

Implement char-general-category.

Add in the first Unicode property table: gc.

Change the way boot inits work to accomodate packages with multiple files.

Refactor both the stratifier and the code generator.

The stratifier now avoids the use of bit strings and just manipulates the ranges
appropriately as it groups them.  At the end it expands all the ranges so that
the nodes have minimum structure.  The code generator was modified to accept the
new input form.

The code generator has been changed to put all the terminal nodes at the
beginning of the table, and to hash-cons new non-terminal nodes.  It turns out
that there was a lot of duplication in the nodes, so this saves a bunch of
space.

Fix nasty bug: modifying a hash table could scramble its buckets.

Fix bug: typo broke linear dispatch coding.

Some efficiency and layout improvements.

Change pp to treat all define-FOO symbols like define.

Fix bug: root definition had wrong arguments.

A bunch of cleanups to code generator.

Initial implementation of UCD converter.

Fix bug in ttyio that causes premature exit on pipe/file input.

Use a large heap to build the system with LIAR/svm on a 32bit host.

The default heap (4096Kw) is exhausted compiling xml-parser.bin.

svm: Quiet warnings about access.

compiler/base/crsend.scm: Use a compiled compress procedure ASAP.

The interpreted compress is terribly slow.

Exit with non-zero status when Aborting!: out of memory...

...in --batch-mode.  This is basically 93d3d5c, which was mistakenly
undone by 85c1fb4 because it assumed the abort resulted in an error
that would stop the REPL.  Signaling an error after the restart and
cleanup is... tricky... so just %exit.

Undo 4e9e832; choose fixnum/bignum ops for u32s at compile-time.

This avoids irritating LIAR/i386 which signals an obscure error when
compiling (fix:<= object #xFFFFFFFF).

microcode/boot.c (BLOCKS_TO_BYTES): Incorrect name.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Reorganize and curate standard Scheme indentation rules.

Close-binary-input-port did not close its input buffer.

tests/unit-testing.scm: Add expectation to assert-error failure.

Recently bytevector-u8-ref did not signal a range error but returned a
random value.  The failure report only said "value <random>".  Now it
also includes the expected condition type(s).

Suppress 100+ useless pass 1 warnings about missing externs files.

svm: Make fixnum->integer instruction work with TC_FALSE fixnums.

Bytevectors store their length with TC_FALSE(?).  Use the
FIXNUM_TO_LONG from liarc.h which does not assume TC_FIXNUM.

Update XML code to use Unicode strings throughout.

I need this to be able to read the Unicode Character Database.

Fix bug: ranges aren't necessarily code points.

svm: typo

Undo d7f390f now that LIAR/svm is compiling constants properly(?).

svm: Fix handling of machine-constants that are larger than 32bits.

svm: Stub out bogus rtl:constant-cost copied from i386.

svm: Remove imports from (cross-reference).

Replace unbound ascii-char? with char->... stolen from LIAR/x86-64.

Fix infinite string input ports; add missing increment.

Rework the UTF-8 codecs:

* Allow any scalar value to be used, as required by Unicode.
* Implement strict decoding as described in Unicode document.
* Change test cases to match new behavior.

Change bucky-bit prefixes to prefer upper-case for output.

Also make sure that upper-case is accepted when case-folding is off.

Implement char->scalar-value.

Update documentation for param:parser-fold-case?.

Implement #!fold-case and #!no-fold-case.

Fix bug: ustrings may be equal but still have different type codes.

Also simplify implementations of eqv? and equal?, and remove eqv? handling of
empty vectors.

Change string printer to generate R7RS-compatible strings.

Change parser to respect fold-case? in various places.

Change some of the parser's parameter names:

* Rename param:parser-canonicalize-symbols? to param:parser-fold-case?.

* Rename param:parser-enable-file-attributes-parsing? to
  param:parser-enable-attributes?.

* Eliminate unnecessary *parser-enable-file-attributes-parsing?*
  and *parser-keyword-style*.

* Change port properties to eliminate *...* and use new names.

Refactor the character set abstraction:

* Clarify the use of "code point" versus "scalar value".

* Rename well-formed-scalar-value-list? to code-point-list? and broaden its
  scope to allow characters, strings, and character sets.

* Rename scalar-values->char-set to char-set* and broaden its domain to include
  any code-point-list?.

* Rename char-set->scalar-values to char-set->code-points.

* Implement char-in-set? which is char-member? with the args reversed.  This
  makes it consistent with scalar-value-in-char-set?.  Deprecate char-member?.

* Implement char-set-union* and char-set-intersection*.

* Eliminate all of the "alphabet" names which are obsolete.

* Eliminate guarantee-char-set and error:not-char-set.

Add substring indices to prefix/suffix tests.

Also simplify the implementations and fix a thinko in the suffix
implementations.

Rewrite the character-name support to support unicode and case folding.

Also simplify the code a bit.

Use boot inits in char.scm.

Adjust tests to match changes to unicode-scalar-value?.

Also add checks of unicode-code-point?.

Fix implementation of unicode-scalar-value? to not exclude non-characters.

Also implement unicode-code-point?.

Implement \x<hex>; syntax for strings.

Implement #\x... syntax for characters.

Eliminate char->ascii and ascii->char, which were misnomers.

Change char-ascii? to be true only for 7-bit chars.  Also change char-ascii? to
return a boolean and implement ascii-char?.

Fix bug: would-block value only returned if nothing has been read.

Simplify logic for printing generic I/O ports.

Upgrade compound-predicate implementation with latest from book.

Also clean up the initialization sequence.

Move tests from test-predicate-lattice -> test-compound-predicate.

Eliminate use of obsolete get-if-available method.

Move non-{top,bottom}-tag? to be near {top,bottom}-tag?.

Implement simple-{list,lset}-memoizer to capture common pattern.

Some tests had undefined assertions; use new assertions instead.

Improve the unit-testing framework in a few ways.

* Simplified the creation of new assertions.
* Added ability to have templated failure messages.
* Made it easy to make negated assertions.
* Added a handful of new assertions.

Rename predicate constructor/accessor to tagger/untagger.

Fix regexp bug in previous change.  Add run-time diagnostics.

Normalize .gitignore directory patterns.

Fix up STAGE0 handling which failed to use the specified build.

Also add -n arg for testing and generalized n-stages arg.

Fix compiler crash on SVM with constant that doesn't fit in 32-bit signed.

Summarize test results at end of run.

Don't return legacy strings containing UTF-8.

Deprecate symbol-name.

Fix bugs: fixnum sizes must be measured at runtime.

Otherwise cross-compiling on a host that's wider than the target will not work.

Fix typo.

Major refactor to use ustring in important places.

There is much more work to do but this converts all the textual I/O, parser
buffers, pathnames, URIs, and a bunch of the XML code.  The older Unicode
support in (runtime unicode) is completely gone now.  Outside of Edwin, it
should be fairly safe to assume that legacy strings are *NOT* UTF-8 encoded.

Some specific work items remaining:

* Eliminate symbol-name, which violates the non-utf8-legacy rule.

* Finish converting the XML code to consistently use ustrings.

* Implement real Unicode casing, ordering, and character sets.

* Change the parser to use the R7RS-defined character classes.

* Isolate Edwin from the runtime system's string implementation, since porting
  it to Unicode is not worth the trouble.  It should be frozen to use only
  ASCII, not ISO 8859-1 as at present.

And last of all:

* Once Edwin is isolated, convert the runtime system to use ustrings everywhere,
  then rename them from "ustring" to "string".

Fix thinko.

Change string I/O to use ustrings.

Convert generic I/O to support ustring.

Implement converters between utf8-string and ustring.

These are temporary: both utf8-string and wide-string are going to be
eliminated.  Until then, we need some scaffolding to incrementally rewrite code
that uses them.

Tweak to use bytevector.

Tweak to use ustrings.

Add unicode support to equal?.

Change printer to support unicode.