Merge classifier and keyword items.

A round of updates to the syntax parser.

Add syntax-parser to runtime; not yet being used.

Refactor the syntax-error mechanism.

* There's now a condition type for syntax errors.
* There's a distinction between errors that happen in macro expanders and those
  that happen inside the syntax implementation.
* All syntax errors now get the (form senv hist) objects.
* Syntax errors don't yet use the history to report context; that will come
  later.

Eliminate keyword-binder.

Make field-names argument of condition-constructor be optional.

When that happens it uses the type's field-names value.

Simplify slightly be introducing smap.

decl-item doesn't need to be distinct from expr-item.

Make sure history is correct for identifiers in declarations.

Plumb selectors through map-decl-ids and pass to procedure.

Reorganize cold-load for syntax.

* Rename syntax-transforms to syntax-low.
* Move expander-item to syntax-low.
* Don't load syntax-items early in cold load.
* Move compile-expr-item to syntax-items.

Bind classifiers directly into global environment.

Eliminates kludge of syntax-definitions.

Eliminate compile-body-item and simplify.

Minor tweaks to classifiers.

Rename classify-body to classify-forms-in-order.

Also have it return a list of items rather than a seq-item.

Some minor tweaks that were missed in earlier commits.

Eliminate compiler items.

Eliminate compiler->keyword.

Eliminate the remaining three compilers.

Change most of the "compilers" to "classifiers".

This is the first step in eliminating the idea of a "compiler".

Insert a reduction step in the history when processing a closed subexpression.

Implement history mechanism for syntax processor.

This mechanism keeps track of how each subexpression is derived from the larger
program, so that error messages can have that context.

The history isn't yet hooked up to anything; it's just being tracked.  The next
step is to attach it to the syntax errors and change the error messages to
reveal that context.

Make sure that host-adapter causes rebuild of toolchain.

Also always load the .scm file since the compiled files may be out of date.

Rewrite this file to match current standards.

Revert change that broke the build.

Another small round of renaming.

Eliminate now-unused output/lambda and rename output/{named-,}lambda.

Some minor cleanups.

Downcase explicit arguments to syntax-check and syntax-match?.

Also replace '(keyword ...) -> '(_ ...) in syntax-check patterns.

Implement classify-form-cXr to simplify code slightly.

This will be more important when history is added.

Rename environment to senv in mit-syntax.

Eliminate classify-expr.

A big round of renamings.

Change predicate dispatchers to use dispatch cache.

Eliminate keyword-value-item.

A bunch of renames to eliminate weird "/" phase of mine.

Collapse syntax, syntax-classify, and syntax-compile into one file.

Make comment in identifier=? more comprehensive.

Move the higher-level senv procedures into syntax-environments.

* Clean up the high-level interface, making arg order consistent.
* Rename syntactic-environment->environment as syntactic-environment->runtime.
* Eliminate ->syntactic-environment in favor of runtime-environment->syntactic.
* Rename syntactic-environment/top-level? to top-level-syntactic-environment?.
* Export closed-identifier? to (runtime syntax).

Implement better pp support for syntactic environments.

This should be a standard pattern: what's interesting in these bundles of
procedures isn't the procedures themselves, but rather the state they are
carrying around.

Don't generate keyword-value-item except at top level.

They aren't needed for internal environments.

Handle define-syntax better when unsyntaxing.

Fix test broken by earlier change.

Eliminate another empty file.

Simplify how runtime syntactic environments are created.

No more layering of top-level environments over one another, or of top-level
environments over runtime environments -- a top-level environment IS a runtime
environment.

Don't use syntactic enviroment to indirectly bind global macros.

Remove empty file.

Add bindings for the block-declaration renames.

Change declaration processing to decouple it from open blocks.

Rename block-declaration -> scode-block-declaration and move to "scode".

Change seq-item to flatten its arguments.

Also rename flatten-seq-items to flatten-items.

A large number of renames for syntax items.

Eliminate unnecessary condition.

Don't use binding-item for LET bindings.

Change syntactic environments to be records rather than bundles.

It's not using the bundle functionality so there's no advantage.

Change define-bundle-interface to use quote-identifier.

Implement quote-identifier, which is needed for macro-generating macros.

I'm not entirely happy with this; it feels like a wart.  But I don't see an
alternative at the moment.

Rename combinator-substitution -> list-substitution.

Fix but: top-level definition names must be symbols.

Disallow runtime environments in make-syntactic-environment.

Simplify the rename-db implementation.

Eliminate synthetic identifiers.

Now identifiers are either symbols or closures over symbols.  Any operation on a
closed identifier redirects to the appropriate environment, rather than trying
to bind and/or lookup the closure itself in the environment.

This greatly simplifies the identifier model, and makes the operation of the
syntax processor much clearer.

Change compile-item/expression to be a predicate dispatcher.

Also, a bunch of small changes, mostly cleanups and simplification.

Simplify interface to syntax renaming.

Reorganize the code within syntax-rename.  No other changes.

Split renaming mechanism out of syntax-output.

Eliminate open-block-components and rename other procedures to include "scode".

Refactor the syntax-output codewalkers to use predicate dispatchers.

Make sure the open-block tag is computed correctly.

Use keyword syntactic environment to implement keywords.

Introduce syntactic-environment/reserve to handle common case.

This also means that syntactic-environment/define is only used for keyword
items.

Rename accessors for syntactic closures.

Make sure that scode object tags are correctly computed.

Add missing rename to host-adapter. Thanks Joe Marshall for another catch.

Greatly simplify SCode abstraction and change names to contain "scode".

Also remove all FOO-components and FOO-subexpressions procedures.
More work remains: the lambda abstraction is an unholy mess and needs to be
cleaned up.  The scan-defines stuff also merits some consideration.

Eliminate unused import from compiler C backend.

Rename file "ustring" to "string" and update package name too.

Large number of file renames.

Also deletes a few unused files.

Merge gensym into symbol and add mutex for its counter.

Don't use vertical brackets when unparsing uninterned symbol.

Move fixart and thread-low to earlier in the cold load.

Eliminate long-obsolete starbase support.

Add a few missing subdirs into Tags.sh computation.

Rewrite syntax-environment to use bundles.

Allow bare symbols as elements in bundle-interface specification.

Fix bug: bundle-interface predicates can't use dispatch-tag<= during cold load.

I don't think they need to do this anyway, since inheritance isn't part of this
design.

Push yet more predicate machinery into boot.

Rename value-binder to variable-binder.

Move bundle implementation to early in the cold load.

Add unparser for variable items.

Avoid shift of negative, which is undefined in C.

Eliminate unnecessary implementation note.

I may change the implementation in the near future.

Defer enabling runtime handling of errors until end of cold load.

Otherwise, once the error system is initialized, a subsequent cold-load error
causes an infinite loop.  At least this way there's some information about what
went wrong.

Fix typo reported by jmarshall.

Tweak bundle index lookup; fix bundle tests.

Refactor the bundle implementation.

* The interface is now the predicate rather than the tag.
* New procedures bundle-constructor and bundle-accessor.
* define-bundle-interface generates a BOA constructor and uses it.

Rewrite define-like and let-like syntax for simplicity.

Two small simplifications.

Eliminate null-binding-item.

Fix bug: Can't call output/sequence with an empty list.

Rewrite define-bundle-interface to do renaming manually.

Automatic renamer was clumsy and error-prone.