Rework makefile for cross-compilation with a toolchain again.

We use Makefile.tools only if --enable-cross-compiling is true.
Everything it builds goes under tools/, or should if there are no
bugs -- even intermediate .bin, .com, &c., files.

New usage model does not require any external trees:

% ./configure --enable-cross-compiling --enable-native-code=i386
% make cross-host

% make all

However, the host must be a recent master with new CREF and SF
features for separate source and object roots, so we can't rely on
this to work until we cut a new release with those features.

(It shouldn't be necessary to run _anything_ on the target system,
but we're a ways away from that: we need the cross-compiler to be
able to cope with macros across subsystem dependencies, and we need a
`static' linker, not just a fasloader-and-disk-save.)

Generate the trivial constructor in the objdir, not srcdir.

Define cref/source-root and cref/object-root in host-adapter.scm so
we can still load compiler.sf into old Schemes, which will never have
this distinction.

Teach cref and sf about separate source and object directories.

Expose fasl-format:x86-64 as another name for the amd64 format.

Relevant because MIT_SCHEME_NATIVE_CODE gets set to x86-64, and gets
plopped into `fasl-format:@MIT_SCHEME_NATIVE_CODE' in the makefile.

Change identify-world to show a very brief summary.

* Remove versions from all of the subsystems, except the release.
* Remove microcode and runtime subsystems entirely.

Generalize list-like printing, and support list-breadth limit properly.

Clean up wording around bitless characters.

Remove unused and unexported guarantee-FOO procedures.

Change most places that use bitless-char? to just throw away the bucket bits.

Do the annual copyright update.

In update-copyright, replace use of old regexp with regsexp.

Also adjust the various filename patterns to reflect the current directory
structure.

Clean the compiler subdir too.

Allow alist->bundle to accept #F as predicate.

Also beef up bundle tests a bit.

Fix problem with using bundle? as a bundle predicate.

New printer parameter param:print-hash-number-in-objects?.

Use dispatch-tag-print-name.

Export dispatch-tag-print-name for convenience.

Eliminate obsolete comment from user manual.

Save file used to test gc table correctness.

Detect trivial infinite recursion in promises.

Obviously this can be fooled, like

(force (let loop () (delay-force (loop))))

or any non-halting Turing machine, but this is an easy case to detect
with negligible cost.

Test detectable screw case of delay-force infinite recursion.

Integrate %promise-parts.

Shaves another 20% off time for test-promise.scm.

Use another indirection for representation of promises.

The pairs never change, so merely loading the pair object from the
cell indirection gives us an atomic snapshot of it.  This way, there
is no need for without-interrupts in promise-forced?.

This makes each promise cost one more word (previously: one word to
represent plus three words of heap space; now one word to represent
plus four words of heap space), but reducing without-interrupts is a
big win -- this halves the time of test-promise.scm on my machine.

Of course, on a parallel system, the without-interrupts in %force is
still not enough (and we'll need the cell-contentses to be
load-acquire operations, not just loads).

Fix nested promises.

Add promise tests. Nested promises are busted.

Open-code cell operations.

Restore sf predicates, not scode predicates.

Various parts of sf were silently disabled in the overly aggressive
change

   commit 816b9122751c9b60b85f9ce3db0df8a516f763cb
   Author: Chris Hanson <org/chris-hanson/cph>
   Date:   Wed Jan 24 00:07:59 2018 -0800

       Greatly simplify SCode abstraction and change names to contain "scode".

       Also remove all FOO-components and FOO-subexpressions procedures.
       More work remains: the lambda abstraction is an unholy mess and needs to be
       cleaned up.  The scan-defines stuff also merits some consideration.

which kinda reflects on the sensibility of using disjoint type
predicates across domains like this as one does in Scheme.

Merge branch 'cross-fasdump-v2'

- Introduces a portable fasdumper that the compiler can use for
  cross-compiling.

- Adapt the build system to use it.  This form is not final: we
  should really be using GNU configure's build/host/target form.

- Fix up the i386 back end, particularly floating-point stuff.

- Split svm1 into four architectures: svm1-32be, svm1-32le,
  svm1-64be, svm1-64le.  This way you can, e.g., use your x86 laptop
  to cross-build an svm1-32le system to run on an arm32 machine.

- Various minor other fixes for cross-compilation.

Use integrated %dispatch-tag-ref in record type predicates.

These show up hot in profiles, so this makes a difference.

Integrate string.scm operations in symbol.scm.

Integrating, e.g., cp1-ref makes a huge difference.

Tweak equality-predicate-property to accept a default-value argument.

Don't use general predicate relations for record predicates.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Fix problem with crashing in Emacs interface.

Use runtime's string ports.

Also read file in one swell foop, rather than character by character
in a slow painful chain of indirections thousands of times slower.

We'll use legacy strings here because this code was all written under
the assumption that `string' meant byte vector, and legacy strings
still have that semantics.

Eventually this should all be adapted to use bytevectors instead for
storage, and interpret things as strings only as necessary for text
processing beyond mail data formats.

Implement position for string input ports.

Export binary-port-length too.

Fix binary-port-position for output ports.

Not sure if it'll DTRT for combined i/o ports; need more tests!

Export binary-port-position and set-binary-port-position!.

Currently busted for output ports.

Integrate string operations for order of magnitude speedup.

ucd-slc-value &c. return chars, not fixnums.

Use 32-bit xor rather than 64-bit xor for zeroing.

Split deeply nested expressions into named and typed temporaries.

No functional change intended, just makes stepping through with a
debugger easier.

Fix misparenthesization.

Confirm that a couple screw cases in closure analysis work.

Once upon a time the Y combinator and U combinator would crash the
compiler.  It's been fixed now but let's at least immortalize the
code I had lying around that crashed it so it doesn't happen again.

Add some more release notes.

Fix whitespace change ignored by magit.

Move .dir-locals.el from src/ to top level dir.

Split test data out of "test-string-normalization".

Convert char to unsigned char before using islower/toupper.

Failure to do so is undefined behaviour for any negative char values.

Use push with memory reference on i386 too.

Move comment to cover all the primitives disabled for this reason.

Open-code unordered comparison primitives on i386.

Mark some more primitives as machine-dependent and thus non-foldable.

Exclude exceptions not in FE_ALL_EXCEPT.

Some buggy libms omit some FE_* from FE_ALL_EXCEPT, apparently, oops.
When they cease to be relevant to me we can remove this.

Make primitives raise exceptions on  signalling NaN too.

Fix mistaken expansion of flo:<> as flonum-is-less-or-greater?.

Global flo:<> is the ordered version, which raises exception on qNaN;
primitive flonum-is-less-or-greater? is the unordered version, which
returns false on qNaN.

Test ordered and unordered comparisons with sNaN raise exceptions.

Normalize significand in flo:random-unit-open even on 32-bit.

Fix sign error and mask size in fix:bitcount16.

Avoid undefined behaviour with large right shifts.

Shift-right is busted on large shifts.

Disable FLONUM-EXP open-coding on i386.

The instruction sequence we had was not very good, e.g. (exp -708)
was off by far more than 1ulp.  It can be done that way, but we need
to use 64-bit precision for it, and setting the i387 precision here
is getting a bit far afield from open-coding.

Relax expm1 tests; i387 in 53-bit precision won't guarantee 0.5ulp.

Guard against loading any NaN into double here.

The i387 floating-point unit raises an exception if you even load
sNaN into the floating-point stack.

Clear exceptions before enabling traps.

Use integer bit tests in FLONUM-IS-NEGATIVE?.

Otherwise this raises an exception for sNaN on i387.

Provide hokey alternatives if no SSE or i387.

Re-enable the SSE instructions in i386.

We don't generate SSE code in the compiler but we need to maintain
the mxcsr in the floating-point environment.

Disable open-coding of flonum-copysign/abs/negate on i386 for now.

Requires too much work to get these to handle signalling NaN
correctly at the moment.

Rewrite flonum-copysign/abs/negate primitives using integer masks.

Otherwise these spuriously raise exceptions on i387 because merely
loading a signalling NaN onto the fp stack does so.

Make flonum comparison primitives raise exceptions in ucode.

Set indent-tabs-mode to t in this directory.

This has been true historically.  I'd like to eventually eliminate the use of
tabs in our code base.

Use FCOM, not FUCOM, for ordered comparisons.

Rewrite NaN primitives in terms of integer data.

On i387, merely loading and storing a double is enough to turn a
signalling NaN into a quiet NaN, so load and store uint64_t instead.

Call the primitives directly.

These are no longer integrated, so we can't make a compound procedure
call if they are interpreted -- the interpreter will stomp all over
Free while we're in the middle of allocating the string, leading to
mayhem.  But it is safe to call the primitive, even though it is no
longer open-coded.

Skip constant-folding MD primitives when cross-compiling.

Distinguish bytes-per-object from target-bytes-per-object.

This is a kludge for now until we have a syntactic tower where we can
use distinct environments at each level of syntax expansion.

Missed some .bin spots.

Fix floating-point alignment stuff.

- Allow fasdump-storage of #f for alignment.
- Use only one mechanism for alignment, not two competing ones that
  step on each other's toes.

More line breaks for clarity.

Fix environment this test runs in.

Restore separation of syntax-* and compile-* targets.

This gives better parallelism; no need to wait for the runtime .com
files when we just need the .pkd from the .bin files for cref.

Make these tests run on svm1.

Fix fixnum range.

Exercise some more fasdump cases.  Fix missing definition.

Small bignums are busted.

Teach `make cross-host' to convert .nib -> .bin &c.

This is more expedient for now than finding all the places in SF/CREF
that fasdump anything to fasdump both the .nib and the .bin file.

New make target install-toolchain just installs the toolchain.

Useful for working on the cross-compiler when we don't need Edwin &c.

Make `make all-toolchain' also build sos, ssp, and xml.

These are needed in the cross-compiler during cross-host.

Do all-compiler/sf/cref only in cross-host, not in cross-target.

In the cross-compiled system when doing cross-target, which depends
on runtime.com and all.com, the dependencies of runtime.com and
all.com were already made by cross-host.

Teach cross-SF/CREF to dump/load in .nib, .txe, .dkp.

These correspond to .bin, .ext, .pkd.  LOAD-OPTION still loads from
.bin, .ext, .pkd (and .com) for libraries that are installed and are
not macro definitions of subsystems being cross-compiled.

This backwards suffix business is getting a little out of hand.
Possible partial alternatives:

- .xbin/.xext/.xpkd

- invent a static linker in the toolchain that can run on the cross
  host rather than using make.scm and disk-save in the cross target

- devise a portable fasload that sf/cref can use in the cross host

- use a machine-independent file format for .bin/.ext/.pkd

Move fasl version check earlier.

This breaks INHIBIT_FASL_VERSION_CHECK -- but that was already broken
so that Scheme would abort (!) before even getting to the check,
because of the conditional in fasl_object_address which is called by
decode_fasl_header.

If someone wants to revive INHIBIT_FASL_VERSION_CHECK, be my guest,
though it might be easier to do whatever you're trying to do with the
portable fasdumper instead.

Split svm1 into four architectures: svm1 x {32,64} x {be,le}.

--with-cross-target must specify exactly which one to use for now.

--enable-native-code=svm1 or svm1-le or svm1-64 will fill in the
remaining parameters (word size, byte order) from the host system
characteristics.

Make `make cross-target' work in three stages.

1. moc->com in runtime, so the next stages can use a compiled runtime
2. moc->com in the whole tree
3. fni->inf in the whole tree

XXX Maybe the latter stages can be combined; for now this change just
splits the first two apart.  Even better, maybe we can nix this step
altogether and teach the cross-fasdumper to do this part itself.
Wouldn't be hard to teach the cross-fasdumper to do the relocation
that currently requires sketchy with-absolutely-no-interrupts crap.
For compile-scode, could maybe just fasdump to a bytevector in memory
and invent a primitive to fasload from that.

Tweak fasdumper to null-terminate bytevectors too.

find_primitive relies on symbol names (which were formerly `strings',
i.e. `vector-8b' or TC_CHARACTER_STRING, and are now `bytevectors')
to be null-terminated.

Rather than try to figure out which ones are primitive names and
which ones are not, we'll just null-terminate all of them.

We can undo this if we change find_primitive.  (We need to change the
compile-time tool findprim.c anyway because its strcmp_ci misuses
islower/toupper.)

Merge remote-tracking branch 'origin/master' into cross-fasdump-v2

Generate char sets for each UCD general category and numeric type.

And use these to avoid expensive computations in ucd-glue.

Fix bug in inverting empty character set.

Fix bug in string-copy!.

Add tests for string-copy!, which has a bug.