Add some LETREC and LETREC* tests.

Use internal definitions for LETREC* and unary LETREC.

The compiler will recognize these better than LET and SET!; teaching
it to recognize LET and SET! is more trouble than I want to deal with
at the moment.  Internal definitions at the scode level have LETREC*
semantics anyway, and with only a single binding, LETREC and LETREC*
coincide.

Use arity-dispatched procedures for MAP, FOR-EACH, &c.

Requires shuffling initialization order in make.scm a little bit so
that we can call MAKE-ARITY-DISPATCHED-PROCEDURE in list.scm.

Saves a trip through the microcode to compute the lexpr for each call
to MAP and FOR-EACH, which turned up hot in profiles.

Integrate NULL-LIST?.

This is used all over common SRFI 1 list operations, so what should
have been a pair of conditional branches turned into unknown
procedure calls, sometimes through a trampoline to fill in default
arguments, which turned up in profiling the compiler.

Add GENERAL-CAR-CDR to usual integrations.

The compiler explicitly calls this for every RTL accessor, so that
would explain why this primitive was turning up hot.  Should speed up
the compiler a little to avoid diving into microcoded primitives for
every attempt to get a piece out of an RTL expression during the RTL
passes!

Put char-set microcode table back in data structure.  Edwin needs this.

Cache char set table.

This is a provisional kludge to make string searches by character set
in Edwin less obscenely expensive than they are at the moment, which
is killing IMAIL.

Formerly we just cached these in the char-set object itself.

Integrate record accessors and modifiers where convenient.

Limited to record types with:

- a defined predicate name we can pass to GUARANTEE, and
- no parent type so we can statically determine the field offsets.

Obviously it would be better if the compiler could do the flow
analysis to figure out where it can statically partially evaluate
RECORD-ACCESSOR and RECORD-MODIFIER, but, y'know, exercise for the
reader.

Defer unmasking timer interrupt until after daemon is marked running.

Otherwise we might re-enter on timer interrupt.

Avoid consing closures if we're low on space.

Can't see why I chose to discard recent samples a decade ago.

Dust off stack sampler.

Use of compiled-code-address? will be needed by the
riastrah-20181220-closentry{...} branch.

Test restarting trapped references.

This is busted on x86 because of a compiler bug involving register
reuse, to be fixed on the riastradh-20181220-closentry{...} branch.

Fix the rest of the indentation in this file.

No functional change.

Fix bug in test introduced by eliding open-block for SYNTAX.

While here, fix indentation.

Eliminate simple-top-level-environment.

This hasn't worked as intended since the reader was rewritten.

Change param:reader-fold-case? to be settable.

x11: Fix declaration of x_graphics_set_clip_rectangle.

x11 version 1.3

x11: Punt import-x11.

runtime.pkg: Trim old, unnecessary package exports.

The (runtime x-graphics) package doesn't use have-select? nor (lately)
make-image-type.  (The (x11 device) package imports make-image-type.)

x11: Link to deprecated (runtime x-graphics) bindings when loaded.

x11: Rename device type to "x".

Don't return open block at top level when syntaxing a single form.

x11: Fix x-graphics-vdc-extent and x-graphics-set-clip-rectangle.

x-graphics-vdc-extent should have had one argument and returned a
vector, and x-graphics-set-clip-rectangle needed to accept floats.

Change tests to use sub-tests as originally intended.

I messed it up the first time and Taylor had to patch around my mess.

Eliminate unnecessary consing in char-set-empty?.

Find all relevant shared objects.  Handle NMV headers in vectors.

Fix pasto for LIARC build of SOS.

gitignore LIARC build products.

Don't leave the intermediate run-build shell process hanging around.

Run the ChaCha self-tests too.

Refuse to let the MD5 primitives run unless self-test passes.

Fix buffer overflow in self-test.  Derp.

This self-test was not used; there's a separate test in test-md5.scm
which is fine.  (The result in this self-test is also correct -- it
just never got tested anywhere.)

Fix byte ordering: encode state words in little-endian; don't memcpy!

How did I miss this earlier!?

Exploit oddness to get bit-for-bit identical results on +/-.

Fixes test failure on NetBSD/powerpc:

;|logit-logistic-1/2/(.2310585786300049 1.)| failed 1 sub-tests out of 1 in 0. seconds:
     assertion 1: value was -.23105857863000487 but expected an object = to -.2310585786300049

Use a much simpler endian-independent execute cache mechanism.

Requires no changes to the SVM1 byte code, so existing unlinked .com
files will continue to work (except for those created in the past
couple hours with my big-endian bodge that entailed no changes to the
little-endian hack), although built bands will confuse the microcode
because what cmpint stores in execute caches in memory changed.

- Before linking, an execution cache is simply the two words, as
  before on little-endian systems:

    <frame size> (fixnum)
    <name> (symbol)

- After linking, the frame size remains untouched and the name is
  replaced by the untagged address of the target:

    <frame size> (fixnum)
    <target> (untagged)

- INVOCATION:UUO-LINK now generates an (indirect-jump (pc-relative
  <cache>)) instruction, which already does the right thing:
  dereferences PC + offset to find a instruction address, and then
  jumps to that address.

Fix lambda-body -> scode-lambda-body straggler.

Design big-endian uuo link execute caches.

The little-endian hack to overwrite the tag with instructions doesn't
work on big-endian because it's the datum, not the tag, that's at the
end of the word in the frame size.

There's no room for the instructions before anything here, so add
another word and move the frame size to the end.  Kinda wasteful --
for that matter, it's not clear why we need to have any instructions
here at all, when we could just have INVOCATION:UUO-LINK compile to
an IJUMP instruction itself.

Teach SVM back end how to assemble big-endian instruction streams.

Gotta do 'em backwards because the words are backwards in a bit
string on big-endian systems.

Fix ordering of _words_ in fasumped bit strings on big-endian.

Apparently the byte order within a word affects the word order within
a bit string.

Tweaks to make Edwin cross-compilable.

Nothing architecturally limits powerpc to high memory.

Individual operating systems may, but none that I've encountered.

We may revisit this if we change SVM1 to always work in high memory.

Use HOST_CC, default CC, to compile findprim.

This needs to run on the host system, not on the target system.

This way we can cross-compile the microcode if you have a C
cross-compiler handy, which makes iterating development a lot faster
when the target's native C compiler is painfully slow.

Make powerpc floating-point exceptions fit in fixnums on 32-bit.

Load with load-option so this gets LIARC bundles correctly.

Mkdir lib/lib with -p in configure so it is idempotent.

Disable constant-folding machine-dependent primitives in LIARC.

These are not valid across word size changes, but LIARC does not
expose compiler:cross-compiling?.

One more round of rework for LIARC.

Keep the host actions and target actions separated by a stamp file as
with other cross-compilation.

Name the targets:

- cross-host does the actions on the host (some day, all of them),
  and creates stamp_cross-host

- cross-target does the actions on the target, which all depend on
  the host actions only through stamp_cross-host

- all does cross-host and then cross-target.

With any luck, this should preserve the behaviour of non-cross
builds.

Still missing: Makefile.tools doesn't work _from_ a system with LIARC
yet to cross-compile, because we have no way to build a fresh runtime
or create bundles outside the standard build.

=> We should not depend on a full fresh runtime, only on the macros.

=> We should have a way to link bundles.  (For that matter, we should
   have a notion of shared libraries that can be loaded independently
   and with shared read-only physical memory, rather than as a bodgy
   sequence of bands copying the data around.)

Fix bug: characters with bucky bits not printing right.

Avoid WRITE in URI->STRING.

We use this early on in loading an image -- before we have
initialized all the LIARC objects (indeed, in the course of
initializing LIARC objects), which may themselves have predicates in
the print method dispatcher.

Restore printing strings in #[uri ...].

Simplify pathnames for conversion to standard URIs to avoid dottiness.

Use intermediate stamp for compinit.[ch] to avoid parallel clobber.

Update liarc to modern debugging info/wrapper formats.

Fix up makefile targets for liarc.

NUL-terminate bytevectors too.

This shouldn't be necessary but we use these for primitive names with
routines that expect them to be NUL-terminated, so this is more
convenient until we either length-delimit the primitive names or
explicitly NUL-terminate them or whatever.

Atomic write-to-temporary/rename-to-permanent so liarc is ^Cable.

Use load-option so we get the LIARC bundle.

Disable cross-compilation finishing stage for liarc.

Don't build microcode in cross-host; build in cross-target.

Suppress uninitialized variable warnings.

GCC is easily confused by the code we generate.

Compile and link liarc objects as shared with no fatal warnings.

Need to wait for runtime to compile before building liarc ucode.

Teach stackify about bytevectors.

XXX Really it should use bytevectors as the basic type now, and we
should teach it about strings, but this is more expedient since it
was written when string == bytevector and mostly this works out.

Teach the makefile how to make the .pkd files for liarc rules.

Avoid compiler:cross-compiling? in liarc.

Fix typo: SOS_BUILD_TARGETS, not SOS_TARGETS.  Actually build SOS!

Convert to SCHEME_OBJECT * first before subtracting membase.

This system (with or without the change) requires all addresses that
are tagged to be word-aligned, which expands the address space by a
factor of four on 32-bit systems, but means we can't tag pointers to
unaligned instruction addresses.

This means that i386 compiled code won't be able to take advantage of
membase, but it can't anyway without changes to the compiler, which
doesn't know about membase as is.

However, this _also_ means that multiclosures in SVM won't work
because only the first entry (and every four or eight entries) is
guaranteed to be word-aligned.  We could address this by aligning the
entries, and maybe remove the ENTER-CLOSURE instruction overhead by
using indirection for entries like riastradh-20181220-closentry-v3
does for amd64.

(Don't want to change CC_ENTRY_NEW_ADDRESS or anything because
there's an outstanding branch that changes them already for other
reasons.)

Fix dependency ordering.

Isolate directories for clean-compiler rule.

Don't hang in non-parallel makes waiting for input.

Fix stray backslash that was harmless without LIARC.

Rework makefile to use intermediate variables, not rules.

This gives the opportunity for the variables to be files, not phony
rules, to limit rebuilds.  Disadvantage: must be written in
dependency order because make expands variables in dependencies as it
reads them, not lazily.  But this reduces the size of the makefile
quite a bit.

Use stamp_tools to trigger (incremental) rebuild of toolchain.

Rewrite printing of #[...] forms, for simplicity now and later for sharing.

In order to properly implement datum labels for things inside of bracketed
forms, we need to be able to walk the items that are being printed there.
Previously this would have been very difficult since the insides of these forms
were printed by custom printers.  Now they are exposed as individual objects
that can be walked.

Further work is necessary to include these objects when walking the tree.

Integrate PROMISE?.

Small but measurable speed improvement, getting to diminishing
returns after a nearly 7x speed increase on promise-heavy stream
code.

Try EQ? first before the passed-in equality procedure in MEMV &c.

- EQ? must imply the passed-in equality procedure anyway.
- EQ? is open-coded and quick.
- MEMV turns up hot in profiles of the compiler.
- Small but measurable performance improvement compiling the tests.

Integrate GUARANTEE.

For this to be effective, SF makes the assumption that predicates do
not modify their own definitions, like

(define (foo? x) (set! foo? (lambda (x) x #f)) #t)
(guarantee foo? 42)

Such is the depravity of arbitrary side effects not represented in a
type system...!

Fix format words generated by svm1 compiler for internal procedures.

Continuation parser relies on the next-continuation-offset for
internal procedures in interrupt frames.

Configure outcome should not depend on whether lib/all.com exists!

This meant you got a different (and broken) build if you simply reran
configure, which is awfully confusing.  Now we use the native release
marker to change the default behaviour of configure reliably.

What idiot did this, git blame?  ...oh.

Regenerate configure if out of date, not just if nonexistent.

gitignore cross objects and Makefile.tools.

Clean .nib, .ext, and .dkp too.

Rework makefile for cross-compilation with a toolchain again.

We use Makefile.tools only if --enable-cross-compiling is true.
Everything it builds goes under tools/, or should if there are no
bugs -- even intermediate .bin, .com, &c., files.

New usage model does not require any external trees:

% ./configure --enable-cross-compiling --enable-native-code=i386
% make cross-host

% make all

However, the host must be a recent master with new CREF and SF
features for separate source and object roots, so we can't rely on
this to work until we cut a new release with those features.

(It shouldn't be necessary to run _anything_ on the target system,
but we're a ways away from that: we need the cross-compiler to be
able to cope with macros across subsystem dependencies, and we need a
`static' linker, not just a fasloader-and-disk-save.)

Generate the trivial constructor in the objdir, not srcdir.

Define cref/source-root and cref/object-root in host-adapter.scm so
we can still load compiler.sf into old Schemes, which will never have
this distinction.

Teach cref and sf about separate source and object directories.

Expose fasl-format:x86-64 as another name for the amd64 format.

Relevant because MIT_SCHEME_NATIVE_CODE gets set to x86-64, and gets
plopped into `fasl-format:@MIT_SCHEME_NATIVE_CODE' in the makefile.

Change identify-world to show a very brief summary.

* Remove versions from all of the subsystems, except the release.
* Remove microcode and runtime subsystems entirely.

Generalize list-like printing, and support list-breadth limit properly.

Clean up wording around bitless characters.

Remove unused and unexported guarantee-FOO procedures.

Change most places that use bitless-char? to just throw away the bucket bits.

Do the annual copyright update.

In update-copyright, replace use of old regexp with regsexp.

Also adjust the various filename patterns to reflect the current directory
structure.

Clean the compiler subdir too.

Allow alist->bundle to accept #F as predicate.

Also beef up bundle tests a bit.

Fix problem with using bundle? as a bundle predicate.

New printer parameter param:print-hash-number-in-objects?.

Use dispatch-tag-print-name.

Export dispatch-tag-print-name for convenience.