Document REFERENCE-BARRIER.

ffi: Fix callouts that return a struct or union.

I missed a hunk while porting Peter Feigl <craven@gmx.net>'s patch to
commit cf1e855.

Use without-interruption and more locking(!) in gcfinal.scm.

Prepare the GC daemon to run concurrently with other threads; lock each
finalizer while it is cleaned in run-gc-finalizers.

Add without-interruption to add-to-, remove-from-, remove-all-from-,
with--lock, and make-gc-finalized-object, NOT to search- or -elements.
Reset-gc-finalizers also lost its without-interrupts, but it is an
after-restore event already executed without-interrupts.

Remove without-interrupts from runtime/process.scm.

Serial access to a subprocess is the responsibility of the user.  Thus
subprocess-i/o-port and close-subprocess-i/o do not need without-
interrupts to implement it.

Closing a port twice should not signal an error, so subprocess-delete
and close-subprocess-i/o do not need even without-interruption.
However they should close the port before clearing the subprocess
slot, else an abort could drop the port and it's channels may not be
closed for an arbitrarily long time.

Status sync could miss changes and subprocess-i/o-port and
make-subprocess could drop a subprocess or port if aborted mid-stride.
They now use without-interruption.

Remove without-interrupts from runtime/os2graph.scm.

Remove without-interrupts from runtime/x11graph.scm.

Replaced it with without-interruption.  Presumably the desire was to
keep the permanently registered IO thread event from interrupting
itself.

Remove without-interrupts from runtime/random.scm.

Use a mutex to serialize access to the default random state.  Serial
access to other random states is still the responsibility of the user.

Remove without-interrupts from runtime/queue.scm.

Add make-serial-queue and use it in runtime globals: the event
distributors, GC daemons and REPLs.  Note that the "safe" queue
operations, when applied to non-serializing queues in SMPing worlds,
are NOT thread-safe.  This only happens in LIAR, SWAT, Edwin, X11
Graphics and OS2 Graphics -- single-threaded applications.

Serialize access to the population-of-1d-tables.

Allow create-thread to be run by multiple threads concurrently while
still accessing the population-of-1d-tables serially.

Remove without-interrupts from runtime/intrpt.scm.

It was only used in the internal install procedure where an "atomic"
updated was described.  Punted that and assumed the procedure is not
run in multiple threads concurrently.  It should be called only during
the single-threaded cold load or in a careful developer's REPL(?).

Remove without-interrupts from runtime/io.scm.

Channel-read and channel-write used without-interrupts for atomicity,
to avoid calling primitives with a channel another thread has closed.
The resulting errors may have been expensive to handle, but the cheap
technique of calling without-interrupts is ineffective in SMPing
worlds.  Assuming most channels are used by one thread and will not
encounter these errors, just punt the calls to without-interrupts.

Serialize modifications to the channel table (esp. channel-close) via
the open-channels gc finalizer's atomic section and the new
with-gc-finalizer-lock procedure.

Remove tty-input-channel and tty-output-channel from general use.
They are only used in a cold load initialize-package! procedure and an
after-restore reset-console procedure.  They are not fit for general
use, creating a new channel object each time they are called, only the
newest one of which is returned by descriptor->channel.  Assume these
procedures are only used in single threaded fashion.

In open-pty-master, directory-channel-open and make-select-registry,
replace without-interrupts with without-interruption to avoid dropping
a channel or registry because of an inopportune abort.  GC finalizers
like open-channels and open-directories (and select-registry-
finalizer) are already serializing.

Do NOT export channel-descriptor-for-select to the () package.  Assume
select registries and their result vectors are used ONLY internally,
in single threaded fashion, by the thread system.  Punt the
unnecessary and now useless calls to without-interrupts.

In dld-load-file and dld-unload-file, serialize access to the
dld-handles via dld-handles-mutex.

Remove without-interrupts from runtime/infutl.scm.

Without-interrupts was used to make atomic accesses to the
uncompressed-files cache and the wrappers-with-memoized-debugging-info
population.  To replace it, a serial population is used and the
uncompressed-files cache is punted.  The latter is hopefully
unnecessary on modern machinery.

Remove without-interrupts from runtime/hashtb.scm.

Serial access to particular hash tables is (now?) the responsibility
of the user -- all access, not just modifications (because of lazy
rehashing).  Serial access to the list of all address hash tables is
now the responsiblity of a serial population.

Most calls to with-table-locked! (aka without-interrupts) are now
calls to without-interruption (to postpone inopportune aborts).

Remove with-absolutely-no-interrupts from runtime/hash.scm.

Use a thread mutex to serialize access.  Simplify an ancient
implementation by using the new datum weak and key weak hash table
types. Initialize the package AFTER (runtime hash-table).

Remove without-interrupts from runtime/global.scm.

Clean-obarray runs as a secondary-gc-deamon and thus, in SMPing
worlds, it may run in parallel with other threads on other processors.

A number of primitives and compiler utilities modify the obarray so an
SMPing microcode will use a pthread mutex to serialize access to it.
Clean-obarray now uses a new procedure, with-obarray-lock, that uses
new primitives to participate in the serialization.

Remove without-interrupts from runtime/generic.scm.

Serial access to particular generic functions is still the
responsibility of the user.  Serial access to the
generic-procedure-records table is now ensured by a thread mutex.

Remove without-interrupts from runtime/geneqht.scm.

Serial access to a particular table is still the responsibility of the
user (e.g. SOS procedures?), but the list of all address hash tables
is now a serial population.

Add make-serial-population.

Also add empty-population! and for-each-inhabitant.

Do not export the /unsafe procedures even to (runtime); require that
they be explicitly imported (specifically exported?).  Use the /unsafe
procedures in (runtime 1d-property) and (runtime thread) package
initializations to avoid trying to lock the population-of-populations
too early in the cold load.

Remove without-interrupts from runtime/gcfinal.scm.

Serialize access to the list of gc finalizers and to each finalizer.

Initialize the thread system early in the cold load.

Thus with-thread-mutex-lock can be used during initialization of most
packages.  Avoid using the global set-interrupt-enables! binding in
dynamic-wind because it is now called so early.

This anticipates removing without-interrupts from gcfinal.scm and thus
calling with-thread-mutex-lock during make-gc-finalizer, e.g. during
the initialization of the (runtime string) package.

Remove with-absolutely-no-interrupts from runtime/gc.scm.

Default/purify and default/gc-flip modified the constant-space-queue
under the cover of with-absolutely-no-interrupts, which is no longer
atomic.  Serializing these procedures is a trick because the latter is
invoked by the GC interrupt.  (Thus ABSOLUTELY no interrupts were
allowed?)

But there is no need for default/gc-flip to remove items from the
queue.  Flush-purification-queue! will know that its queue is "empty"
when its head is in constant space.  Thus the interrupt no longer
modifies the queue, and the queuing process is serialized in the usual
way.

Since primitive-purify cannot fail for lack of space, ancient error
signals and retry loops are also eliminated.

Define make-thread-mutex early.

Global data structures like event-distributors and gc-daemon queues
need to serialize operations and could use thread mutexes except that
they are naturally created early in the cold load, before the thread
system is loaded.  So the mutex data structure is defined (withOUT
define-structure syntax) in a new file: runtime/thread-low.scm.  The
rest of thread.scm must be loaded after record.scm.

This breaks the circularity where thread system initialization
requires population and 1d-table operations which are serialized by
the thread system.

Remove without-interrupts from runtime/sfile.scm.

Serialize access to the files-to-delete element of the fixed-objects
vector.

Remove without-interrupts from runtime/rgxcmp.scm.

Add a mutex to each of the memoization caches.

Remove without-interrupts from runtime/ffi.scm.

Modifications to the registered-callbacks vector and the malloced
aliens list are now serialized by mutexes.  Call-alien now uses
without-preemption during a callout (and its callbacks).

Add without-preemption.

Remove without-interrupts from runtime/string.scm.

It was only used to postpone aborts that would drop an external string
descriptor.  The interrupt mask manipulation in %string-head! only
postpones a GC flip while the local heap is edited.

Remove without-interrupts from runtime/rbtree.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.

Unalias with-absolutely-no-interrupts in runtime/prgcop.scm.

It is not atomic in multiprocessing worlds.  The alias "atomically" is
no longer appropriate.

Remove without-interrupts from runtime/parser-buffer.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.

Remove without-interrupts from runtime/gencache.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.  Access to these caches needs to be serial.

Remove without-interrupts from runtime/gdbm.scm.

It was only used to postpone aborts that would leak gdbfs.

Remove without-interrupts from runtime/crypto.scm.

It was only used to postpone aborts that would leak mhash contexts.

Remove without-interrupts from runtime/condvar.scm.

Multi-threaded access to the chain of waiters is already adequately
serialized by the condition-variable.lock.  Without-interrupts was
only intended to postpone aborts that would leave a doubly-linked
chain without a complete pair of links.

Add without-interruption, to replace without-interrupts.

Without-interruption will replace without-interrupts wherever
exclusivity is not thought to be needed -- just uninterruptibility.

Without-interrupts is deprecated because it is broken in multi-
processing worlds where it cannot provide exclusive access to the heap
as it does in uniprocessing worlds.

mhash: Prepare the GC daemon to run concurrently with other threads.

gdbm: Prepare the GC daemon to run concurrently with other threads.

Add with-thread-mutex-try-lock.

Look for IO in yield-current-thread.

Add type-checking to thread-dead?.

debug.c (print_string): Summarize long strings.

Mark with-thread-events-blocked stack frames with the symbol.

These frames can then be recognized in Debug_Stack_Trace output.

Punt unused variable slots and mention of dangerous bindings.

Correct typos in src/wabbit/README.

svm: typo

doc: The User Manual is for version 9.2.

doc: In the microcode the "context" is called "dynamic-state".

And unparenthesize a sentence.

doc/index.html: Factor out redundant words.

doc: Punt old and redundant discussion of constant space.

Add various math/float functions whose absence was getting in my way.

New functions:

- flo:copysign          copy sign from one value to another
- flo:nextafter         next representable floating-point number
- flo:sinh              hyperbolic trig
- flo:cosh
- flo:tanh
- flo:asinh             hyperbolic inverse trig
- flo:acosh
- flo:atanh
- flo:cbrt              cube root
- flo:erf               error function: 2/sqrt(pi) \int_0^x e^{-t^2} dt
- flo:erfc              complement: 1 - erf(x)
- flo:gamma             Gamma function: \int_0^\infty t^{x-1} e^{-t} dt
- flo:hypot             Euclidean distance: sqrt(x^2 + y^2)
- flo:j0                Bessel function of first kind, order 0
- flo:j1                "      "        "  "     "     "     1
- flo:jn                "      "        "  "     "     "     n
- flo:y0                Bessel function of second kind, order 0
- flo:y1                "      "        "  "      "     "     1
- flo:yn                "      "        "  "      "     "     n

These are all in C99 and POSIX.  For beta, incomplete Gamma, and
other such common critters, we'll have to do it ourselves.

XXX Need automatic tests.

Mark microcode/scheme as phony so we always descend into microcode.

Fix comment.  Note it has been fixed in glibc as of 2014-04.

Fix botched ()/#F split in continuation parser.

No more `The object (), passed as an argument to stream-car, is not a
pair.' when trying to debug SIGFPE!

Print one of several messages on normal exit.

Use correct time offset for file age test.

Add procedure CUBE.

Add CONS-STREAM* and CIRCULAR-STREAM macros.

Merge with head.

Fancy unparsing of streams.

Better unparsing of promises.

Fix another typo in commit 2a447ff.

Fix typo in commit 2a447ff.

Fix VECTOR-8B->HEXADECIMAL/UPPERCASE test.

Add error checking to entity and apply hook operations.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

New WITH-THREAD-MUTEX-LOCKED rejects recursion like LOCK-THREAD-MUTEX.

Revert "Remove support for recursion in WITH-THREAD-MUTEX-LOCKED."

This reverts commit d7241d6fe8b151f6d15db9cac8fba44b074ca215.

Evidently people did rely on this.

Use logarithmic balancing rather than bounded balancing for wttree.

Factor out wttree balancing criteria.

Add vector-8b<->hexadecimal tests.

Fix hexadecimal->vector-8b for real.

Add outf_error_line; use it everywhere.

Use it for brevity.  Later when each outf_ operation involves grabbing
a mutex, use it for efficiency.

Fix Do_Micro_Error to respect stack direction, and print arguments.

Use INTERRUPTABLE_EXTENT in OS_pause when !HAVE_SIGSUSPEND.

Just warn when set-debug-flags! is used on a non-debugging machine.

doc: Clean up doc-config.scm.

doc: Configure --disable-* should disable build as well as install.

Add a TARGETS variable to collect ENabled targets, like INST_TARGETS.

Tweak condition variable locking.

- Use WITH-THREAD-MUTEX-LOCKED.
- Use ASSERT-THREAD-MUTEX-OWNED.

No functional changes intended.

Allow thread barriers to be named.

Show the condition, not just its report, in derived condition reports.

That way you can (debug #@n) it or M-x browse-continuation it.

Fix timed condition variable waits.

Sternly advise against non-debugging use of THREAD-MUTEX-OWNER.

Remove support for recursion in WITH-THREAD-MUTEX-LOCKED.

Don't let just any event wake THREAD-JOIN.

Sort names in (runtime thread) package.

Rename GUARANTEE-THREAD-MUTEX-OWNED to ASSERT-THREAD-MUTEX-OWNED.

Fluidize hook/exit and hook/quit.  Add hook/%exit for Edwin.

Replace the fluid-let in src/edwin/intmod.scm with let-fluids.  The
fluid-let kludge in SMP worlds causes Edwin to hang when killed.

Unfluidize (runtime boot-definitions) internal boot-inits.

Replace the fluid-let with its expansion into a dynamic-wind, which
works only if the bootstrap proceeds in one thread and thus
thread-local values for boot-inits are not needed.

runtime/thread-queue.scm: Use a mutex to serialize accesses.

Also, use #f events.  The (lambda () unspecific) events accumulate
unnecessarily.

svm: Make the trap handlers static.

I won't vouch for any speed improvement.  I just noticed all the
others were declared static.

etc/usermap: Update my email address.

Quiet the last CREF complaint on Unix.

Convert references to compiler global variables into
environment-lookup combinations.

Add bindings to edwin/debug.scm; punt browser-evaluator.

Add ansi.scm to (edwin screen console-screen) for unix as well as
dos and nt.  This quiets cref's complaint about termcap.scm's
reference to make-ansi-terminal-description.

The browser-evaluator command was never implemented(?).

Syntax sf before compiler.

The trivial package model of (scode-optimizer) does not include the
internal bindings needed when analyzing (compiler).

Move compile-directory.  Punt sf- and compile-directory?.

Sf-directory? and friend appear to have been broken since
directory-processor started expecting output-type to be a thunk.

Moving compile-directory out of sf/butils.scm and into
compiler/base/toplev.scm eliminates free variable references noted by
CREF.

Add thread barrier abstraction.