debugging

Move GC event support to runtime/gcnote.scm.

Move subprocess event support to runtime/process.scm.

Call smp-gc-finished at end of the primitive GC daemon.

Fix the mask for the GC interrupt.

Ignore errors from close-channel or delete-subprocess.

Name the event registered by block-on-io-descriptor.

Goofy whitespace in signal-select-result.

Call %deregister-gc-event.  Punt registered-subprocesses-running?.

Add type-checking to thread-dead?.

Synchronize processors for GC, purify and fasdump.

Accommodate multiple processors.

Keep the threads running on each processor in the current-threads
vector.  Change the running list into a runnable list: the threads
that are runnable but not currently running on a processor.

Look for IO in yield-current-thread.

Add missing (unlock) to restart-thread.

Punt interrupt-mask/in-threads.

Import without-preemption into runtime/ffi.scm.

Use without-preemption in runtime/ffi.scm.

Prune subprocess event registrations after exited/signalled.

Remove without-interrupts from runtime/intrpt.scm.

It was only used in the internal install procedure where an "atomic"
updated was described.  Punted that and assumed the procedure is not
run in multiple threads concurrently.  It should be called only during
the single-threaded cold load or in a careful developer's REPL(?).

Remove set-fixed-objects-vector! too; assume the fixed objects vector
is not a copy.

Remove without-interrupts from runtime/os2graph.scm.

Set interrupt-mask/all whenever leaving the thread system.

Punt saving and restoring interrupt masks.  Replacing without-
interrupts with without-interruption (with-thread-events-blocked)
makes interrupts moot.  They are now strictly a behind-the-scenes
system mechanism.

Assume there is always a first-running-thread.  Punt checking.

runtime/global: Use without-preemption in with-obarray-lock.

Add without-preemption.

gcfinal: Assume GC daemon is running concurrently with other threads.

ffi: Assume GC daemon must lock out other threads.

mhash: Assume GC daemon must lock out other threads.

gdbm: Assume other threads may run concurrently with the GC daemons.

For master: add with-thread-mutex-try-lock

More checking for no-current-thread.

Remove call-with-current-thread.

Check for no-current-thread.  Lose condition-type.

Eliminate non-local exits from the thread system(?).

Serialize access to (runtime thread) internals.

Multiple processors may use the thread system simultaneously, so
procedures that modify its data structures (or that just want to read
consistent data structures!) must arrange to serialize their accesses.
They must lock an OS-level mutex and unlock it when they are done, all
without-interrupts.  While the mutex is locked, they should NOT signal
errors nor invoke arbitrary hooks, handlers, etc.  Thus there should
be no need for a recursive mutex.

The nonrecursive mutex's atomic sections are implemented in uni-
processing worlds by masking all interrupts.  Inside, a LOCKED? flag
is set and cleared and asserts check that the thread system is locked
(or not!).  Allowing GC interrupts in these sections is left as an
exercise.

The channel-close and process-delete primitives are called inside the
thread system's atomic deregistration operations to ensure that the
timer interrupt or wait-for-io (i.e. test-select-registry called on
another processor) do not use the invalid descriptors.

Clobber fluid-let and the (runtime state-space) package.

UNimplement fluid-let using dynamic-wind as a backward compatibility
kludge.  Subsystems still using fluid-let, e.g. LIAR, must not be run
in multiple threads simultaneously.  Fluid-let no longer provides
thread-local storage.

Replace the uniprocessor-only Hanson/Lamping state-spaces with
Scheme48's multiprocessing-friendly dynamic-points in a new package
(runtime wind).

Replace the previously fluid-assigned bindings state-space:local and
(runtime dynamic)bindings with thread slots dynamic-point and dynamic-
environment.  Lose the error handling in wait-for-io; it runs when
there is no current thread, thus no way to bind-condition-handler.

Fix test-select-registry to "atomically" unmask interrupts.

When SMPing the machine cannot miss e.g a global-GC interrupt, else
the whole world grinds to a halt.  Using (set-interrupt-enables!
interrupt-mask/all) and then (test-select-registry ... #t) admits a
small "hole" wherein such an interrupt can drop, allowing the machine
to block without realizing it missed an interrupt intended to wake it.

The test-select-registry primitive does not actually "atomically
unmask interrupts" but simply ignores the mask inside its critical
section -- as if the mask was interrupt-mask/all.

Adjust branches so that, when not blocking, the simpler poll/select is
called (rather than ppoll/pselect).

Eliminate loops that re-try after masked interrupts arrive since all
interrupts are considered unmasked here.

Add register-gc-event, deregister-gc-event, registered-gc-event.

Hook/record-statistic! is now a simple procedure or #F; it is no
longer a fluid.  With-gc-notification now uses dynamic-wind to
register and deregister a thread event for the current thread.

Replace subprocess status ticks with thread events.

Without without-interrupts, ticks do not work.  It is possible to
block even though a subprocess has changed state between the last
observation of the global status tick and the suspend.  Passing the
observed tick to suspend-current-thread would allow it to check for
new ticks in the atomic section wherein it decides if the thread
should suspend, but using with-thread-events-blocked for without-
interrupts suggests a "cleaner" solution: subprocess thread events.

The new procedures register-subprocess-event and deregister-
subprocess-event are now used by Edwin in SMPable worlds.  ANY main
loop managing subprocesses AND IO should be using register-subprocess-
event along with with-thread-events-blocked and suspend-current-thread
for SMPability.

Block-on-io-descriptor now uses with-thread-events-blocked instead of
without-interrupts but it does NOT use register-subprocess-event AND
WILL NOT UNBLOCK WHEN A SUBPROCESS CHANGES STATUS.

Unfortunately this breaks Edwin on OS2 and Win32 where it is now
possible for Edwin to block for keyboard input without noticing that a
subprocess has exited.  Edwin's main loop in these worlds needs to be
updated to use a "suspend loop" and register-subprocess-event even
though they do not actually multi-process.

Subprocess-wait now uses a suspend loop like the one in block-on-io-
descriptor rather than blocking for the rest of the thread's timeslice
in the process-wait primitive.  Synchronous subprocess management now
uses this procedure instead of the curious subprocess-wait* (the only
remaining procedure using ticks).

Thus SUBPROCESS-GLOBAL-STATUS-TICK and SUBPROCESS-STATUS-TICK are
eliminated.

Conflicts:
src/runtime/thread.scm

Reimplement permanently-register-io-thread-event for SMPability.

Remove permanent tentries (waiting thread entries) from
io-registrations.  Replace them with an event wrapper that loops,
re-registering after the wrapped event finishes.  The loop assumes IO
is being consumed during the event.  If not, it may spin forever.

Remove the notion of registering for the "front" of the queue too.

The X graphics device must take care to de-register its IO event
before closing the display, else the thread system may apply test-
select-registry to a closed descriptor.

Do NOT use permanently-register-io-thread-event in Edwin.

Edwin does not consume the IO in the thread event.  This worked in a
uni-processing world where another thread could consume the IO in
round-robin fashion, but in an SMPing world there is no way to know
when it is appropriate to signal another event.  In a naive
implementation (without special handling of these events), an idle
processor would spin, queuing MANY "IO ready" events to one thread
until another thread consumed the IO.

Edwin's X11 and console display types now block for IO on multiple
descriptors, the X or tty descriptor PLUS the subprocess output
descriptors.  They no longer use permanent IO thread events to handle
the latter.

Edwin's remaining uses of permanently-register-io-thread-event are in
single-threaded OS2 and Win32 worlds.  The runtime's only uses are in
the OS2 and X11 graphics devices where the IO *is* consumed during the
event.

Punt unused variable slots and mention of dangerous bindings.

src/wabbit/README: typos

svm: typo

doc: The User Manual is for version 9.2.

doc: the dynamic context is the dynamic state

And unparenthesize a sentence.

doc/index.html: Factor out redundant words.

doc: Punt old and redundant discussion of constant space.

Remove without-interrupts from runtime/process.scm.

Serial access to a subprocess is the responsibility of the user.  Thus
subprocess-i/o-port and close-subprocess-i/o do not need without-
interrupts to implement it.

Closing a port twice should not signal an error, so subprocess-delete
and close-subprocess-i/o do not need even without-interruption.
However they should close the port before clearing the subprocess
slot, else an abort could drop the port and it's channels may not be
closed for an arbitrarily long time.

Status sync could miss changes and subprocess-i/o-port and
make-subprocess could drop a subprocess or port if aborted mid-stride.
They now use without-interruption.

Remove without-interrupts from runtime/x11graph.scm.

Replaced it with without-interruption.  Presumably the desire was to
keep the permanently registered IO thread event from interrupting
itself.

Remove without-interrupts from runtime/random.scm.

Use a mutex to serialize access to the default random state.  Serial
access to other random states is still the responsibility of the user.

Remove without-interrupts from runtime/queue.scm.

Add make-serial-queue and use it in runtime globals: the event
distributors, GC daemons and REPLs.  Note that the "safe" queue
operations, when applied to non-serializing queues in SMPing worlds,
are NOT thread-safe.  This only happens in LIAR, SWAT, Edwin, X11
Graphics and OS2 Graphics -- single-threaded applications.

Serialize access to the population-of-1d-tables.

Allow create-thread to be run by multiple threads concurrently while
still accessing the population-of-1d-tables serially.

Remove without-interrupts from runtime/io.scm.

Channel-read and channel-write used without-interrupts for atomicity,
to avoid calling primitives with a channel another thread has closed.
The resulting errors may have been expensive to handle, but the cheap
technique of calling without-interrupts is ineffective in SMPing
worlds.  Assuming most channels are used by one thread and will not
encounter these errors, just punt the calls to without-interrupts.

Serialize modifications to the channel table (esp. channel-close) via
the open-channels gc finalizer's atomic section and the new
with-gc-finalizer-lock procedure.

Remove tty-input-channel and tty-output-channel from general use.
They are only used in a cold load initialize-package! procedure and an
after-restore reset-console procedure.  They are not fit for general
use, creating a new channel object each time they are called, only the
newest one of which is returned by descriptor->channel.  Assume these
procedures are only used in single threaded fashion.

In open-pty-master, directory-channel-open and make-select-registry,
replace without-interrupts with without-interruption to avoid dropping
a channel or registry because of an inopportune abort.  GC finalizers
like open-channels and open-directories (and select-registry-
finalizer) are already serializing.

Do NOT export channel-descriptor-for-select to the () package.  Assume
select registries and their result vectors are used ONLY internally,
in single threaded fashion, by the thread system.  Punt the
unnecessary and now useless calls to without-interrupts.

In dld-load-file and dld-unload-file, serialize access to the
dld-handles via dld-handles-mutex.

Remove without-interrupts from runtime/infutl.scm.

Without-interrupts was used to make atomic accesses to the
uncompressed-files cache and the wrappers-with-memoized-debugging-info
population.  To replace it, a serial population is used and the
uncompressed-files cache is punted.  The latter is hopefully
unnecessary on modern machinery.

Remove without-interrupts from runtime/hashtb.scm.

Serial access to particular hash tables is (now?) the responsibility
of the user -- all access, not just modifications (because of lazy
rehashing).  Serial access to the list of all address hash tables is
now the responsiblity of a serial population.

Most calls to with-table-locked! (aka without-interrupts) are now
calls to without-interruption (to postpone inopportune aborts).

Remove with-absolutely-no-interrupts from runtime/hash.scm.

Use a thread mutex to serialize access.  Simplify an ancient
implementation by using the new datum weak and key weak hash table
types. Initialize the package AFTER (runtime hash-table).

Remove without-interrupts from runtime/global.scm.

Clean-obarray runs as a secondary-gc-deamon and thus, in SMPing
worlds, it may run in parallel with other threads on other processors.

A number of primitives and compiler utilities modify the obarray so an
SMPing microcode will use a pthread mutex to serialize access to it.
Clean-obarray now uses a new procedure, with-system-obarray-lock, that
uses new primitives to participate in the serialization.

Remove limit-interrupts!.  Like without-interrupts, it will not work
as expected in SMPing worlds.

Remove without-interrupts from runtime/generic.scm.

Serial access to particular generic functions is still the
responsibility of the user.  Serial access to the
generic-procedure-records table is now ensured by a thread mutex.

Remove without-interrupts from runtime/geneqht.scm.

Serial access to a particular table is still the responsibility of the
user (e.g. SOS procedures?), but the list of all address hash tables
is now a serial population.

Add make-serial-population.

Also add empty-population! and for-each-inhabitant.

Do not export the /unsafe procedures even to (runtime); require that
they be explicitly imported (specifically exported?).  Use the /unsafe
procedures in (runtime 1d-property) and (runtime thread) package
initializations to avoid trying to lock the population-of-populations
too early in the cold load.

Remove without-interrupts from runtime/gcfinal.scm.

Serialize access to the list of gc finalizers and to each finalizer.

Initialize the thread system early in the cold load.

Thus with-thread-mutex-lock can be used during initialization of most
packages.  Avoid using the global set-interrupt-enables! binding in
dynamic-wind because it is now called so early.

This anticipates removing without-interrupts from gcfinal.scm and thus
calling with-thread-mutex-lock during make-gc-finalizer, e.g. during
the initialization of the (runtime string) package.

Remove with-absolutely-no-interrupts from runtime/gc.scm.

Default/purify and default/gc-flip modified the constant-space-queue
under the cover of with-absolutely-no-interrupts, which is no longer
atomic.  Serializing these procedures is a trick because the latter is
invoked by the GC interrupt.  (Thus ABSOLUTELY no interrupts were
allowed?)

But there is no need for default/gc-flip to remove items from the
queue.  Flush-purification-queue! will know that its queue is "empty"
when its head is in constant space.  Thus the interrupt no longer
modifies the queue, and the queuing process is serialized in the usual
way.

Since primitive-purify cannot fail for lack of space, ancient error
signals and retry loops are also eliminated.

Define make-thread-mutex early.

Global data structures like event-distributors and gc-daemon queues
need to serialize operations and could use thread mutexes except that
they are naturally created early in the cold load, before the thread
system is loaded.  So the mutex data structure is defined (withOUT
define-structure syntax) in a new file: runtime/thread-low.scm.  The
rest of thread.scm must be loaded after record.scm.

This breaks the circularity where thread system initialization
requires population and 1d-table operations which are serialized by
the thread system.

Remove without-interrupts from runtime/sfile.scm.

Serialize access to the files-to-delete element of the fixed-objects
vector.

Remove without-interrupts from runtime/rgxcmp.scm.

Add a mutex to each of the memoization caches.

Remove without-interrupts from runtime/ffi.scm (mostly).

Modifications to the registered-callbacks vector and the malloced
aliens list are now serialized by mutexes.  Call-alien still needs
without-interrupts.  It must avoid preemption during a callback.

Remove without-interrupts from runtime/string.scm.

It was only used to postpone aborts that would drop an external string
descriptor.  The interrupt mask manipulation in %string-head! only
postpones a GC flip while the local heap is edited.

Remove without-interrupts from runtime/rbtree.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.

Unalias with-absolutely-no-interrupts in runtime/prgcop.scm.

It is not atomic in multiprocessing worlds.  The alias "atomically" is
no longer appropriate.

Remove without-interrupts from runtime/parser-buffer.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.

Remove without-interrupts from runtime/gencache.scm.

It was only used to postpone aborts that would leave data structures
inconsistent.  Access to these caches needs to be serial.

Remove without-interrupts from runtime/gdbm.scm.

It was only used to postpone aborts that would leak gdbfs.

Remove without-interrupts from runtime/crypto.scm.

It was only used to postpone aborts that would leak mhash contexts.

Remove without-interrupts from runtime/condvar.scm.

Multi-threaded access to the chain of waiters is already adequately
serialized by the condition-variable.lock.  Without-interrupts was
only intended to postpone aborts that would leave a doubly-linked
chain without a complete pair of links.

Add without-interruption, to replace without-interrupts...

...where atomicity is not needed.  Without-interrupts is deprecated
because it is broken in multiprocessing worlds where it cannot provide
the atomicity it guarantees in uniprocessing worlds.

debug.c: Add a get-interrupt-code primitive.

debug.c (print_string): Summarize long strings.

Mark with-thread-events-blocked stack frames with the symbol.

These frames can then be recognized in Debug_Stack_Trace output.

Fix another typo in commit 2a447ff.

Fix typo in commit 2a447ff.

Fix VECTOR-8B->HEXADECIMAL/UPPERCASE test.

Add error checking to entity and apply hook operations.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

No recursion needed: use WITH-THREAD-MUTEX-LOCK.

New WITH-THREAD-MUTEX-LOCKED rejects recursion like LOCK-THREAD-MUTEX.

Revert "Remove support for recursion in WITH-THREAD-MUTEX-LOCKED."

This reverts commit d7241d6fe8b151f6d15db9cac8fba44b074ca215.

Evidently people did rely on this.

Use logarithmic balancing rather than bounded balancing for wttree.

Factor out wttree balancing criteria.

Add vector-8b<->hexadecimal tests.

Fix hexadecimal->vector-8b for real.

Add outf_error_line; use it everywhere.

Use it for brevity.  Later when each outf_ operation involves grabbing
a mutex, use it for efficiency.

Fix Do_Micro_Error to respect stack direction, and print arguments.

Use INTERRUPTABLE_EXTENT in OS_pause when !HAVE_SIGSUSPEND.

Just warn when set-debug-flags! is used on a non-debugging machine.

doc: Clean up doc-config.scm.

doc: Configure --disable-* should disable build as well as install.

Add a TARGETS variable to collect ENabled targets, like INST_TARGETS.