Merge branch 'make-jobs'

Reduce loading verbiage in compile-imail and compile-xml targets.

Their respective compile.scm scripts load everything anyway.

Split compile-edwin target into syntax-edwin/compile-edwin.

Split compile-runtime target into syntax-runtime and compile-runtime.

Dependents of runtime-*.pkd for cref need only syntax-runtime.
Increases parallelism.

Generate an intermediate lib/compiler.com.

We stopped installing this ages ago and hence stopped building it,
but now that each subdirectory is built in a separate process, it's
useful to avoid reloading the compiler repeatedly during the build.

First stab at making top-level makefile jobs-safe for native builds.

This enables coarse-grained parallelization of the build.  There's a
nontrivial amount of crap encoded in the makefile about how to do the
build, but that's better than the nontrivial amount of dependency
crap implied by the total ordering in etc/compile.scm, most of which
can go away once the liarc and svm builds are converted similarly.

This does not restructure the build; we still have various bootstrap
and staging botches going on which we need to get rid of.  Fixing
those nicely will require some changes to liar and sf so that we can
compile a fresh compiler into a subdirectory, say `boot', using the
host compiler, and then use that to compile the system.  Liarc
approximates that with the `boot-root' installation prefix, but that
kludge breaks incremental builds which means we never, ever try to
touch the liarc build because the turnaround time is too painful.

doc: open-tcp-stream-socket

This procedure no longer has buffer-size and line-translation parameters.
Thanks to nick.f.russell@gmail.com for noticing this.

doc: accommodate texinfo 5.1

Thanks to Charles Moss <czm>.

Temporarily: inform older hosts about new type code SEQUENCE.

Like d4d8ea1 this patch allows the released 9.1.1 (LIAR/C
distribution) to compile the compiler.  Without it, make-liarc-dist.sh
fails.  It seems the hack in d4d8ea1 is saved in a native
x-runtime.com but not in a LIAR/C-based x-runtime.com. ?

Don't add empty arguments to -I and -L if pg_config fails.

runtime: Make it nicer to (ge '(R3RS)).

The default parser and unparser expect to find bindings for
e.g. *parser-table* in any given environment, but there are no such
bindings in a package with parent #f (unless you import them).  If you
don't, executing (ge '(R3RS)) puts the REPL into a tight little error
loop.  This patch makes the parser and unparser consult the (USER)
package if they don't find these bindings in the current environment.

Once "in" a package like (r3rs) it is tricky to get out(!).  Entering
(ge '(USER)) will just produce an error: unbound variable GE.  Thus
the default/repl-eval now looks for an unquoted expression and
evaluates it in the (USER) package, so you can enter ,(ge '(USER)) to
get back.

cref: one more place must allow #f for a package's parent.

ffi: Temporay hack is no longer needed.

cref: Support (parent #f) packages.  Punt system-global-package.

The package-structure<? sort did not ensure that BOTH a package's
parent-in-name and parent-environment were created first.  An easier
sort ensures only that the parent-environment is created first.  The
parent-in-name was only needed to hang the "child" on a tree.  This
patch replaces the tree with a list: *packages*.  Thus a
parent-in-name is not needed and the only parent/child tree is the
environment tree.

To catch out old code searching for packages via package/children (as
in swank.scm) the system-global-package binding was removed, as was
package/child.  Package/add-child! seems popular and so is supported
(with only minor trouble, i.e. no APPENDing during the cold load).
Package creation by other means is... not supported.

Add (unused) attribute to Rdl.

This eliminates LAIR/C build log noise to the tune of 70,000 lines!

Typo: thread-queue/dequeue-until!.

Revert this commit when the release can build without it.

These last vestiges of TC_COMBINATION_1, TC_COMBINATION_2, TC_PCOMB0,
TC_PCOMB1, and TC_PCOMB2 remain only to allow building directly from
release 9.1.

Remove all trace of type codes COMBINATION-2, PCOMB0, etc.

This finishes what 3fc580e started.  The resulting system runs but
does not build with the released version 9.1.  That version puts old
combinations in .exts that cannot be fasloaded by this new version.
As the old combination types are no longer compilable nor even
interpretable, it seems the build process loads them but does not use
them.

The following commit will put just the gc handlers back, which is
sufficient to allow building directly from 9.1.

Fix argument order in HASH-TABLE/MODIFY! documentation.

Fix tabification in (runtime hash-table) package description.

Merge Alexey's hash table documentation and tweaks from ages ago.

There was some little issue but I forget what it was.

Warn that weak references are scary and hard to get right.

Redirect to provided higher-level abstractions.

Update hash-table/count for multiple entry types.

Record the reason for the restrictions in hash-table/modify!

I found this non-obvious when I was writing the documentation, so it
seems appropriate to record it somewhere.  On the other hand, it does
not seem appropriate to burden the user with having to read it ---
just obey the restriction and you'll be fine.  Will anyone ever read
comments in the source of the manual?  Is there a better place to
record this knowledge?

Add some concept index entries that seem reasonable.

Update the documentation of hash-table/clean!

Deprecate {strong/weak}-hash-table/constructor.

Flush the detailed description of what they do as having been copied
into the description of HASH-TABLE/CONSTRUCTOR.

Rewrite the hash table constructors section with more weakness options.

Define and export key-ephemeral-eq and key-ephemeral-eqv tables as
replacements for the key-weak versions.

Punt descriptions of old hash table constructor procedures to the
bottom of the section and say they are for backward compatibility.

One may object to MAKE-KEY-EPHEMERAL-EQ-HASH-TABLE on the grounds that
it invites a combinatorial explosion of names:
make-key/datum-weak-eqv-hash-table
make-datum-ephemeral-string-hash-table
make-key&datum-ephemeral-equal-hash-table (!?)
and so on ad nauseam.

Where will it end?  The criterion I used to decide which names to
export and document and which names to leave alone and defer to the
general HASH-TABLE/CONSTRUCTOR mechanism was simply to update the
existing documentation.  The manual already listed
MAKE-WEAK-EQ-HASH-TABLE.  It is now named MAKE-KEY-WEAK-EQ-HASH-TABLE,
so that name is included.  But really, a key-weak table is just a
performance optimization over a key-ephemeral table, to save work when
you know the data will not hold the keys strongly.  So
MAKE-KEY-EPHEMERAL-EQ-HASH-TABLE is in; it was, in fact, the reason I
wanted Taylor to implement ephemerons in the first place.
MAKE-KEY-EPHEMERAL-EQV-HASH-TABLE is in to preserve the symmetry
between eq? and eqv? that was already present in the manual.  But the
rest of them are out, because they weren't there before.  If
datum-weak tables were so important that their constructor really must
be given a name here, then (arguably) why were they not already
implemented and documented?  The fact that MIT Scheme only supported
strong and key-weak tables for a long time suggests that those kinds
are the most common, and therefore the most deserving of slots in the
name space.

Relocate and update the examples of defining hash table contructors.

Now in terms of HASH-TABLE/CONSTRUCTOR and entry types.

Draft documentation of HASH-TABLE/CONSTRUCTOR and all the entry types.

Will adjust the surrounding text to fit it in in a separate commit.

Redirect cross reference to Weak References

on the grounds that that is now the landing page for the discussion of
strength and weakness.

Improve documentation of hash-table/{modify,intern}!

By the mechanism of implementing Taylor's suggestions.  Also add
sentences about average running times.

Deparenthesize.

Collect "Weak Pairs" and "Ephemerons" into a section called "Weak References".

State the common motivation, define the common terminology, and
describe the contrasts between weak pairs and ephemerons in the common
section, and tighten the "Weak Pairs" and "Ephemerons" sections
themselves back to just describing their data structures.

Rewrite the description of intricacies with ephemeron-broken? per
Taylor's recommendation to name the ephemeron explicitly and use more
active language.

Documenting hash-table/modify! and hash-table/intern!.  Also slightly
reworded the introduction to hash-table/lookup, to make it more
positive.

Documenting the fact that MIT Scheme implements SRFI 69, the
relationship between the MIT Scheme native hash table API and the one
specified by SRFI 69, and the reason why it is appropriate to provide
both (it's not pure backwards compatibility).  This includes
documenting the bugs in SRFI 69.

Grammar.

Pointing out what ephemerons are for; emphasizing the special feature
of ephemerons, and the distinction between ephemerons and weak pairs.

Clarifying that ephemeron-broken? indicates that an ephemeron is whole by returning #f.

Correcting a typo.

Undo commit 93d3d5c so that "out of memory" need not be The End...

...even in batch-mode.  The effect of 93d3d5c can be had more
elegantly, as pointed out in 6b3f8e0: "Always wrap stdin in a (begin
...)..."

tests: Replace : with / so progress notes are not errors to Emacs.

Add thread-queue/dequeue-no-hang!, rm peek-until, fix -no-hang.

Fix when-non-empty-before, which did not append! to waiting-dequeuers,
and thus would only time out.

Un-export peek-until.  Its TIME argument is... weird -- not universal.
Swat can import it.

Finish replacing type code SEQUENCE-2 with SEQUENCE.

Hack runtime.sf to inform older hosts about new type code.

Unparse the symbol whose name is `.' as `|.|'.

Add a trivial test for it.

Found by Pavel Panchekha.

microcode: Quiet some unused-but-set-variable warnings.

Report a meaningful error message if the TUTORIAL file is hosed.

Support callout struct and union parameter and return types.

Requested by Peter Feigl <craven@gmx.net>.

Update old "package: (ffi syntax)" comments.

Do not setsid() just because of --batch-mode.

Commit 6b474c5 has turned --batch-mode into something like a
--background option, ensuring that setsid() is called.  Re-worked the
logic so that tty interrupt characters are not frobbed in batch-mode
AND setsid() is not called (except according to the curious but
ancient heuristic/default: when there is no tty on stdin, stderr and
stdout and no --emacs option).

Work around broken IMAP servers that give bogus responses to FETCH.

Tidy up local declarations in DEFINE_BIT_COUNT.

`static' is pointless (and causes `gcc -O0' to actually allocate
static storage for them), and using uintmax_t rather than TYPE is
overkill.

Fix some ignored variable warnings in swank.scm.

Add BIT, BITS, SHIFTIN, and SHIFTOUT, for handily hacking bit fields.

Fix READ-PACKET in swank.scm to cope with partial reads.

Thanks, ecraven.

Support new location of Xcode 4.3 and later; just warn if can't find SDKs directory.

Integrate CALLER argument in guarantees.

Remove last remnants of SEQUENCE-3.  Rename return code for sequence-2 to sequence-continue.

Remove last vestiges of IN-PACKAGE.

Make LOCAL-DECLARE a macro.

Spelling correction.

Fix recent typo in User Manual (again).

Fix recent typos in User Manual.

Export flo:modulo

Add flo:modulo

Use internal-time/seconds->ticks in thread-queue/*-no-hang.

Moved test procedure to tests/runtime/test-thread-queue.scm.

Fix OS_pause on Unix to correctly restore the sigmask.

Use sigsuspend in new OS_pause, else wait-for-io must spin.

The test-select-registry primitive now calls OS_pause instead of
OS_test_select_registry to block with an empty registry.

ffi: Replaced serror with swarn, so syntaxing can continue.

Transform bogus syntax into a call to error.

Use pollts if it is available but ppoll is not.

Also change all references to the poll/select variants to use the UX_
names.

All four ways -- select, select & pselect, poll, poll & pollts --
tested on a NetBSD 6.99.4 kernel running a NetBSD 5.1 userland by
tweaking config.h by hand.

Use ppoll() and pselect() when available.

Use them only when a test-select- primitive should block.  The old
poll()/select() functions continue to be used when not blocking,
e.g. in uxsock.c's do_connect().

edwin: Fixed arrow keys in xterms.

Added ts-enter/exit-keypad-mode and used them in console-enter/exit!.

Added --args and -- option parsers, and a command-line procedure.

Process all queued X events, not just one, if I/O is ready.

X-DISPLAY-PROCESS-EVENTS may have the side effect of moving events
from the kernel's pipe buffer into Xlib's queue, in which case after
processing one event there may be more events pending in the queue
but no more I/O pending on the pipe.  Before this change we failed to
report these other events in a timely fashion.

Do this both in Edwin's xterm.scm and the runtime's x11graph.scm.

Add cruft to confshared.h for ARM.

Works on the Raspberry Pi and the BeagleBone, which seem to be,
remarkably enough, the first ARM platforms on which anyone has ever
tried to run MIT Scheme.

Ask Xlib for events before blocking on the display in x11graph.scm.

Fixes race whereby Xlib may have queued up events already before we
ask the OS about I/O on the underlying file descriptor.  This can
cause us to fail to notice an event until a second one comes along,
so that, e.g., a newly created window will hang until you move the
mouse over it or similar.

Remove alternate/optimized types of scode combinations from runtime.

Remove now-unnecessary comment about 64-bit machines.

Fix broken memory allocation on 32-bit OS X.

Add missing comma in fixobj.h in FIXED_OBJECTS_NAMES.

Turned up while building on arm.  I guess there just must have always
been a zero in memory after this array in utabmd.c on every other
platform!

Add fmod as primitive FLONUM-MODULO.

microcode: Fix start in mmap_heap_malloc_search for __linux__.

The AppArmor hack moved and missed its chance to frob start.

Added warn-errors?, like ignore-errors, to turn errors into warnings.

tests/unit-testing.scm: Start report with a fresh-line.

tests/ffi/: De-register callback.  Document asserts.

doc/ffi/ffi.texinfo: Frob whitespace.

ffi/Makefile-fragment: Always wrap stdin in a (begin ...)...

ffi: Fix free to update malloced-aliens.

Merge branch 'ecraven-swank'

Basic support for describing things in swank.

* Describing
Adding basic support for SWANK:DESCRIBE-FUNCTION and
SWANK:DESCRIBE-SYMBOL.

Fix basic debugging problems.

* Debugging
There are numerous problems, including no replies sent to messages and
incorrect replies.
- Added condition/report-string to the abort message.
- Added a DYNAMIC-WIND in the condition handler in the message handler
  for emacs-rex to ensure that the :abort message is always written,
  even when a restart is called.
- Added a global (fluid) binding *index* that is used to send the
  correct message index in the :debug message.

There are many problems remaining, to be tackled in a later commit.

Adding directory support to swank.scm.

* Directories
Added directory functions SWANK:DEFAULT-DIRECTORY and
SWANK:SET-DEFAULT-DIRECTORY for slime commands ,!d ,cd ,+d ,-d
,change-directory ,push-directory ,pop-directory ,pushd ,popd ,pwd

Adding completion function swank:completions as an alias for swank:simple-completions.

* Completion
Trying to auto-complete in the REPL raises condition "Unbound variable:
swank:completions". It seems swank added swank:completions in addition
(or instead of?) swank:simple-completions.

Add autodoc for procedures

* Autodoc
Actually implement swank:autodoc. It is called with a list form that contains the special symbol swank::%cursor-marker% somewhere to show the position of the cursor.
The new procedure FIND-STRING-BEFORE-SWANK-CURSOR-MARKER returns the symbol that starts the expression which contains the cursor as a string.
The new procedure PROCEDURE-PARAMETERS returns a list containing the function name and the list of parameters (as printed by PA) if symbol is bound to a function.
The new variable SWANK-EXTRA-DOCUMENTATION contains an (incomplete) list of "parameters" to special forms and macros.

Now we have working autodoc in the REPL and in Scheme buffers.

Updating swank.scm to work with current slime-cvs

* Startup Problems [when using Emacs setting (slime-setup '(slime-fancy))]
- M-x slime raises condition "Unbound variable: swank:swank-require"
  => fixed by defining swank:swank-require to return '()
- M-x slime shows "error in process filter: Can't find suitable coding-system"
  => fixed by adding :encoding (:coding-systems ("utf-8-unix" "iso-latin-1-unix")) to the connection info
- M-x slime raises condition "Unbound variable :conding-system" (which is due to all parameters being evaluated)
  => fixed by adding QUOTE-SPECIAL and mapping it over the parameters (quoting all keywords [symbols that start with a colon] and T and NIL)
- Typing an expression raises condition "Unbound variable: swank:autodoc"
  => fixed by defining swank:autodoc to return (list ':not-available 't)
- Slime complains about mismatched versions
  => fixed by changing :version in swank:connection-info to "2012-05-02" which matches slime-cvs

Now we have a working SLIME REPL again.

Merge branch 'amd64-load-char-bug'

Fix syntax of MOVZX instruction in LOAD-CHAR-INTO-REGISTER.

Thanks, mejja.

We need to check this stuff at compile-time...blahhh.

Try harder to mmap heap space.

Using mmap rather than malloc is important because we need read,
write, and execute privileges for the pages.

Some day, maybe we can change that requirement, but that day will not
be for a while.

Rework mmap_heap_malloc.

Don't do mmap(MAP_FIXED) unless we know the address space is free.
Otherwise it will clobber whatever else was there, including, say,
the text segment of the microcode!