Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

gdbm plugin: Add a manual, a translation of the gdbm texinfo manual.

And take advantage of new Unicode string support in the FFI.

ffi: Peek C strings as non-legacy strings, else bytevectors.

When the FFI peeks at a C string (ASCII and null terminated) it now
copies the characters into a ustring (rather than a deprecated legacy
string).  If the C string contains non-ASCII characters, the FFI
returns a bytevector, passing the decoding problem on to higher
levels, and avoiding an extra copy (from bytes to string) when no
translation is needed.

Add c-peek-csubstring, a version of c-peek-cstring that takes a byte
count and does NOT require the C string to be null terminated.

Support OR in syntax-check.

Handle case where XCode SDK doesn't match running OS.

Restore SIGQUIT handler so I can enter breakpoints again.

Call close-textual-in/output-port, not close-in/output-port.

Former is noop for non-input or non-output port; latter is error.

Fixes close-port on something that is only a textual input port or
only a textual output port.

Avoid stack overflow with long responses.

Add blowfish-cbc tests.

Add standard Blowfish tests.

Fix test failures caused when no support for non-standard fp traps.

This is the case on macOS.

Simplify previous fix to string-trimmer.

Fix warnings from macOS compiler.

Merge branch 'master' of git.sv.gnu.org:/srv/git/mit-scheme

Fix incorrect use of && where & should have been used.

If n is zero, there will be no higher bits set; skip this test.

Rip out microcode mhash module.

Eliminate optional mhash dependency in fasdump.c.

Rip out vestiges of MD5 loadables.

Eliminate MD5 as a loadable microcode module.

Unconditionally include a new portable C implementation.

First draft of SHA3-256 with minimal tests.

Probably full of fenceposts but this is all I have energy for at the
moment.

blowfish plugin: Add texinfo manual, scraped from OpenSSL manpages.

x11/x11-base (->cstring): Convert 0 to the null pointer.

pgsql plugin: typos, e.g. banish vagrant scminfodir.

ustring (string-trim): Handle strings trimmed to nothing.

Also added tests for string-trim.  Thanks to Peter <craven@gmx.net>.

Add common integer bit string ffs, fls, ctz, and clz.

(ffs x): find first set, 1-indexed with 0 for 0
(fls x): find last set, 1-indexed with 0 for 0 (same as integer-length)
(ctz x): count trailing zeros (same as ffs)
((clz n) x): count leading zeros in n-bit word x

Fix typo: port/state should give the state, not the type.

Noted by ecraven.

Eliminate no-longer-used conditional.

Fix typo when reading symbols without #!fold-case.

x11: Ensure C strings are null terminated.

gdbm: Ensure filename for do_gdbm_open is null terminated.

microcode/cmpauxmd/i386.m4: typo

runtime/syncproc: Eliminate spinning, and blocking.

The run-shell-command spins when it is copying both stdin and stdout.
E.g.

    (call-with-input-string "Lorem ipsum dolor sit amet\n"
      (lambda (in)
(run-shell-command "sleep 10; cat" 'input in)))

will keep your machine busy for 10 seconds.

When it is not spinning, the procedure blocks for large bufferfuls.
During the evaluation of

    (run-shell-command
     "i=0; while [ $i -lt 5 ]; do echo $i; i=$[$i + 1]; sleep 1; done"
     'redisplay-hook flush-output-port)

you will not see 5 lines of output, one each second, but all 5 lines
at once after 5 seconds, despite the redisplay hook [Linux 4.10.0
glibc 2.24].

This new copying process eliminates the blocking AND the spinning.  It
keeps stdout in nonblocking mode and uses suspend-current-thread to
block.  It handles short writes too.  The ports sourcing/sinking
stdin/stdout are required to block.

microcode/cmpauxmd/x86-64.m4: Wordsmith commentary for specificity.

microcode/debug: Add ustring support, Stack(), Print(), brevity.

Print is just the renamed Debug_Print, renamed for brevity in debugger
commands.  Rename do_printing to print_object and punt the detailed_p
parameter, and the gotos, and handled_p.  Move the bulky compiled
entry handling to a separate function: print_compiled_entry.  Punt
checking for a "closed" stack frame in verify_stack().

microcode: Do not save history_register locally.

The required change to C_call_scheme is described but not implemented.
C_call_scheme has other problems(?).  Preferring a rotated history to
a broken history (broken by a GC during a callback) for now.

microcode: Restore frame pointer as well as stack pointer.

ffi: Follow example of C_call_scheme; eliminate aborts.

Keep callouts simple, fast.  Make callbacks save/restore machine state
(last_return_code, mainly) and use RC_END_OF_COMPUTATION instead of a
special primitive (return-to-c), like C_call_scheme.  Punt the
pop_return_p parameter of Interpret; instead, leave #f in EXP and
Re_Enter_Interpreter, also like C_call_scheme.  Add re_enter_scheme to
pop machine state pushed by abort_to_c (used when state cannot be
saved locally, as in the glib plugin's run_glib).

Add a gc-flip to the test callback.

Fix syncproc test to avoid bashism.

Add Keccak-f[1600] primitive operating on byte vectors.

Won't break any speed records with all the copying and byte order
conversion but will work at least and be handy for exploration.

Fix thinko in previous change.

We want to close an I/O port when both channels are the same and the other one
is marked closed.

tests/runtime/test-syncproc: Enabled, with 3 more basic tests.

runtime/binary-port (close-binary-output-port): Close output chan.

Close-binary-output-port was not closing the output channel of a
binary IO port when input and output channels were not the same
(e.g. when the port is the IO of a subprocess).  Close-binary-input-
port seemed to have the same thinko.

pgsql plugin:  Typos.  Check script should warn (not die) w/o DB.

runtime/stringio (string-in/read-substring): Swap src/dst strings.

pgsql plugin: New, from the pgsql microcode module.

ffi/build (read-html-title): Use core regsexp.

Also: write-direntry now just uses string search and un/compress-file
loads the synchronous-subprocess option quietly.

Fix missing argument.

Noted by mejja.

x11-screen plugin: Update README, NEWS, version.

x11 plugin: Convert to iso8859-1 rather than utf8.

And avoid converting if the string is already ASCII.  Also fix the
subsystem version number, and update README, NEWS, etc. following the
examples of the other plugins.

test-ffi-wrapper: c-peek-cstring can now return a legacy string.

Move re-compile-char-set from rgxcmp to chrset.

This is a dependency of regsexp, which didn't work unless the regular-expression
option was loaded.

world-report: missing PORT in call to write-string

doc: Define PACKAGE_TARNAME (for docdir) in make-common too.

mcrypt-check.sh: Load-option for run-shell-command.

runtime/crypto: Allow strings for module names; fix a string-append.

plugin READMEs: Suggest the new import procedures.

plugin AUTHORS: generalize

plugins: Re-sync with runtime; allow strings as well as bytevectors.

plugins: Use add/remove-plugin procedures.  Increment versions.

Add add-plugin and remove-plugin; maintain an Info index.

The postrm Debian installation scripts do not work if they are run
after the core package is removed.  And prerm scripts do not work if
they update indexes based on what is installed.  (The package being
removed is still installed.)  Replace update-html-index and update-
optiondb-index with add-plugin and remove-plugin, procedures that
add/remove names to/from a list.  These work in prerm scripts.

ffi: Accept and return legacy strings for backward compatibility.

doc: Define PACKAGE_TARNAME, part of the default docdir.

Also define PROJECT to make it easier to change the project name.

user-manual: Installing documentation.  And use short @node lines.

Fix MAX_HALT_MESSAGE (after adding 3 more).  Thanks to Joe Marshall.

Fix string-for-primitive as pointed out by Matt.

Fix typo.

Implement KMP backward search.

Implement a basic test for testing string searches.

Add Knuth-Morris-Pratt search algorithm for forward searches.

Still need to implement for backward searches.

Use more aggressive NFC memoization.

Could do the same for NFD but that would use the last available flag bit.

Fix inadvertent removal of primitive body.  Thanks to Matt Birkholz.

Update test to get it working again.

Make write-xml port argument optional.

Change UCD converter to ignore derived properties.

Add original ucd file for completeness.

Change NFC normalization to use MAYBE values of NFC_QC.

Revert earlier change and try a new approach for char-set predicates.

Change parser-buffer to return immutable strings.

Fix typo from previous change.

Change XML output to use predicate dispatcher.

Fix typo in cached handler sets.

Register char and char-set predicates.

Add ability to register predicates earlier in the boot sequence.

Clarify some details about the regsexp implementation.

Fix bug: incorrect assumption of mutability.

Document return values from binary write operations.

Also add text about non-blocking mode.

Add examples of regsexp patterns.

Change regsexp {,inverse-}char-set to char-{,not-}in.

Rewrite the regular expression section for Unicode-safe implementation.

Also a few small updates here and there.

Document named arguments to char-set and char-set*.

Fix typo.

Change string-trimmer to use general char matcher like string-delimiter.

Fix missed regexp in mime-codec.

Change pgsql to use regsexp.

Use named char-set for whitespace.

Add named character sets.

Add case-insensitive matching.

Change mime-coded to use regsexp.

Change regsexp value to have values of groups instead of indices.

This does weird things when a group is inside a repeat, but that's a bad idea so
DON'T DO THAT!