Refactor merge

Use group-by from stdlib

Switch to just calling it urL instead of urI

Check for supported URL scheme and define Download-Result type

Rename Nick-Hist to Url-Nick-Hist

Write url-nick-hist to a single file in addition to multiple

Increase default number of concurrent workers from 5 to 20

Support deny list of domains

Re-org peer set file names and locations

Update crawled peers with most-commonly used nick for each URL

Timeout the body download as well as a response

Leave reminder to parse metadata along with messages

Track nick usage frequency per URL

Save nicks per url

Revert to list as a primary peers container

in preparation for crawling for nicks per URI, for which we need to
allow duplicates.

Fix indents

Type the User uri

Organize User-Agent setting

- type the components
- handle missing peers in me file
- handle multiple peers in me file

Define custom peers-union and simplify crawling

Normalize msg provenance field(s) to just [from : Peer]

Dedup peers by URI

Trigger rebuild on info change as well as main src

since user-agent string gets the version from there.

Move sub-command handlers into top-level functions

Add de-duping TODO

Add cache expiration TODO

Reduce logging noise

Fix upload hook location

Update indentation

Validate crawled peers

if at least one message could be parsed from downloaded timeline.

Return Option on cache read

Save last download error as peer comment

Support comments in peer strings

Store last download status

Close body port regardless of status

Implement timeouts for downloads

Add notes on how to organize "following" parsing

Crawl all cached objects

Support selecting time ranges

Add crawling TODOs

Add help outputs to README

Add Racket 8.0 to tested runtimes

Fix missing mentions field in test Msg construction

Count peers discovered

Sort discovered peer lists

Update README

Dedup read-in peers before using them

Implement timeline crawler

Fix typo

Handle unexpected commands

Add rsync TODO

Check Last-Modified if no ETag was provided

Use the simpler http-client API

Check ETag to prevent redundant downloads

Add check dups TODOs

Add TODO for msg input via FIFO

Add background polling and incremental printing TODO

Add polling and ETag TODOs

Fallback on ~/.tt/peers when peer ref file unspecified

also support multiple given peer ref files.

Mention default PREFIX value in README

Add Racket install instructions for a couple of pkg managers

Add an explicit TODO to update peer ref files on discovery

Add TODO to parse web logs

Add brief configuration section to README

Update nomenclature in TODO

"feed" is now either a "peer ref" or a "timeline"

peer ref : <nick> <uri>
timeline : <timestamp>\t<text> ...

Re-org TODO

breaking into sections and adding some new ones.

Sync log-writer for all commands

not just download.

 Add stats TODO

Fix missing return type

Capitalized the remaining struct name

Rename feed to peer

Parse mentions

Add peer discovery TODO

Jot some thoughts on twtxt.db/block-tree thingie

Add vim modeline to TODO file

Add TODOs for output formats

Switch user feed file from ~/twtxt-me.txt to ~/.tt/me

Sync with logger before exit

Measure and report timeline download time

Migrate from hashing to encoding URL in cache paths

Measure download time and reduce default jobs to 5

Add some more type annotations

Replace inappropriate underscores

Fix TZ offset handling and implement rfc3339->epoch

Add function type annotations

Use lang typed/racket/no-check

Switch to compiled executable

Update TODO

Remove dependency on rfc3339-old

Switch to net/http-client

and overhaul to represent URI as net/url struct

Add TODOs for typed and executable

Support upload command

as an alias to a user-provided script.

Add redirects TODO

Add immutability TODO

Add time range TODO

Support sort order reversal

Update README

Split reading and downloading into dedicated commands

Update format

Restructure to handle subcommands

Bump feature version (more-forgiving TS parsing)