Remove debug statements

Parallelize file head sampling

Distinguish between processor and wall times

and report both

Parallelize file hashing

Make ignore-pattern a closure

Count redundant data size

Improve pipeline and metrics abstractions

Expand metrics

Add TODO note for better abstractions

Use "File", rather than "path", as main abstraction

which will help us accumulate and pass around the collected metadata.

Sample file heads and skip unique ones

Refactor CLI options gathering

Update README

Skip files with unique and 0 sizes

Thanks @AeroNotix for the idea!

Add option to ignore filepaths matching a pattern

Improve names in illustrative script

Add README and LICENSE

Tidy-up variant label names

Support outputting to files in a directory

Quote outputted paths

Handle multiple root directories

Rename Directory to Directory_tree

Fix indentation

Handle directories with no regular-file children

i.e. keep exploring child directories when no files remain to process

Handle root path missing or not a directory

Invert abstractions

Rename dupfiles to dups

Make a clean executable name

Report total number of files and execution time

Implement recursive directory walk stream

to avoid the issue with newlines when accepting file paths on stdin.

Initial prototype

works mostly smoothly, except one problem: because we treat each input
line as a filename - the filenames which contain newline characters are
seen as multiple filenames which do not exist.

Root commit