Add crawling TODOs
authorSiraaj Khandkar <siraaj@khandkar.net>
Mon, 29 Mar 2021 12:30:29 +0000 (08:30 -0400)
committerSiraaj Khandkar <siraaj@khandkar.net>
Mon, 29 Mar 2021 12:30:29 +0000 (08:30 -0400)
TODO

diff --git a/TODO b/TODO
index 0e8850c..b48bfd8 100644 (file)
--- a/TODO
+++ b/TODO
@@ -10,7 +10,6 @@ Legend:
 
 In-progress
 -----------
 
 In-progress
 -----------
-
 - [-] Convert to Typed Racket
   - [x] build executable (otherwise too-slow)
   - [-] add signatures
 - [-] Convert to Typed Racket
   - [x] build executable (otherwise too-slow)
   - [-] add signatures
@@ -100,6 +99,21 @@ In-progress
 
 Backlog
 -------
 
 Backlog
 -------
+- [ ] Crawl all cache/objects/*, not given peers.
+  BUT, in order to build A-mentioned-B graph, we need to know the nick
+  associated with the URI whos object we're examining. How to do that?
+- [ ] Crawl downloaded web access logs
+- [ ] download-command hook to grab the access logs
+
+    (define (parse log-line)
+      (match (regexp-match #px"([^/]+)/([^ ]+) +\\(\\+([a-z]+://[^;]+); *@([^\\)]+)\\)" log-line)
+        [(list _ client version uri nick) (cons nick uri)]
+        [_ #f]))
+
+    (list->set (filter-map parse (file->lines "logs/combined-access.log")))
+
+    (filter (λ (p) (equal? 'file (file-or-directory-type p))) (directory-list logs-dir))
+
 - [ ] user-agent file as CLI option - need to run at least the crawler as another user
 - [ ] Support fetching rsync URIs
 - [ ] Check for peer duplicates:
 - [ ] user-agent file as CLI option - need to run at least the crawler as another user
 - [ ] Support fetching rsync URIs
 - [ ] Check for peer duplicates:
This page took 0.031304 seconds and 4 git commands to generate.