xhy/baidu-reporter
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
baidu-reporter/README.md
xhy f8b7898d35 采集器完成
2025-03-28 23:19:42 +08:00

339 B
Raw Blame History

baidu-reporter

  • crawl_engine:
    • 从任务队列中获取待爬取的 URL，打开百度搜索收集链接，结果存入 surl 表中
  • evidence_engine:
    • 轮询 surl 表，检查还没有收集证据的 surl，开始收集证据
  • reporter_engine:
    • 轮询 surl 表，找到没有被对应渠道举报过的 url，开始去举报