# MoonCrawl 查重报告

日期：2026-10-24（2026-10-30 复查）· 申报人 GitHub ID：guangting0905 · 赛事：2026 MoonBit 黑客松 10 月赛

按赛事章程要求（申报前确认选题不与已有项目重合），通过以下 4 个渠道完成查重。
查重时的原始清单（模块列表、仓库列表）留存于本地工作区，未随仓库分发；
下文的查询接口与关键词可直接复现。

## 1. mooncakes.io（官方包索引，截至 2026-10-24 全量 3,265 个模块）

已下载全量模块清单（`mooncakes-modules.txt`，来源 `/api/v0/modules/statistics`）并按关键词普查：

| 关键词 | 命中 |
| --- | --- |
| `crawl` / `spider` / `scrape` / `scraper` | **0** |
| `robot`（robots.txt 解析） | 4（moonbit-robots、moon-robots、robots-gate、moonbit-robot-vision-formats） |

结论：**robots.txt 等积木库存在，但没有任何采集框架/爬虫项目**。
MoonCrawl 定位为框架层（策略、调度、管道、导出），与积木库是组合关系而非竞争关系。

邻近领域均已被占用（因此放弃这些方向）：RAG 检索（MoonRetrieve、moonchunk）、
WebSocket 客户端（webmocket）、gRPC（官方 protobuf）、SQL 引擎（moonlake）、
文档转换（markitdown）、LSP（mizchi/lsp）、SSH 客户端、OAuth、向量库等。

## 2. awesome-moonbit（官方生态清单）

全清单（160 项）审读：UI 框架、Web 框架（mocket/mars/moonback）、异步运行时
（moonbitlang/async 含 HTTP/网络/文件）、解析器全家桶（toml/yaml/csv/xml/markdown）、
压缩、加解密、图像编解码（mizchi/image 含 AVIF）、桌面（proton）、TUI、
数据库客户端（sqlite3/postgres）等均有覆盖；**无网页采集/爬虫类条目**。

## 3. GitHub（MoonBit 语言仓库 + 往期黑客松参赛项目）

- 搜索 `moonbit hackathon`（仓库，共 23 个结果，除去官方站为 22 个社区项目，
  清单见 `hackathon-entries-github.txt`）：数据工程类居多（流处理、join 质检、
  JMESPath、YAML 解析、CRDT、Rete 规则引擎、排班、疏散仿真等），**无爬虫/采集框架**。
- 搜索 `moonbit crawler/spider/scraping`：无专门仓库（仅通用 moonbit 结果）。
- 按星标榜 Top 20 复核：无同类项目。

## 4. 申报人自有项目

查重时（2026-10-24）guangting0905 在 mooncakes.io 无已发布模块，不存在自撞车。
本项目于 2026-10-30 首次发布 `guangting0905/mooncrawl@0.1.0`（当前 0.1.2），是该账号的第一个模块。

## 结论

**MoonCrawl（网页爬虫框架）与现有 MoonBit 生态及往期参赛项目无重合。**
它复用社区积木（HTTP / HTML / robots / CSV），新增的是目前空白的框架层：
URL 规范化去重、polite 调度（robots + 限速 + 并发上限）、采集管道与结构化导出。

## 放弃的备选方向（同样查重后排除）

| 方向 | 排除原因 |
| --- | --- |
| 飞书/Lark 开放平台 SDK | 查重为 0 命中，可行；但语言特性展示弱、演示依赖企业账号，备选 |
| RAG 检索管线 | 已有 MoonRetrieve、moonchunk，撞车 |
| WebSocket 库 | 已有 webmocket |
| YAML/TOML/JSON 工具 | 前两届已多人提交，重灾区 |
| 规则引擎/CRDT/时序库 | 9 月赛已有人做 |
| OpenAPI Mock Server | 查重 0 命中，可作后备选题 |