正在整理你需要的资料…
给 Agent 喂上下文,抓回来的网页和 PDF 满是噪声。pagesift 是自托管的抓取与文档解析层:单个 Rust 二进制把 URL、含 OCR 的 PDF 和 Office 文档等数百种来源转成干净的 Markdown 或 JSON,接口兼容 Firecrawl 和 Jina Reader,也能当 Crawl4AI 的替代。
适合要给 Agent 稳定供给网页与文档上下文的团队:可以自托管,直接顶替 Firecrawl、Jina Reader 或 Crawl4AI,也能当数据管道的基础组件。
下面是把仓库 README 逐节读完后归纳出的中文要点。
给智能体用的网页与文档层:任意网址或文件进去,输出干净的 Markdown 或 JSON;单个自托管 Rust 二进制,带命令行与 MCP 接口。
把抓取和解析做成一件事:网址或本地文件进去,出 Markdown 或结构化 JSON,覆盖单页、整站、扫描 PDF、浏览器动作、变更监控与研究任务。
速览表列出支持的上百种输入格式与源码语言,输出 Markdown、HTML 与结构化 JSON,提供命令行、HTTP、MCP 和多语言绑定,并说明平台与内存占用。
提供四条安装路径:Rust、Python、Node.js 各有对应的包管理器命令,也能用 Docker 镜像启动本地服务,另支持 MCP 注册与 Firecrawl 接入方式。
能力清单:正文提取、自研多格式解析器、OCR 与公式识别、结构化抽取、浏览器动作、网页问答、定时监控、爬取与 WARC 归档,外加运维与安全防护。
基准对比:PDF 转 Markdown 每页 2.4 毫秒、比次优快 20.49 倍,正文提取与 HTML 转换同样领先,内存占用也远低于同类工具。
docker run -d -p 3002:3002 -v pagesift-data:/data -e PAGESIFT_API_KEYS=sk-test ghcr.io/yolow92/pagesift:1.2.7
curl -s localhost:3002/v2/scrape -H 'Authorization: Bearer sk-test' -H 'Content-Type: application/json' \
-d '{"url":"https://example.com","formats":["markdown"]}' # Firecrawl API
curl -s localhost:3002/r/https://example.com -H 'Authorization: Bearer sk-test' # Jina Reader
curl -s localhost:3002/v2/parse -H 'Authorization: Bearer sk-test' \
-F file=@report.pdf -F 'options={"formats":["markdown"]}' # file upload| 主要语言 | Rust | 许可 | AGPL-3.0 |
|---|---|---|---|
| 创建时间 | 2026-10-20 | 最近提交 | 2026-11-16 |
| 站内采集 | 2026-11-06 起,连续观察 13 天 | 最近一次 | 2026-11-18 |
最近 13 次采集
2026-11-06 245 ★ → 2026-11-18 279 ★ (累计 +34)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。