开源 LLM 网页抓取库,"You Only Scrape Once",说出要抽取的信息即可
MIT 开源的 Python 网页抓取库(ScrapeGraphAI/Scrapegraph-ai,GitHub 31.5k stars,2026-10-05),用 LLM 与 direct graph logic 搭建抓取管线,覆盖 网站与本地 XML/HTML/JSON/Markdown 文档,说出要抽取什么信息,其余交给库完成。 内置 SmartScraperGraph、SearchGraph、SpeechGraph、ScriptCreatorGraph 等管线及 并行多页版本,LLM 可接 OpenAI、Groq、Azure、Gemini、MiniMax 或 Ollama 本地 模型。官方另有托管 API(V2 公告原话 "BETTER, FASTER, CHEAPER APIS"),Scrape 把网页转干净 Markdown,Extract 用自然语言加 schema 出结构化 JSON,另有 Search、Crawl 全站抽取与 Monitor 变更 webhook 通知,配 Python 与 Node SDK, MCP、Skills、CLI 可接入 Claude、Codex、Gemini。API 定价 Free 到 Enterprise 五档(月付/年付,2026-10-05);官网自称累计抽取 250M+ 网页、1M+ 用户, 并标注 SOC 2 Type 2。



暂无相关文章。