ScrapeGraphAI
GitHub 上超過兩萬七千顆星的開源 AI 爬蟲,V2 API 提供 Scrape、Extract、Search、Crawl、Monitor 五個端點,用自然語言描述就回傳 JSON
ScrapeGraphAI 起家於一個開源 Python 函式庫,官網顯示 GitHub 星數 2.73 萬以上、累計擷取超過 2.5 億個網頁、使用者超過 100 萬。現在主力是託管的 API,剛推出 V2,官網形容「更好、更快、更便宜」。
V2 有五個端點:Scrape 把任何網頁轉成乾淨的 Markdown,適合整理文件或準備 LLM 的上下文;Extract 用自然語言提示加 schema,從網頁抽出結構化 JSON,例如「抓 Hacker News 前三則的標題、分數與作者」;Search 先搜尋網路再從結果中擷取資料,可指定地區;Crawl 爬整個網站並為每個連結產出結構化資料;Monitor 依排程監看網頁變化,有變動就透過 Webhook 通知。程式碼範例提供 cURL、Python、JavaScript。它也有 MCP Server,讓 Claude Desktop、Cursor 等 AI 工具即時抓網頁,並強調可作為 RAG 管線與自主代理的網頁存取工具。
功能特色與適用場景:官網列的用途包括電商比價機器人(Amazon、eBay、Shopify)、名單開發、市場研究儀表板(評論、評分、情緒),以及房地產物件追蹤。價格以 API 點數計:免費 500 點,Starter 每月 20 美元 1 萬點,Growth 每月 100 美元 10 萬點並含基本代理輪替,Pro 每月 500 美元 75 萬點;所有請求符合 SOC 2 Type II。對台灣開發者來說,可以先裝開源版本本機試,再視需要改用託管 API;Monitor 端點拿來追蹤競品價格或公告頁變動很方便。抓取前請確認目標網站條款與個資規範。
TheAI學院 編輯建議
編輯實測後的真心話ScrapeGraphAI 是少數「開源社群先紅、再做商業 API」的 AI 爬蟲,這代表你永遠有一條自己架的退路。Monitor 端點是 V2 我最想推薦的新功能。
主要功能
- Scrape:網頁轉乾淨 Markdown
- Extract:自然語言加 schema 擷取 JSON
- Search:搜尋網路並擷取結果資料
- Crawl:爬整站並結構化每個連結
- Monitor:排程監看網頁變化並以 Webhook 通知
- 開源 Python 函式庫與 MCP Server
適用場景
- 電商比價與庫存追蹤
- 把技術文件網站轉成 Markdown 給 RAG 使用
- 監看競品或政府公告頁面變動
- 讓 Claude 或 Cursor 透過 MCP 即時抓網頁
ScrapeGraphAI 的優點與缺點
優點
- 有開源版本可先本機試用
- 端點設計清楚,涵蓋單頁到整站
- 入門方案每月 20 美元,價格透明
缺點
- 免費 500 點為一次性額度
- 進階代理輪替需 Growth 以上方案
- 抓取行為需自行注意網站條款
價格方案
免費 500 點(一次性);Starter 每月 20 美元(10,000 點);Growth 每月 100 美元(100,000 點);Pro 每月 500 美元(750,000 點);Enterprise 另議,以官網為準
ScrapeGraphAI 常見問題
ScrapeGraphAI 是開源的嗎?
它起家於開源 Python 函式庫,官網顯示 GitHub 星數超過 2.7 萬;另提供託管的 V2 API。
有哪些 API 端點?
官網列出 Scrape、Extract、Search、Crawl、Monitor 五個端點。
免費額度多少?
免費方案一次性提供 500 點 API 額度,每分鐘 10 個請求。
使用者評價
還沒有足夠評價,搶先分享你的使用心得!