three.dev

把 LLM 呼叫改走它的代理伺服器,就會抽樣評分每段正式對話、把問題依根因歸成失敗模式並排序,再透過 MCP 讓 Claude Code、Codex 讀取證據直接改程式,還能比較修正前後

免費或付費
一句話介紹:把 LLM 呼叫改走它的代理伺服器,就會抽樣評分每段正式對話、把問題依根因歸成失敗模式並排序,再透過 MCP 讓 Claude Code、Codex 讀取證據直接改程式,還能比較修正前後

three.dev 是 round3 公司推出的第一個產品,本週在 Product Hunt 上架。兩位共同創辦人都是開發者工具圈的老面孔:執行長 Borja Burgos 先後創辦過被 Docker 收購的 Tutum、被 Datadog 收購的 Undefined Labs,後來在 Datadog 負責開發者可觀測性產品;技術長 Ximo Guanter 待過 Microsoft、Telefónica 與 Datadog。它要解的問題很實際:AI 代理上線後到底錯在哪裡,多數團隊是等客訴才知道。

功能特色與適用場景:接法是把應用程式呼叫 OpenAI、Anthropic、Gemini、Azure OpenAI 或 Amazon Bedrock 的 base URL 改成 gate.three.dev,再加幾個 X-Three 開頭的標頭。官方甚至讓你把一行提示貼進 Claude Code 或 Codex,由程式代理自己找出專案裡所有 LLM 呼叫並接好。之後 three.dev 會抽樣替正式流量評分,自動找出問題並附上證據,再依根因歸成「失敗模式」,標出發生頻率與嚴重度。官網示範是一個網店客服助理:回覆說退款 14 天內入帳,但政策寫的是 30 天,這類錯誤在 8,124 筆中出現 386 次。你按下「交給你的代理修」,程式代理就透過 three.dev 的 MCP 讀取失敗模式與背後的請求、提出程式修改;新版上線後再看前後對比,示範中這個問題降到 16 次,同時也冒出一個新問題。另有可用白話提問的 Chat,以及搶先體驗中的實驗功能(用錄下的流量重播、或只開放一半使用者測新版)與用你自己流量訓練的專用小模型。

和上線前用模擬測試代理的 Plurai,或需要自己寫評測的 Braintrust、Langfuse 比,three.dev 主打不必寫也不必維護評測集,直接從真實流量裡找錯。

台灣使用者怎麼用:適合已經有客服機器人、電商導購或內部知識問答上線,每天有上千次對話的團隊。要留意資料存放在美國 AWS,官方也寫明目前沒有 SOC 2 報告、不適用健康醫療資料,金融或醫療業導入前要先過個資與法遵評估。代理伺服器連不上時呼叫會直接失敗、沒有自動備援,正式環境務必保留一個能切回原供應商的設定。

TheAI學院 編輯建議

編輯實測後的真心話

做 AI 代理最痛的是「不知道哪裡錯」,three.dev 把可觀測性那套歸納問題、排優先順序的做法搬過來,再把修正交給程式代理,流程設計很順。我沒有實測,從官網說明看來,它的前提是你已經有足夠的正式流量,還在內測、每天只有幾十次對話的產品,先用簡單的評測工具就夠了。資料存放在美國這點,台灣企業要先想清楚。

— theai 編輯團隊

主要功能

  • 改 base URL 與標頭即可接入,支援 OpenAI、Anthropic、Gemini、Azure OpenAI、Amazon Bedrock
  • 可貼一行提示讓 Claude Code 或 Codex 自動找出 LLM 呼叫並完成接入
  • 抽樣評分正式流量,自動偵測問題並附上對話證據
  • 依根因歸納失敗模式,標示發生次數與嚴重度,可手動合併整理
  • 透過 MCP 讓程式代理讀取失敗模式並提出修正,再比較修正前後
  • 白話提問的 Chat,搶先體驗中的流量重播實驗與專用小模型

如何使用 three.dev

  1. 到 app.three.dev 點 Let's get started,複製設定提示
  2. 在專案資料夾開啟 Claude Code 或 Codex,貼上提示讓它找出所有 LLM 呼叫並改走代理伺服器
  3. 在瀏覽器核對代理顯示的代碼後按 Allow,完成連線與 API 金鑰設定
  4. 啟動應用程式並使用 AI 功能,等待第一筆請求出現與失敗模式累積
  5. 在失敗模式頁挑出最嚴重的問題,交給程式代理修正,上線後比較前後數字

適用場景

  • 電商客服機器人找出答錯退款、運費政策的對話並修正提示
  • SaaS 產品內建的 AI 助理上線後,追蹤哪類問題最常出錯
  • 改版提示或換模型後,比較新舊版本的失敗次數
  • 讓 Claude Code 依據真實失敗案例直接修改代理程式
  • 依方案、環境或產品線標記請求,分開檢視各族群的品質

three.dev 的優點與缺點

優點

  • 不必撰寫或維護評測集,直接從真實使用者對話找問題
  • 評分在回應送出後才進行,不改動請求,超過方案額度也不會擋住流量
  • 所有方案使用者人數不限,免費版就能試用核心功能

缺點

  • 資料存放於美國,目前沒有 SOC 2 報告,也不適用健康醫療資料
  • 代理伺服器連不上時呼叫會失敗,沒有自動備援與正式 SLA
  • 實驗與專用小模型功能仍在搶先體驗階段

價格方案

Free 免費(每月評分 5,000 筆請求、1GB 資料、保留 30 天);Starter 每月 79 美元(每月評分 1 萬筆、5GB,超出每 GB 3 美元、每千筆 2.5 美元,保留 90 天;11/22 前註冊的團隊送 6 個月);Pro 每月 249 美元(評分 2.5 萬筆、20GB、保留 180 天);Enterprise 另議。各方案使用者人數不限,價格以官網為準

three.dev 常見問題

three.dev 要怎麼接進我的應用程式?

官方文件說明,只要把 LLM 呼叫的 base URL 改成 three.dev 的代理伺服器並加上幾個標頭。也可以在 app.three.dev 複製設定提示,貼進 Claude Code、Codex、Cursor 等程式代理,由它自動找出所有呼叫並接好。

接上 three.dev 會讓回應變慢嗎?

官方表示代理伺服器會在回應送回你的應用程式之後才記錄請求,評分也在背景進行,不會改動請求內容。目前官方尚未公布實測的額外延遲數字。

超過方案額度會怎樣?

流量不會被擋。超過資料額度後 three.dev 停止記錄,超過評分額度後只記錄不評分;Starter 與 Pro 方案則可依每 GB 與每千筆的價格超額計費。

three.dev 會拿我的資料訓練模型嗎?

官網安全頁面表示不會用你的流量與提示訓練給其他客戶或公眾使用的模型,只會用評分結果這類訊號改進產品。評分時會使用 Anthropic、OpenAI、Google Gemini 的模型,同樣受不訓練承諾約束。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

three.dev 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 開發者工具

前往官網 ↗