LangSmith

一句話結論

要把 LLM 應用從 demo 推到上線，LangSmith 提供的追蹤與評測是目前最完整的一套；但計價單位複雜，成長期要盯緊帳單。

有什麼功能

核心是可觀測性與評測：每一次模型呼叫、每一個工具使用、每一段代理的推理鏈路都能追蹤（trace），出錯時可以逐步回放，看到底是哪一步的提示詞或工具回傳搞砸的。評測（evals）讓你建立測試資料集，改版後跑一輪，看新版本是變好還是變壞——這件事沒有工具幫忙幾乎做不下去。

近年產品線擴張很快：部署（把代理跑在託管基礎設施上）、Fleet（無程式碼的代理建構器）、Engine（自動偵測問題並生成修補）、Sandboxes（安全執行代理產生的程式碼）、LLM Gateway（統一控管模型呼叫的成本與速率）。

定價

Developer 免費：單一席次、每月 5,000 筆基礎追蹤，超出後按用量計費，社群支援。

Plus 每席每月 39 美元：每月 1 萬筆基礎追蹤、席次不限、含一個免費的小型 serverless 部署。

Enterprise 洽詢：自架與混合部署、自訂驗證與權限、支援 SLA。

用量另以 LangChain Compute Unit（每單位 1.5 美元）與 Storage Unit（每單位 1 美元）計算。

優點

• 追蹤的顆粒度細，除錯代理時省下大量猜測時間
• 評測流程完整，改版有客觀依據
• 不綁 LangChain 框架也能用，SDK 支援其他寫法
• 免費方案的追蹤額度足以支撐個人專案與 POC

缺點

• 計價單位多層（席次＋追蹤＋計算單位＋儲存單位），成本預估困難
• 產品線擴張快，功能邊界與命名偶爾讓人困惑
• 追蹤資料含提示詞與回應，敏感資料的處理要另外設計
• 自架選項只在 Enterprise，中間規模的團隊沒有折衷方案

適合誰

正在把 LLM 應用推向正式環境的工程團隊，尤其是做代理（agent）而不只是單次問答的產品——代理的失敗鏈路長，沒有追蹤工具真的除不了錯。

不適合：只是接 API 做單次呼叫的簡單應用（記個 log 就夠）、以及資料完全不能出境的專案（除非走 Enterprise 自架）。

替代方案

• Langfuse：開源、可自架，成本可控，社群活躍
• Braintrust：評測體驗做得細，適合以 eval 為核心的團隊
• Helicone：輕量的代理層觀測，導入最快
• Arize：偏向機器學習可觀測性的完整平台

台灣觀點

台灣企業做 LLM 專案，最常卡住的不是模型不夠好，是「主管問這次改版有沒有比較好，沒有人答得出來」。評測工具解的正是這件事——把「感覺變好了」變成一組可比較的分數。

不過對台灣多數團隊來說，資料落地是個實際問題。追蹤資料會包含完整的提示詞與模型回應，如果你的應用處理客戶資料或內部文件，那些內容都會進到 LangSmith 的雲端。金融與醫療客戶的專案，我通常建議直接評估 Langfuse 自架，或談 Enterprise 的自架方案，別為了省事在資安審查時卡三個月。

成本上也給個實際的提醒：追蹤量會隨使用者成長線性上升，而代理型應用一次任務可能產生幾十筆追蹤。上線前先用預期流量乘一乘，別等第一個月帳單來才驚訝。