telemetry.dev

telemetry.dev 是 10 月 28 日登上 Product Hunt、隔幾天拿到當日第 3 名的 LLM 可觀測性平台。它處理的是做 AI 代理的團隊每天都會遇到的問題：使用者說客服機器人回答很慢，到底慢在模型、慢在查資料，還是某個工具呼叫逾時了？

功能特色與適用場景：核心是 Tracing。一次代理執行會變成一條 trace，裡面每個 span 是一次模型呼叫、一次工具執行或一次檢索，各自標出耗時、token 數、快取命中與費用。官網示範的客服代理一次跑了 13 個 span、2.9 秒，模型佔 82% 的時間，連 0.0005 美元的成本都算出來了。成本是在收資料時依它的模型價格表計算，快取讀寫分開計價。MCP analytics 會依方法與工具列出失敗率，示範畫面裡 create_refund 這支工具失敗率 18%，一眼就知道該先修哪裡。另外還有 email 告警（預算超標、代理陷入迴圈、模型或工具錯誤）、提示詞版本管理、Evals 實驗與評分。

它整個建在 OpenTelemetry 上，這是我覺得最實際的設計。官方有 TypeScript 與 Python SDK，支援 OpenAI、Anthropic、Google Gen AI、Amazon Bedrock、OpenRouter、LiteLLM，框架有 Vercel AI SDK、LangChain／LangGraph、CrewAI、Pydantic AI；Claude Code、Cursor、opencode 這類程式代理也能接。已經在送 OTLP 的系統，換個 exporter 端點就行，不會被綁死。

和 Langfuse、LangSmith 相比，它的計價單位很單純：一個 span、一筆 log、一個 metric 資料點各算一個 unit，Pro 與 Team 超量也不會自動扣款，官方說用量長期偏高才會聯絡你談方案。

台灣使用者怎麼用：適合正在把 LLM 功能推上線的新創與內部 IT 團隊，例如電商客服機器人、內部知識庫問答。要注意資料落地：依官方子處理者頁面，telemetry 存在美國北維吉尼亞的 ClickHouse，金融、醫療或受個資法嚴格約束的專案，最好在送出前就把敏感欄位去掉，官方也坦白寫了「遮罩規則抓不到所有敏感資料」。介面與文件全英文，付款透過 Polar，以美元計價。