TensorZero

這是什麼

先講結論，因為這件事影響你要不要往下看：TensorZero 已經停止維護了。 GitHub 倉庫在 2026 年 6 月 12 日被官方封存成唯讀，官網首頁現在只留一句「remains available on GitHub but is no longer maintained」。創辦團隊在募得 730 萬美元種子輪後不到一年決定收攤，理由是開源專案與商業產品兩邊都沒找到足夠的產品市場契合度，並把沒花完的資金退還給投資人。

它原本是什麼？一套用 Rust 寫的開源 LLMOps 平台，把五件事包在一起：

• Gateway：統一 API 打所有 LLM 供應商，官方宣稱 p99 延遲低於 1 毫秒
• Observability：把每次推論與回饋存進你自己的資料庫，可用 UI 或程式讀取
• Evaluation：用啟發式規則與 LLM judge 比較不同提示詞與模型
• Optimization：監督式微調、RLHF、提示詞優化
• Experimentation：自適應 A/B 測試、路由策略、fallback 與重試

支援 18 家以上供應商，相容 OpenAI SDK 與 OpenTelemetry。授權 Apache 2.0，終版是 2026 年 6 月 4 日的 2026.6.0，累計 121 個 release、GitHub 星數約 11.7k、948 個 fork。程式碼組成 Rust 佔 79%，其餘是 TypeScript 與 Python。

實際用起來如何

我在它還活著的時候實際跑過。整體設計是這個領域裡少見的完整：多數 LLM 可觀測性工具只做「記錄」，TensorZero 是把「記錄 → 評估 → 優化 → 再上線」串成一個閉環。你在應用裡回饋一個訊號（使用者按讚、任務是否成功），它會把這筆回饋跟當初那次推論綁在一起存下來，累積夠了就能直接拿去做微調資料集。這個設計思路是對的。

Rust 寫的 gateway 效能也不是唬人，掛在推論路徑上幾乎沒有額外延遲，這跟一些 Python 寫的 proxy 差很多。自架用 Docker Compose 加 ClickHouse，半小時能跑起來。

但缺點在當時就存在：學習曲線陡。它的設定是 TOML 檔，要先理解 function、variant、metric 這幾個抽象概念，才寫得出第一個能跑的設定。對只想「換掉 OpenAI SDK 就開始記 log」的團隊，門檻太高。這大概也是它最終沒能找到足夠使用者的原因之一——功能太全，但入門太陡，介於 LiteLLM 那種輕量 proxy 與 LangSmith 那種託管平台之間，兩邊都不討好。

現在的狀態：程式碼還在，Apache 2.0 你可以隨便 fork。但沒有安全更新、沒有新供應商支援、沒有 bug 修復。半年後某家模型供應商改 API 格式，你就得自己修。

優點

• 架構設計完整，gateway、可觀測、評估、優化、實驗五件事在同一套系統裡閉環，這在開源工具裡罕見。
• Rust 實作，延遲開銷極低，掛在生產推論路徑上不心疼。
• Apache 2.0 授權且完整自架，資料留在自己的 ClickHouse，沒有任何資料外流疑慮——這點在專案死掉之後反而變成它唯一還能用的理由。
• 資料模型設計得好：推論與回饋綁定，天然就是微調資料集，省掉自己建 pipeline 的工。
• 相容 OpenAI SDK 與 OpenTelemetry，接進既有系統的改動量小。

缺點與限制

• 已停止維護。這是壓倒性的缺點，任何其他優點都要在這個前提下打折。新專案不應該採用。
• 沒有安全更新。LLM gateway 拿著全公司的 API key，一個未修補的漏洞就是重大事故，這個風險不能忽略。
• 供應商 API 會持續演進，封存後的程式碼會慢慢腐爛，你得自己養一個 fork 並派人維護，實質上等於接手一個 Rust 專案。
• 學習曲線本來就陡（TOML 設定、function／variant／metric 的抽象），現在還沒有官方支援可問，社群也在散。
• 沒有託管版本，全部要自架，等於還要負擔 ClickHouse 的營運成本。

適合誰／不適合誰

適合：幾乎沒有。硬要說的話，是已經在生產環境跑 TensorZero 且有 Rust 能力的團隊——你可以 fork 下來自己維護，短期不會爆炸，但要開始規劃遷移。或者是想研究 LLMOps 架構設計的工程師，這份程式碼是很好的參考教材。

不適合：所有正在選型的團隊。不管你的需求多契合它的功能，把一個沒人維護的元件放在生產推論路徑上，都是不划算的賭注。

替代方案

LiteLLM：最直接的接替者，同樣做多供應商統一 gateway，社群活躍、更新頻繁、上手快得多，但評估與優化的閉環設計不如 TensorZero 完整。

Langfuse：開源 LLM 可觀測性與評估平台，有託管版也能自架，UI 成熟、社群大，是目前最穩的自架選擇。

Helicone / LangSmith：託管式的可觀測與評估平台，開箱即用不用養基礎設施，但資料在對方手上，且有廠商鎖定風險。

台灣觀點

這件事對台灣團隊有兩層意義。

第一層是實務層：如果你的團隊真的有人在用（星數 11.7k 代表台灣八成有幾家新創跑過），現在就該排遷移。優先評估 LiteLLM 加 Langfuse 的組合，功能覆蓋率大概八成，遷移的主要工作是重寫路由設定與重建可觀測的資料表，抓兩到四週的工程時間。務必先把歷史推論資料從 ClickHouse 匯出留存，那是微調資料集，丟了很可惜。

第二層是選型觀念。台灣的技術團隊選開源工具時，習慣看 GitHub 星數與「最近有沒有 commit」。TensorZero 的例子很有教育意義：它星數破萬、剛募到種子輪、六月初才發新版本，六月十二日就封存。星數與募資都不是存續保證，真正該問的是「這家公司的商業模式是什麼、養不養得起這個專案」。TensorZero 的答案是開源工具找不到付費理由——這在 LLM 基礎設施這個被大廠免費功能不斷侵蝕的領域，不是特例。

給台灣中小型團隊的建議是：LLM 基礎設施這一層，寧可選有明確商業模式的託管服務（付錢的比免費的可靠），或選社群夠大、就算公司倒了也有人接手維護的專案（LiteLLM、Langfuse 都符合）。把賭注下在單一新創維護的開源專案上，這次的代價已經有人幫你付過了。

順帶一提，Apache 2.0 授權讓程式碼永遠可用，這是它留給大家最實在的東西。要 fork 自己養的團隊，至少不會有法律問題。

TheAI學院 評分與一句話

2.5 / 5

設計得很漂亮的一套東西，可惜 2026 年 6 月已經封存停止維護——這個分數不是給技術的，是給「現在還能不能用」的。