Portus
用 Rust 寫的 Kubernetes 閘道，同一個資料平面同時處理 HTTP、LLM 與 MCP 流量，還能替每把金鑰設 token 預算
Portus 是 10 月初在 Show HN 發表的開源閘道，用 Rust 撰寫、網路層建在 Rama 上（作者說明改用 Rama 是因為吞吐量與資源用量比 Pingora 好）。它完全符合 Kubernetes Gateway API 規範，官網標示 v1.6.2 實驗通道 130 項一致性測試全數通過、沒有跳過任何一項；不在 Kubernetes 上時，也能用簡單的 YAML 以獨立模式執行，內建 ACME 自動憑證。
效能數字官網寫得很細：在 Apple M4 上的 10 vCPU Linux 虛擬機、3 個代理 pod、256 連線下達到每秒約 12.6 萬次請求；固定每秒 3 萬次時 p99 延遲 0.35 毫秒，尖峰記憶體 131 Mi。它的控制平面把 CRD 直接編譯成 protobuf，串流給每個 Gateway，各自擁有 Deployment、Service 與 PodDisruptionBudget。
功能特色與適用場景：AI 閘道部分會邊收邊讀請求內容裡的 model 欄位來路由，支援 Anthropic 與 OpenAI 兩種格式；它自己發 portus_sk_ 開頭的金鑰、只存雜湊，供應商真正的金鑰不出叢集，並能依金鑰、使用者、租戶或路由設定 token 預算，每個回應都帶剩餘額度標頭。Claude Code 只要改 ANTHROPIC_BASE_URL 就能接上。MCP 閘道則能依 tools/call 的工具名稱路由、把多個 MCP 伺服器聯合成一個端點，並以 OIDC 驗證、依群組限制可用工具。對台灣要讓全公司共用 LLM、又得管預算與金鑰外流風險的平台團隊，這是一個可以自架的選項；它目前版本號還在 0.2 系列，上正式環境前要自己評估成熟度。
TheAI學院 編輯建議
編輯實測後的真心話把 API 閘道、LLM 預算與 MCP 路由合在一個 Rust 程序裡，Portus 的設計很乾淨；適合有 Kubernetes 底子、想自管 AI 流量的團隊先在測試環境玩玩。
主要功能
- 完整符合 Kubernetes Gateway API，130 項一致性測試通過
- 依請求中的模型名稱路由 LLM 流量，支援 Anthropic 與 OpenAI 格式
- 自發金鑰只存雜湊，供應商金鑰不出叢集
- 依金鑰、使用者、租戶或路由設定 token 預算
- MCP 伺服器聯合與依工具名稱路由、OIDC 驗證
- 獨立模式支援 YAML 設定與 ACME 憑證
適用場景
- 企業內部統一管理 Claude Code 與 API 用量
- 替不同部門或客戶設定每日 token 上限
- 把多個 MCP 伺服器整合成單一端點
- 取代既有 Kubernetes Ingress 並加上 AI 流量控管
Portus 的優點與缺點
優點
- 開源可自架，掌握流量與金鑰
- 官網公開完整的效能與一致性測試數據
- HTTP、LLM、MCP 用同一套政策管理
缺點
- 版本仍在 0.2 系列，成熟度需自行評估
- 需要 Kubernetes 或維運經驗
- 主要由個人開發者維護，商業支援情況官網未說明
價格方案
開源，於 GitHub 提供；以 Helm 安裝到 Kubernetes 或以獨立模式執行，以官網為準
Portus 常見問題
Portus 一定要跑在 Kubernetes 上嗎？
不用。官網提供獨立模式，用 YAML 設定檔即可執行，並內建 ACME 憑證申請。
Claude Code 怎麼接上 Portus？
官網示範把 ANTHROPIC_BASE_URL 指向你的 Portus 網址，並使用 Portus 發出的 portus_sk_ 金鑰即可，不需改程式。
可以限制每個人的用量嗎？
可以，AIUsagePolicy 能依金鑰、使用者、租戶或路由設定 token 預算，呼叫前預留、結束後結算。
使用者評價
還沒有足夠評價，搶先分享你的使用心得！
寫下你的評價
Portus 的替代方案
查看相似的 AI 工具 →相關 AI 工具
Claude
Anthropic 的 AI 助理，長文件與寫作品質是它的主場。
heal.dev
不只讀 diff，而是把整個應用跑在仿正式環境的沙盒裡找 bug 與資安漏洞，每個問題都附一支會失敗的測試當證據
3AM
給「改不動的老系統」用的 AI 值班工程師：先在線上環境用唯讀檢查證明根因，演練修復，再等你在 Slack 按一下才動手
Pomerado
把沒有 API 的網站（訂位、比價、企業內部系統）變成可呼叫的 API 或 MCP，讓 AI 代理不必每次慢慢點網頁
Harness by Autonomous
一個 App 同時指揮多台電腦上的 Claude Code、Codex、Cursor 等編程代理，端對端加密、不用開 port，還能延伸到 CAD、電路與音樂
Navige
擋在 AI 代理和模型之間，用快取、裁切上下文、攔截失控迴圈與智慧路由壓低 API 帳單，省多少才收多少
