AI 開發框架與基建 AI 工具推薦

專為 macOS 打造的開源離線 AI 代理執行環境

R

Ragas

開源的 RAG 系統自動化評估與測試工具庫

IBM開源的高效文件轉換工具，專為LLM與RAG打造

VK

Vibe Kanban

用看板的方式同時指揮多個 AI 程式 agent,規劃任務、平行派工、做視覺化程式碼審查,支援 Claude Code、Codex、Cursor Agent、Gemini 等,把多 agent 開發收進一塊板子。

K

KitOps

開源的 AI/ML 打包與版控工具,把模型、資料集、程式碼、agent 技能與 MCP server 包成簽章過的 OCI 標準產物,丟進你現有的容器倉庫管理,屬 CNCF 專案。

PA

Pydantic AI

Pydantic 團隊出品的 Python agent 框架,號稱「把 FastAPI 的開發手感帶進 GenAI」,用型別提示就能做結構化輸出與工具,輸出自動對著 Pydantic model 驗證。

D

Dyad

開源、本地優先的 AI 應用建構工具,被視為 Lovable、v0 的開源替代,在你自己的電腦上用自然語言做出可運行的 app,程式碼完全屬於你,還能自帶 API 金鑰、不被平台綁定。

M

MLflow

開源的 AI 工程平台,從 ML 模型一路延伸到 LLM 與代理,提供端到端追蹤、評估、監控與最佳化,月下載破三千萬,被無數團隊用來除錯與優化正式環境的 AI 應用。

B

Bifrost

用 Go 寫的高效能開源 LLM 閘道,號稱比 LiteLLM 快 50 倍、5000 RPS 下額外延遲只有微秒級,統一接 1000 多個模型,內建負載平衡、護欄與觀測性。

L

LiteLLM

開源的 AI 閘道,用統一的 OpenAI 格式呼叫 100 多家 LLM,內建成本追蹤、負載平衡、護欄與日誌,可當 Python SDK 用也能部署成團隊共用的代理伺服器。

V

VoltAgent

開源的 TypeScript AI 代理框架,內建記憶、RAG、護欄、工具、MCP、語音與工作流引擎,還能用主管代理調度一群子代理,接任何模型供應商都行。

T

TensorZero

開源的 LLMOps 全家桶。TensorZero 把 LLM 閘道、可觀測性、評估,跟自動化的模型與提示詞優化迴圈整合在一起,讓你的 AI 應用能從正式環境的真實資料中持續學習、越用越準。

開源自架的 AI 桌面代理。Bytebot 在容器化的 Linux 桌面裡給 AI 一台屬於自己的電腦,你用一句白話交代任務,它就自己開瀏覽器、填表單、下載檔案,把多步驟的雜事一路做完。

L

LanceDB

為 AI 打造的開源向量資料庫。

H

Haystack

打造 LLM 應用的開源框架。