Promptfoo

Promptfoo 是什麼

Promptfoo 是一套開源的 LLM 評測與紅隊測試(red teaming)工具,定位很明確:在你的 AI 應用上線前,先把弱點測出來、修掉。它有兩個面向。一是評測:用簡單的宣告式設定檔,就能對同一批 prompt 在 GPT、Claude、Gemini、DeepSeek 等不同模型上跑比較,看誰準、誰快、誰便宜,還能整進 CI/CD,每次改 prompt 都自動回歸測試。二是安全:內建弱點掃描器,系統性地嘗試越獄模型,測 prompt 注入、資料外洩等 OWASP LLM Top 10 的風險。

它的一大優點是評測完全在本機跑、直接和你的 LLM 對話,prompt 與資料不必送上第三方,對在意機敏資料的團隊很重要。它是 MIT 授權的開源專案,GitHub 上累積 2 萬多顆星,連 OpenAI、Anthropic 自己都在用。2026 年 3 月 Promptfoo 宣布被 OpenAI 收購,但官方表示仍維持開源與 MIT 授權。

功能特色與適用場景

適合誰?適合在做 LLM 應用、agent 或 RAG,需要把「prompt 改了會不會變爛」「會不會被越獄、洩資料」這兩件事測清楚的工程團隊,從個人開發者到企業安全團隊都涵蓋。它有免費開源版與企業方案(含 guardrails 即時防護、企業支援)。如果你只是偶爾手動試 prompt,可能用不到這麼系統化的工具,但一旦要正式上線,這類測試是省不掉的。