Promptfoo
Công cụ đánh giá và kiểm thử bảo mật (red teaming) LLM mã nguồn mở. Dùng cấu hình khai báo để so sánh GPT, Claude, Gemini và quét lỗ hổng như jailbreak, prompt injection ngay trên máy tính cá nhân.
Truy cập website ↗Promptfoo là gì?
Promptfoo là một bộ công cụ đánh giá và kiểm thử bảo mật (red teaming) LLM mã nguồn mở, với định hướng rõ ràng: phát hiện và khắc phục điểm yếu trước khi ứng dụng AI của bạn được đưa lên môi trườngproduction. Công cụ này phục vụ hai mục đích chính. Thứ nhất là đánh giá (evaluation): chỉ với file cấu hình khai báo đơn giản, bạn có thể chạy so sánh cùng một tập prompt trên các mô hình khác nhau như GPT, Claude, Gemini, DeepSeek để xem mô hình nào chính xác, nhanh và tiết kiệm chi phí hơn, đồng thời tích hợp vào quy trình CI/CD để tự động kiểm thử hồi quy (regression testing) mỗi khi sửa prompt. Thứ hai là bảo mật: tích hợp sẵn trình quét lỗ hổng, giúp hệ thống hóa việc thử nghiệm jailbreak mô hình, kiểm tra các rủi ro prompt injection, rò rỉ dữ liệu theo chuẩn OWASP LLM Top 10.
Một ưu điểm lớn là quá trình đánh giá chạy hoàn toàn cục bộ trên máy, giao tiếp trực tiếp với LLM của bạn mà không cần gửi prompt hay dữ liệu lên bên thứ ba — điều này cực kỳ quan trọng đối với các nhóm coi trọng dữ liệu nhạy cảm. Đây là dự án mã nguồn mở theo giấy phép MIT, đạt hơn 20.000 sao trên GitHub và được sử dụng bởi chính OpenAI hay Anthropic. Vào tháng 3/2026, Promptfoo thông báo được OpenAI mua lại, nhưng đội ngũ phát triển cho biết công cụ vẫn duy trì mã nguồn mở và giấy phép MIT.
Tính năng nổi bật và trường hợp sử dụng
Phù hợp với ai? Thích hợp cho các kỹ sư phát triển ứng dụng LLM, agent hoặc RAG, những người cần kiểm tra kỹ lưỡng hai vấn đề: "liệu thay đổi prompt có làm giảm chất lượng không" và "liệu hệ thống có bị jailbreak hoặc rò rỉ dữ liệu không". Giải pháp này đáp ứng nhu cầu từ nhà phát triển cá nhân đến đội ngũ bảo mật doanh nghiệp. Công cụ có bản mã nguồn mở miễn phí và các gói doanh nghiệp (bao gồm guardrails bảo vệ thời gian thực và hỗ trợ doanh nghiệp). Nếu bạn chỉ thỉnh thoảng thử prompt thủ công, bạn có thể chưa cần một công cụ mang tính hệ thống cao đến vậy, nhưng khi đã chính thức triển khai sản phẩm, những bài kiểm tra này là không thể thiếu.
Tính năng chính
- Dùng cấu hình khai báo để so sánh hiệu suất các mô hình GPT, Claude, Gemini, DeepSeek...
- Kiểm thử bảo mật (Red Teaming): mô phỏng tấn công jailbreak, prompt injection, rò rỉ dữ liệu...
- Quét lỗ hổng bao gồm các rủi ro trong danh sách OWASP LLM Top 10
- Chạy đánh giá cục bộ, trò chuyện trực tiếp với LLM mà không gửi dữ liệu ra bên ngoài
- Tích hợp CI/CD để tự động kiểm thử hồi quy khi đổi prompt; hỗ trợ guardrails thời gian thực
Ưu điểm
- Mã nguồn mở MIT, chạy cục bộ, dữ liệu nhạy cảm không bị rò rỉ
- Tích hợp trọn gói cả đánh giá hiệu suất và kiểm thử bảo mật, hỗ trợ CI/CD
- Được tin dùng bởi cả OpenAI và Anthropic, cộng đồng lớn và độ tin cậy cao
Nhược điểm
- Thiết kế dạng dòng lệnh (CLI) và file cấu hình, rào cản tiếp cận cao đối với người không chuyên kỹ thuật
- Các tính năng cấp doanh nghiệp (như guardrails) yêu cầu trả phí
- Xu hướng dài hạn sau khi bị OpenAI thâu tóm vẫn cần tiếp tục theo dõi
Trường hợp sử dụng
- So sánh hiệu suất của các mô hình khác nhau trên cùng một tập prompt
- Quét lỗ hổng jailbreak và prompt injection cho các ứng dụng LLM
- Tích hợp đánh giá prompt vào quy trình CI/CD để kiểm thử hồi quy
- Kiểm tra hệ thống các rủi ro bảo mật của RAG và agent trước khi phát hành
Ghi chú biên tập
Khi đưa ứng dụng LLM lên môi trường production, hai yếu tố đánh giá hiệu suất và kiểm thử bảo mật là bắt buộc. Promptfoo kết hợp trọn vẹn cả hai mảng này dưới dạng mã nguồn mở, chạy cục bộ và hỗ trợ CI/CD, rất đáng để thử nghiệm. Việc được chính OpenAI và Anthropic sử dụng chứng minh đây không phải là công cụ phô trương hình thức. Dù cần quan sát thêm liệu việc bị OpenAI thâu tóm có làm thay đổi định hướng tương lai hay không, hiện tại công cụ này vẫn giữ mã nguồn mở MIT. Chúng tôi chấm 4.3 điểm.
Câu hỏi thường gặp
Dữ liệu trên Promptfoo có bị gửi lên đám mây không?
Theo mặc định là không. Quá trình đánh giá được thực hiện cục bộ trên máy của bạn, giao tiếp trực tiếp với LLM đã cấu hình. Prompt và dữ liệu kiểm thử không phải tải lên bên thứ ba, mang lại sự an tâm cho các nhóm xử lý dữ liệu nhạy cảm.
Sau khi bị OpenAI mua lại, công cụ này có còn là mã nguồn mở không?
Phía nhà phát triển cho biết là có. Kể từ khi thông báo sáp nhập vào tháng 3/2026, Promptfoo vẫn duy trì mã nguồn mở và giấy phép MIT; tuy nhiên, bạn nên tiếp tục theo dõi các thông báo chính thức về hướng đi dài hạn.