Muốn tự làm một AI Agent, cần chuẩn bị những công cụ nào? Sơ đồ toàn diện về chuỗi công cụ dành für lập trình viên

Vào chiều thứ Sáu, một người bạn gửi cho tôi đoạn video demo Agent của họ: người dùng nhập một câu, Agent tự động tra cứu dữ liệu, gọi ba API và trả về một bản tóm tắt mạch lạc. Quá đẹp. Tôi hỏi anh ấy: "Đã lên Production chưa?" Anh ấy im lặng hai giây rồi đáp: "Phiên bản lên Production hôm qua vừa truyền nhầm mã đơn hàng của khách hàng sang quy trình hoàn tiền, bây giờ chúng tôi không biết lỗi phát sinh từ bước nào nữa."

Đây gần như là cái bẫy mà mọi đội ngũ tự xây dựng Agent đều vướng phải. Demo là một con đường xuôi gió, còn môi trường Production giống như một tấm lưới—bất kỳ nút thắt nào sơ sẩy là toàn bộ chuỗi sẽ đứt, và bạn thường thậm chí không biết nó đứt ở đâu. Sự khác biệt không nằm ở việc mô hình thông minh đến đâu, mà nằm ở chỗ chuỗi công cụ đằng sau bạn có đủ hoàn chỉnh hay không.

Tại sao năm 2026 là năm của "Chuỗi công cụ" chứ không phải "Một framework"

Vào năm 2023 và 2024, câu hỏi mọi người thường đặt ra là "Sử dụng framework nào để làm Agent?". Đến năm 2026, câu hỏi đó đã lỗi thời. Framework chỉ là tầng trên cùng. Một Agent thực sự có thể đưa lên Production, có thể vận hành, và có thể điều tra khi xảy ra sự cố, bên đằng sau nó là một ngăn xếp (stack) phân công rõ ràng — giống như kỹ thuật viên backend sẽ không chỉ có một Web framework duy nhất, mà còn phải có cơ sở dữ liệu, bộ nhớ đệm (cache), nhật ký (log), giám sát và CI/CD.

Điểm đặc biệt của Agent nằm ở tính "không chắc chắn". Với cùng một đầu vào, mô hình có thể đưa ra các bước khác nhau; nó sẽ tự quyết định có nên gọi công cụ hay không và gọi công cụ nào. Sự bất định này khiến thói quen phát triển truyền thống "viết xong là chạy, chạy lỗi thì xem stack trace" hoàn toàn mất hiệu lực. Bạn cần một tầng công cụ mới để đối phó với các vấn đề như "tại sao nó lại làm như vậy", "nó làm đúng chưa" và "nó lại gặp sự cố gì khi ở trên Production".

Điểm trọng tâm: Chia chuỗi công cụ thành sáu tầng

Tôi quen chia chuỗi công cụ để tự xây dựng Agent thành sáu tầng, từ trên xuống dưới:

• Tầng Framework: Quyết định cách định nghĩa Agent, cách gọi công cụ và cách quản lý quy trình nhiều bước.
• Tầng Truy xuất (RAG): Cho phép Agent đọc được dữ liệu riêng tư của bạn thay vì chỉ học thuộc lòng kiến thức tích hợp sẵn trong mô hình.
• Tầng Sandbox thực thi: Khi Agent muốn chạy mã nguồn (code) hoặc thực thi lệnh, hãy cung cấp cho nó một chiếc lồng có thể khóa lại.
• Tầng Khả năng quan sát (Observability): Ghi lại từng bước suy luận, từng lần gọi công cụ để bạn có thể nhìn thấy nó đang suy nghĩ gì.
• Tầng Đánh giá và Bảo mật: Trước khi lên Production, hãy sử dụng một bộ đề thi cố định để đo lường hiệu suất của nó, nhân tiện thực hiện kiểm tra Red Teaming (tấn công giả lập).
• Tầng Triển khai: Đưa đống thứ này lên môi trường Production một cách ổn định và có thể mở rộng.

Không phải dự án nào cũng cần bật cả sáu tầng. Nhưng ít nhất bạn phải biết sự tồn tại của từng tầng và hiện tại mình đang thiếu tầng nào.

Phân rã từng tầng: Mỗi tầng giải quyết vấn đề gì và khi nào cần đến

Tầng Framework: Pydantic AI và LangChain

Framework giúp bạn xử lý việc "làm thế nào để gắn kết mô hình, công cụ và quy trình lại với nhau". Pydantic AI là sự lựa chọn mà nhiều kỹ sư Python đã chuyển sang trong hai năm qua, bởi vì nó khóa chặt phần đầu output bằng type schema — Agent trả về cái gì, thứ bạn nhận được là một đối tượng có cấu trúc và đã được xác thực, thay vì một đống chuỗi ký tự phải tự phân tích (parse). Đối với những người xuất thân từ backend và quen viết kiểu dữ liệu (type), việc bắt đầu rất mượt mà.

LangChain lại là một thái cực khác: hệ sinh thái lớn nhất, tích hợp nhiều nhất, muốn kết nối cái gì hầu như cũng có sẵn. Cái giá phải trả là lớp trừu tượng dày, các phiên bản thay đổi nhanh, và các dự án nhỏ áp dụng nó thường giống như dùng dao mổ trâu giết gà. Lời khuyên của tôi: Nếu quy trình đơn giản và đầu ra cần có cấu trúc, hãy thử Pydantic AI trước; nếu cần kết nối một đống tích hợp sẵn có và đội ngũ đã quen với LangChain, thì hãy dùng nó. Đừng mù quáng lựa chọn chỉ vì "ai cũng dùng".

Tầng Truy xuất: RAGFlow

Nếu Agent không kết nối RAG, nó chỉ có thể trả lời dựa trên những gì mô hình ghi nhớ trong quá trình huấn luyện, và khi gặp tài liệu nội bộ công ty hay thông số kỹ thuật sản phẩm mới nhất, nó sẽ bắt đầu nói nhảm. RAGFlow xử lý khâu bị đánh giá thấp nhất trong chuỗi này: cắt đoạn tài liệu (chunking), phân tích cú pháp, chuyển đổi thành vector và truy xuất. Nó xử lý PDF, bảng biểu và các tài liệu có bố cục phức tạp tốt hơn các gói RAG thông thường, điều này đặc biệt rõ ràng trong các kịch bản mà nhiều doanh nghiệp tại Đài Loan ngập tràn hợp đồng PDF và bảng thông số kỹ thuật. Khi nào thì cần? Miễn là Agent của bạn cần trả lời "những điều chỉ nội bộ công ty mới biết", bạn sẽ cần đến nó.

Tầng Sandbox thực thi: Blaxel

Khi Agent của bạn bắt đầu "tự viết code rồi thực thi", nguy hiểm sẽ ập đến. Nó có thể chạy vào vòng lặp vô hạn, có thể đọc phải những tệp không nên đọc, hoặc có thể gọi mạng lưới bên ngoài. Các môi trường Sandbox thực thi như Blaxel cung cấp cho Agent một môi trường cách ly để chạy các hành động không thể kiểm soát này, và dù có chạy hỏng thì cũng không làm nổ máy chủ chính của bạn. Nếu Agent của bạn chỉ tra dữ liệu và gọi API cố định, bạn có thể tạm thời không cần dùng; nhưng một khi nó muốn thực thi mã nguồn động, Sandbox không phải là tùy chọn mà là bắt buộc.

Tầng Khả năng quan sát: AgentOps và Langfuse

Đây là tầng mà người bạn ở phần đầu thiếu nhất. Khi Agent chạy qua nhiều bước, ở giữa đã gọi những gì, mỗi bước tốn bao nhiêu token, bước nào bắt đầu lệch hướng, nếu không có công cụ ghi lại thì bạn hoàn toàn không thể nhìn thấy. AgentOps tập trung vào dấu vết thực thi của Agent — xâu chuỗi mọi bước (step) và mọi lần gọi công cụ (tool call) thành một dòng thời gian có thể phát lại (replay), đây là vị cứu tinh khi gỡ lỗi quy trình nhiều bước. Trong khi đó, Langfuse nghiêng nhiều hơn về giám sát và phân tích trực tuyến, rất thích hợp để ghi chép và theo dõi lâu dài mọi cuộc hội thoại và mọi chi phí trong môi trường Production. Vị trí của cả hai có phần chồng chéo nhưng trọng tâm khác nhau, tôi sẽ thảo luận chi tiết về cách kết hợp chúng trong một bài viết khác về đánh giá và bảo mật.

Tầng Đánh giá và Bảo mật: Promptfoo

Điều đáng sợ nhất ở Agent không phải là sự cố sập nguồn, mà là "âm thầm làm sai" — nó trả về một đoạn câu trả lời nghe có vẻ rất hợp lý nhưng thực chất lại sai, và không ai phát hiện ra. Promptfoo cho phép bạn cố định một bộ trường hợp kiểm thử (test case), mỗi khi sửa đổi prompt hoặc đổi mô hình, bạn hãy chạy lại một lượt để định lượng xem chất lượng câu trả lời có bị suy giảm hay không, đồng thời thực hiện kiểm tra Red Teaming để vạch trần các lỗ hổng có thể bị lách qua. Tinh thần của tầng này là biến cảm giác "tôi thấy nó tốt hơn rồi" thành "dữ liệu nói rằng nó đã tốt hơn". Nếu muốn tìm hiểu cách làm hoàn chỉnh, bạn có thể đọc tiếp bài viết 〈Trước khi đưa AI Agent lên Production, những việc đánh giá và bảo mật bạn nhất định phải làm〉.

Tầng Triển khai: Northflank

Cuối cùng là đưa toàn bộ hệ thống lên môi trường Production. Việc triển khai Agent phức tạp hơn dịch vụ Web thông thường: nó cần chạy trong thời gian dài, chạy các tác vụ nền (background task) và đôi khi phải quản lý các container sandbox. Các nền tảng như Northflank giúp bạn xử lý việc đóng gói container (containerization), mở rộng quy mô và CI/CD, giúp bạn không phải tự xây dựng Kubernetes từ con số không. Các đội ngũ nhỏ sử dụng nó có thể tiết kiệm được nhân lực DevOps.

Ba loại đội ngũ, ba chiến lược tiếp cận

Lập trình viên cá nhân tại Đài Loan: Đừng nghĩ đến việc hoàn thiện cả sáu tầng ngay từ đầu. Hãy dùng Pydantic AI để xây dựng quy trình cốt lõi trước, kết nối Promptfoo để đảm bảo việc sửa đổi không làm hệ thống tệ đi, còn các tầng khác thì bổ sung khi thực sự đụng tường. Số lượng công cụ mà một người có thể duy trì là có hạn, hãy tiết chế lại.

Đội ngũ Startup: Cần phải ưu tiên tính khả năng quan sát từ sớm. Tôi đã thấy quá nhiều đội ngũ để dành AgentOps và Langfuse đến "để sau tính", kết quả là khi sự cố xảy ra, cả đội phải ngụp lặn trong biển log suốt ba ngày. Kết nối sớm cũng giống như mua bảo hiểm. Tầng triển khai hãy dùng trực tiếp các nền tảng được quản lý (managed platform) như Northflank để tiết kiệm thời gian tập trung mài giũa sản phẩm.

Doanh nghiệp: RAG và bảo mật là trọng tâm của trọng tâm. Dữ liệu của bạn nhạy cảm và các yêu cầu tuân thủ cao, khả năng triển khai riêng tư của RAGFlow, tính năng Red Teaming của Promptfoo và khả năng cách ly của Sandbox đều trực tiếp tương ứng với các câu hỏi mà bộ phận quản lý rủi ro sẽ đặt ra. Bạn nên chọn một kịch bản nhỏ để chạy thông suốt cả sáu tầng trước, rồi mới nhân bản theo chiều ngang.

Cách làm thực tế: Bắt đầu từ tầng nào?

Nếu hôm nay bạn mới bắt đầu xắn tay áo làm, thứ tự của tôi sẽ là: Framework (Pydantic AI) → Đánh giá (Promptfoo) → Khả năng quan sát (AgentOps) → Bổ sung RAG (RAGFlow) và Sandbox (Blaxel) tùy theo nhu cầu → Cuối cùng là Triển khai (Northflank).

Hãy chú ý đến thứ tự này: Đánh giá và Khả năng quan sát được xếp trước RAG. Bởi vì một Agent không có đánh giá và không thể nhìn thấy bên trong, dù có nhét thêm bao nhiêu tính năng thì cũng chỉ là chất đống những thứ không thể kiểm soát lên cao hơn mà thôi. Hãy khiến nó "có thể đo lường, có thể quan sát" trước, rồi mới làm cho nó "mạnh mẽ hơn". Nếu bạn chưa từng làm qua bất kỳ Agent nào, trước tiên bạn có thể đọc bài viết nhập môn 〈Cách tự chế tạo AI Agent của riêng bạn〉 để thiết lập các khái niệm cơ bản, sau đó mới quay lại xem chuỗi công cụ này.

Tổng kết và Bình luận từ TheAI Academy

Cạnh tranh trong việc tự xây dựng Agent vào năm 2026 từ lâu đã không còn nằm ở việc "mô hình của ai thông minh hơn", mà nằm ở chỗ "chuỗi công cụ của ai hoàn chỉnh hơn". Demo thì ai cũng làm được, nhưng một Agent có thể đưa lên Production, xảy ra sự cố có thể tra ra, và cập nhật phiên bản mà không bị thụt lùi, đó mới là bản lĩnh thực sự.

"Rất nhiều người biết làm Agent, nhưng rất ít người có thể giúp Agent lên Production an toàn và duy trì vận hành ổn định — kỹ năng thứ hai mới là năng lực kỹ thuật thực sự có giá trị vào năm 2026."

Lời khuyên cụ thể dành cho độc giả: Đừng bị số lượng công cụ làm cho hoảng sợ, cũng đừng tham vọng lắp ráp đầy đủ ngay từ đầu. Hãy chọn một tác vụ nhỏ nhất có thể, làm thông suốt ba tầng framework, đánh giá và khả năng quan sát trước — khi ba tầng này đã thông thạo, bạn đã vượt qua 90% những người chỉ biết làm demo. Còn RAG, Sandbox và Triển khai, khi bạn thực sự đụng phải bức tường đó, tự khắc bạn sẽ biết mình cần phải bổ sung tầng nào.