Pipecat

Pipecat 是由即時影音公司 Daily 維護的開源框架，官網自稱是「使用最廣的語音與多模態 AI 代理開源生態系」，GitHub 上有 1.6 萬顆以上星星。它的核心概念是「管線」（pipeline）：把語音辨識、語言模型、語音合成、視覺模型等服務像積木一樣串起來，資料以影格（frames）在管線中串流，不用等上一階段完成，代理可以在你還在講話時就開始準備回應。官網的即時範例就是 Soniox 語音辨識加 OpenAI 加 Cartesia 語音合成的組合。

主要能力包括：多模態編排，在同一條管線協調語音、影片、文字與圖片，並能在影格層級控制對話的每一步；可以從 200 多家整合的服務商中自由替換語音、語言與視覺服務，通常只改一行程式；內建插話處理、輪替偵測與上下文管理，讓對話更自然；支援多代理工作流程，長時間執行的工具可交給子代理，需要固定流程的對話則用 Pipecat Flows；傳輸層支援 WebRTC、SIP 與 PSTN 電話；另有用戶端 SDK 與 UI Kit，以及指標、追蹤與 OpenTelemetry。新版 CLI 用 pipecat init 就能建立專案，還會替你的程式碼代理寫好 AGENTS.md、CLAUDE.md，並註冊 Pipecat Context Hub 的 MCP server，讓 Claude Code 這類工具照最新 API 寫程式。想要代管的話，Daily 提供 Pipecat Cloud，依代理規格按分鐘計費、支援無上限並行。

功能特色與適用場景：如果你想自己掌握語音代理的每一個環節，而不是用 Vapi、Retell 這種封裝好的平台，Pipecat 是最主流的選擇。台灣團隊的好處是可以自由挑選中文表現好的語音辨識與合成服務，例如把語音辨識換成對繁中、台灣口音比較好的供應商。代價是要自己處理更多工程細節，電話端還要另外接 SIP 或電信商。