Kyutai (Moshi)

巴黎的開放科學 AI 實驗室,做出即時語音對話模型 Moshi 與 CPU 也能跑的 Pocket TTS

免費
一句話介紹:巴黎的開放科學 AI 實驗室,做出即時語音對話模型 Moshi 與 CPU 也能跑的 Pocket TTS

Kyutai 是位於巴黎的非營利 AI 研究實驗室,資金來自 Iliad 集團(法國電信商 Free 的母公司)、海運集團 CMA CGM 與 Schmidt Sciences,使命是「透過開放科學打造並普及通用人工智慧」。它最出名的成果是 Moshi:官網說這是第一個「語音原生」的對話系統,直接處理聲音而不是先轉成文字再轉回來,所以延遲極低,也能聽出情緒等非語言訊息。

從 Moshi 的多串流架構,Kyutai 又延伸出幾個專案。Hibiki-Zero 是即時的語音對語音翻譯模型;Unmute 則把它的低延遲串流語音辨識與語音合成包起來,讓任何文字型 LLM 都能「聽」和「說」。最近開源的 Pocket TTS 只有 1 億參數,在 CPU 上就能比即時還快,已支援六種語言,2026 年 8 月連訓練程式碼都公開了。其他還有把音樂轉成多樂器 MIDI 的 MuScriptor、結合視覺的 MoshiVis、與 Epic Games 合作用 1 萬小時 Rocket League 對局訓練的即時多人世界模型 MIRA,以及 20 億參數的多語 LLM Helium 1。它也和法國團體 Les Invincibles 合作推出開源的 Invincible Voice,幫漸凍症患者重新「說話」。第一家衍生公司 Gradium 負責把這些語音研究做成商用系統。

功能特色與適用場景:一般使用者可以直接在官網試 Moshi、Unmute、MIRA 的線上 Demo,感受全雙工語音對話(可以隨時插話)跟傳統語音助理的差別。開發者則可以到 GitHub 與 Hugging Face 下載模型。對台灣團隊最有用的是 Pocket TTS 與 Unmute:想替自家 LLM 加上語音介面、又不想付雲端語音 API 費用的話,這是很好的起點。要注意的是,官網沒有說 Pocket TTS 的六種語言是否包含中文,Moshi 的對話也以英文、法文為主;中文場景請先實測。

TheAI學院 編輯建議

編輯實測後的真心話

法國的 AI 圈除了 Mistral,Kyutai 是我最常推薦開發者關注的名字。它不賣產品,但幾乎每隔幾個月就丟出一個能直接拿來用的開源語音模型,Pocket TTS 在 CPU 上跑的效果尤其讓人意外。

— theai 編輯團隊

主要功能

  • Moshi:語音原生、可隨時插話的即時對話模型
  • Unmute:替任何文字 LLM 加上低延遲語音辨識與合成
  • Hibiki-Zero:即時語音對語音翻譯
  • Pocket TTS:1 億參數、CPU 即可比即時更快的多語 TTS
  • MuScriptor 音樂轉 MIDI、MIRA 即時世界模型、Helium 1 多語 LLM
  • 模型與程式碼開源,官網提供線上 Demo

適用場景

  • 開發者用 Unmute 替自家 LLM 加上語音對話
  • 在低階裝置或離線環境用 Pocket TTS 產生語音
  • 研究者參考 Moshi 的全雙工語音架構
  • 音樂人用 MuScriptor 把錄音轉成 MIDI

Kyutai (Moshi) 的優點與缺點

優點

  • 多數成果開源,開發者可自行部署
  • Pocket TTS 在 CPU 上就能跑,硬體門檻低
  • 線上 Demo 免費,非技術人員也能體驗

缺點

  • 是研究實驗室,不提供商用 SLA(商用由衍生公司 Gradium 負責)
  • 中文支援程度官網未說明
  • 線上 Demo 只是展示,正式應用要自己部署與調校

價格方案

非營利研究實驗室,模型與程式碼開源,線上 Demo 免費試用

Kyutai (Moshi) 常見問題

Kyutai 的模型可以商用嗎?

多數模型以開源方式釋出,商用條件請以 GitHub 或 Hugging Face 上各模型的授權為準;需要正式商用服務可以找它的衍生公司 Gradium。

Moshi 跟一般語音助理有什麼不同?

Moshi 直接處理語音、不經過文字轉換,延遲很低,你可以像真人對話一樣隨時插話。

Pocket TTS 需要 GPU 嗎?

不需要。官網說這個 1 億參數的模型在 CPU 上就能比即時更快地產生語音,目前支援六種語言。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

Kyutai (Moshi) 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 語音生成

更多法國的 AI 工具

同樣來自法國的 AI 工具,一起看看。

看全部74 款法國 AI 工具 →

前往官網 ↗