Lloyal

用 TypeScript 組合開源權重模型,把推論與多代理執行環境直接放進你的 App,離線也能跑

免費
一句話介紹:用 TypeScript 組合開源權重模型,把推論與多代理執行環境直接放進你的 App,離線也能跑

Lloyal 是澳洲墨爾本 LLoyal Labs 的開發套件,10 月 2 日登上 Product Hunt。它的想法是把模型直接「住」進應用程式裡:執行 npx lloyal-ai new,就會得到一個內建推論與多代理執行環境的 TypeScript App,交出去的是一個在飛機上也能用的下載檔,不需要 API 金鑰、不需要 Docker、不需要向量資料庫,也不用註冊任何服務。

技術上最有意思的是共享 KV 快取。多個代理不是各自載入上下文,而是從同一份快取分叉,新代理繼承模型已讀過的一切,所以十個代理同時跑,增加的是記憶體而不是十倍運算。Product Hunt 編輯介紹中提到團隊的開源研究工具 reasoning.run:在終端機提問後,規劃器拆解任務、代理群平行調查,再交回附引用的報告;公開的那次執行在 Runpod 租兩張 B200、以 2-bit 量化約 239 GB 的 GLM-5.2 跑了 82 分鐘,花費約 16 美元,同一套程式也能在 MacBook 上跑 4B 模型。

功能特色與適用場景:官網把擴充能力分三級:MCP(在獨立程序中處理參數)、Skills(帶有程序知識)、Abilities(能直接操作執行中的推論狀態,例如分叉出新代理或要求載入另一個模型)。它把架構比喻成 MVC 中「會思考的 Model」,你的 TypeScript harness 是 Controller,介面可以是 CLI、Electron/Tauri 桌面或網頁,行動版即將推出。對需要離線、資料不能出內網的台灣製造業或醫療場景,這種「模型內嵌」的做法值得研究;但它需要不少硬體與工程能力,不是給一般使用者的現成產品。

TheAI學院 編輯建議

編輯實測後的真心話

Lloyal 的共享 KV 快取多代理是真正的技術亮點,16 美元跑十個代理的紀錄很有說服力;適合有工程團隊、重視離線與資料主權的公司研究。

— theai 編輯團隊

主要功能

  • npx lloyal-ai new 建立內建推論的 TypeScript App
  • 免 API 金鑰、免 Docker、免向量資料庫,可離線執行
  • 多代理共享 KV 快取,新增代理幾乎不增加運算
  • MCP、Skills、Abilities 三層擴充能力
  • 同一套程式可跑筆電小模型或叢集大模型
  • 支援 CLI、桌面與網頁介面

適用場景

  • 開發需要離線運作的 AI 桌面應用
  • 在內網部署多代理研究工具
  • 以開源大模型做平行研究並產出引用報告
  • 工廠或醫院等資料不能出網的 AI 應用

Lloyal 的優點與缺點

優點

  • 資料與推論都留在應用程式內
  • 多代理推理成本大幅降低
  • 公開執行紀錄與設定,可重現

缺點

  • 需要較強的工程與硬體能力
  • 行動版尚未推出
  • 大模型仍需高階 GPU

價格方案

開發套件與文件公開,可透過 npx lloyal-ai new 建立專案;不需 API 金鑰,模型在應用程式內執行,硬體成本自負;合作與硬體方案需洽官方

Lloyal 常見問題

Lloyal 需要雲端 API 嗎?

不需要,模型直接內建在應用程式裡執行,官網強調不需 API 金鑰、Docker 或向量資料庫。

多個代理會不會讓成本暴增?

Lloyal 讓代理從共享的 KV 快取分叉,成本隨快取大小而非代理數量增加。

用什麼語言開發?

以 TypeScript 撰寫 harness,介面可做成 CLI、桌面或網頁。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

Lloyal 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 開發者工具

更多澳洲的 AI 工具

同樣來自澳洲的 AI 工具,一起看看。

看全部40 款澳洲 AI 工具 →

前往官網 ↗