Lloyal
用 TypeScript 組合開源權重模型,把推論與多代理執行環境直接放進你的 App,離線也能跑
Lloyal 是澳洲墨爾本 LLoyal Labs 的開發套件,10 月 2 日登上 Product Hunt。它的想法是把模型直接「住」進應用程式裡:執行 npx lloyal-ai new,就會得到一個內建推論與多代理執行環境的 TypeScript App,交出去的是一個在飛機上也能用的下載檔,不需要 API 金鑰、不需要 Docker、不需要向量資料庫,也不用註冊任何服務。
技術上最有意思的是共享 KV 快取。多個代理不是各自載入上下文,而是從同一份快取分叉,新代理繼承模型已讀過的一切,所以十個代理同時跑,增加的是記憶體而不是十倍運算。Product Hunt 編輯介紹中提到團隊的開源研究工具 reasoning.run:在終端機提問後,規劃器拆解任務、代理群平行調查,再交回附引用的報告;公開的那次執行在 Runpod 租兩張 B200、以 2-bit 量化約 239 GB 的 GLM-5.2 跑了 82 分鐘,花費約 16 美元,同一套程式也能在 MacBook 上跑 4B 模型。
功能特色與適用場景:官網把擴充能力分三級:MCP(在獨立程序中處理參數)、Skills(帶有程序知識)、Abilities(能直接操作執行中的推論狀態,例如分叉出新代理或要求載入另一個模型)。它把架構比喻成 MVC 中「會思考的 Model」,你的 TypeScript harness 是 Controller,介面可以是 CLI、Electron/Tauri 桌面或網頁,行動版即將推出。對需要離線、資料不能出內網的台灣製造業或醫療場景,這種「模型內嵌」的做法值得研究;但它需要不少硬體與工程能力,不是給一般使用者的現成產品。
TheAI學院 編輯建議
編輯實測後的真心話Lloyal 的共享 KV 快取多代理是真正的技術亮點,16 美元跑十個代理的紀錄很有說服力;適合有工程團隊、重視離線與資料主權的公司研究。
主要功能
- npx lloyal-ai new 建立內建推論的 TypeScript App
- 免 API 金鑰、免 Docker、免向量資料庫,可離線執行
- 多代理共享 KV 快取,新增代理幾乎不增加運算
- MCP、Skills、Abilities 三層擴充能力
- 同一套程式可跑筆電小模型或叢集大模型
- 支援 CLI、桌面與網頁介面
適用場景
- 開發需要離線運作的 AI 桌面應用
- 在內網部署多代理研究工具
- 以開源大模型做平行研究並產出引用報告
- 工廠或醫院等資料不能出網的 AI 應用
Lloyal 的優點與缺點
優點
- 資料與推論都留在應用程式內
- 多代理推理成本大幅降低
- 公開執行紀錄與設定,可重現
缺點
- 需要較強的工程與硬體能力
- 行動版尚未推出
- 大模型仍需高階 GPU
價格方案
開發套件與文件公開,可透過 npx lloyal-ai new 建立專案;不需 API 金鑰,模型在應用程式內執行,硬體成本自負;合作與硬體方案需洽官方
Lloyal 常見問題
Lloyal 需要雲端 API 嗎?
不需要,模型直接內建在應用程式裡執行,官網強調不需 API 金鑰、Docker 或向量資料庫。
多個代理會不會讓成本暴增?
Lloyal 讓代理從共享的 KV 快取分叉,成本隨快取大小而非代理數量增加。
用什麼語言開發?
以 TypeScript 撰寫 harness,介面可做成 CLI、桌面或網頁。
使用者評價
還沒有足夠評價,搶先分享你的使用心得!
寫下你的評價
Lloyal 的替代方案
查看相似的 AI 工具 →相關 AI 工具
Claude
Anthropic 的 AI 助理,長文件與寫作品質是它的主場。
heal.dev
不只讀 diff,而是把整個應用跑在仿正式環境的沙盒裡找 bug 與資安漏洞,每個問題都附一支會失敗的測試當證據
3AM
給「改不動的老系統」用的 AI 值班工程師:先在線上環境用唯讀檢查證明根因,演練修復,再等你在 Slack 按一下才動手
Pomerado
把沒有 API 的網站(訂位、比價、企業內部系統)變成可呼叫的 API 或 MCP,讓 AI 代理不必每次慢慢點網頁
Harness by Autonomous
一個 App 同時指揮多台電腦上的 Claude Code、Codex、Cursor 等編程代理,端對端加密、不用開 port,還能延伸到 CAD、電路與音樂
Navige
擋在 AI 代理和模型之間,用快取、裁切上下文、攔截失控迴圈與智慧路由壓低 API 帳單,省多少才收多少
猜你也想看的AI 開發者工具
更多澳洲的 AI 工具
同樣來自澳洲的 AI 工具,一起看看。