Tensorfuse
在你自己的 AWS 帳號裡跑 Serverless GPU:微調、推論自動擴展、多 LoRA 熱切換、工作佇列與開發容器
Tensorfuse 的口號是「在你自己的 AWS 裡跑 Serverless 推論」。跟大多數 Serverless GPU 平台把模型放在它們的機房不同,Tensorfuse 是把一套自動擴展的 GPU 執行環境部署進你的雲端帳號,讓你享受 Serverless 的方便,但資料、模型權重與 GPU 都留在自己的 AWS 裡。這對已經跟 AWS 簽了用量承諾、或資料不能離開自家雲的公司特別有吸引力。
官網列出四大功能。Serverless Inference 依流量自動擴展部署,用自家最佳化的容器執行環境,讓好幾 GB 的容器在數秒內啟動;並內建多 LoRA 推論,可以在單張 GPU 上訓練並熱切換上千個 LoRA 轉接器,適合「一個基礎模型、很多客戶各自微調」的 SaaS 架構。Fine-tuning 讓你用雲端 GPU 拿私有資料微調開源模型,資料集與權重存在你自己的私有 S3 bucket,可以用 Axolotl、Unsloth、Hugging Face 等訓練函式庫或自己寫訓練迴圈;官網首頁就放了用 Axolotl 微調 Qwen3-8B 的教學。Job Queues 讓你以程式排入工作,設定最小與最大規模控制速度與成本,用 CLI 查狀態。Dev Containers 則把本機的 ML 程式碼直接接到雲端 GPU,不用開機器、SSH、複製程式、裝相依套件,本機改的程式即時同步到執行中的容器。
功能特色與適用場景:適合有 AWS 帳號、有 MLOps 需求但不想自己維運 Kubernetes GPU 叢集的中小團隊。台灣不少企業因為法遵要求資料留在自己的雲帳號(例如使用 AWS 東京或大阪區),Tensorfuse 這種「部署在你雲上」的模式比較好過資安審查。缺點是目前以 AWS 為主,GPU 配額仍受你帳號的限制,價格也沒有公開。
TheAI學院 編輯建議
編輯實測後的真心話「Serverless 的方便、自己雲帳號的掌控」是很多企業真正想要的組合。Tensorfuse 選擇站在 AWS 帳號裡面做事,對要過資安審查的台灣團隊來說,比把資料交出去好談得多。
主要功能
- 在自有 AWS 帳號內部署 Serverless GPU 推論並自動擴展
- 最佳化容器執行環境,大型容器數秒啟動
- 多 LoRA 推論:單張 GPU 熱切換上千個 LoRA 轉接器
- 私有資料微調,支援 Axolotl、Unsloth、Hugging Face
- Job Queues:程式化排入工作並設定擴展上下限
- Dev Containers:本機程式碼即時同步到雲端 GPU
適用場景
- 在自家 AWS 帳號內部署開源 LLM 推論
- SaaS 替每位客戶微調專屬 LoRA 並共用 GPU
- 用私有資料微調 Qwen 等開源模型
- 排程大量批次推論工作
- 資料科學家直接用本機 IDE 接雲端 GPU 開發
Tensorfuse 的優點與缺點
優點
- 資料、權重與 GPU 都留在自己的雲帳號
- 可沿用既有 AWS 用量承諾與折扣
- 多 LoRA 熱切換適合多租戶微調架構
缺點
- 以 AWS 為主,其他雲支援需確認
- GPU 配額受自身 AWS 帳號限制
- 官網未公開價格
價格方案
官網未公開價格,需聯繫洽詢
Tensorfuse 常見問題
Tensorfuse 跟一般 Serverless GPU 平台有什麼不同?
它把執行環境部署在你自己的 AWS 帳號裡,資料集與模型權重存在你的私有 S3 bucket,而不是放在第三方機房。
支援哪些微調工具?
官網列出 Axolotl、Unsloth、Hugging Face,也可以自己寫訓練迴圈。
多 LoRA 推論是什麼?
在單張 GPU 上載入同一個基礎模型,並熱切換上千個不同的 LoRA 轉接器,讓多個微調版本共用硬體。
使用者評價
還沒有足夠評價,搶先分享你的使用心得!
寫下你的評價
Tensorfuse 的替代方案
查看相似的 AI 工具 →相關 AI 工具
Valyu
給 AI 做知識工作的搜尋 API:一支 API 同時查網路、財報、論文、臨床試驗等專業資料,附 Deep Research
Kiln
開源的 AI 工作台:評測、提示自動最佳化、微調、合成資料與 RAG,桌面 App 加 MIT 授權 Python 函式庫
Runloop
AI 代理的沙箱加速器:micro-VM Devbox、快照與分支、評測與強化微調,可部署到自己的 VPC
DatologyAI
AI 訓練資料精煉廠:清理、策展、合成、配比四階段,把你的資料變成高品質預訓練與中段訓練資料
Adaline
讓代理自我改善的平台:從正式環境追蹤歸納行為、自動產生評測與合成測資,再把修正推回代理
Relace
給程式碼代理用的小模型與基礎設施:快速套用修改、程式庫檢索、上下文壓縮,加上代理專用的版本控制