Tensorfuse

在你自己的 AWS 帳號裡跑 Serverless GPU:微調、推論自動擴展、多 LoRA 熱切換、工作佇列與開發容器

洽詢報價
一句話介紹:在你自己的 AWS 帳號裡跑 Serverless GPU:微調、推論自動擴展、多 LoRA 熱切換、工作佇列與開發容器

Tensorfuse 的口號是「在你自己的 AWS 裡跑 Serverless 推論」。跟大多數 Serverless GPU 平台把模型放在它們的機房不同,Tensorfuse 是把一套自動擴展的 GPU 執行環境部署進你的雲端帳號,讓你享受 Serverless 的方便,但資料、模型權重與 GPU 都留在自己的 AWS 裡。這對已經跟 AWS 簽了用量承諾、或資料不能離開自家雲的公司特別有吸引力。

官網列出四大功能。Serverless Inference 依流量自動擴展部署,用自家最佳化的容器執行環境,讓好幾 GB 的容器在數秒內啟動;並內建多 LoRA 推論,可以在單張 GPU 上訓練並熱切換上千個 LoRA 轉接器,適合「一個基礎模型、很多客戶各自微調」的 SaaS 架構。Fine-tuning 讓你用雲端 GPU 拿私有資料微調開源模型,資料集與權重存在你自己的私有 S3 bucket,可以用 Axolotl、Unsloth、Hugging Face 等訓練函式庫或自己寫訓練迴圈;官網首頁就放了用 Axolotl 微調 Qwen3-8B 的教學。Job Queues 讓你以程式排入工作,設定最小與最大規模控制速度與成本,用 CLI 查狀態。Dev Containers 則把本機的 ML 程式碼直接接到雲端 GPU,不用開機器、SSH、複製程式、裝相依套件,本機改的程式即時同步到執行中的容器。

功能特色與適用場景:適合有 AWS 帳號、有 MLOps 需求但不想自己維運 Kubernetes GPU 叢集的中小團隊。台灣不少企業因為法遵要求資料留在自己的雲帳號(例如使用 AWS 東京或大阪區),Tensorfuse 這種「部署在你雲上」的模式比較好過資安審查。缺點是目前以 AWS 為主,GPU 配額仍受你帳號的限制,價格也沒有公開。

TheAI學院 編輯建議

編輯實測後的真心話

「Serverless 的方便、自己雲帳號的掌控」是很多企業真正想要的組合。Tensorfuse 選擇站在 AWS 帳號裡面做事,對要過資安審查的台灣團隊來說,比把資料交出去好談得多。

— theai 編輯團隊

主要功能

  • 在自有 AWS 帳號內部署 Serverless GPU 推論並自動擴展
  • 最佳化容器執行環境,大型容器數秒啟動
  • 多 LoRA 推論:單張 GPU 熱切換上千個 LoRA 轉接器
  • 私有資料微調,支援 Axolotl、Unsloth、Hugging Face
  • Job Queues:程式化排入工作並設定擴展上下限
  • Dev Containers:本機程式碼即時同步到雲端 GPU

適用場景

  • 在自家 AWS 帳號內部署開源 LLM 推論
  • SaaS 替每位客戶微調專屬 LoRA 並共用 GPU
  • 用私有資料微調 Qwen 等開源模型
  • 排程大量批次推論工作
  • 資料科學家直接用本機 IDE 接雲端 GPU 開發

Tensorfuse 的優點與缺點

優點

  • 資料、權重與 GPU 都留在自己的雲帳號
  • 可沿用既有 AWS 用量承諾與折扣
  • 多 LoRA 熱切換適合多租戶微調架構

缺點

  • 以 AWS 為主,其他雲支援需確認
  • GPU 配額受自身 AWS 帳號限制
  • 官網未公開價格

價格方案

官網未公開價格,需聯繫洽詢

Tensorfuse 常見問題

Tensorfuse 跟一般 Serverless GPU 平台有什麼不同?

它把執行環境部署在你自己的 AWS 帳號裡,資料集與模型權重存在你的私有 S3 bucket,而不是放在第三方機房。

支援哪些微調工具?

官網列出 Axolotl、Unsloth、Hugging Face,也可以自己寫訓練迴圈。

多 LoRA 推論是什麼?

在單張 GPU 上載入同一個基礎模型,並熱切換上千個不同的 LoRA 轉接器,讓多個微調版本共用硬體。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

Tensorfuse 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 開發框架與基建

前往官網 ↗