Together AI

自稱「AI Native Cloud」的開源模型雲:Serverless 推論、PTU 專屬端點、H100/B200 GPU 叢集與微調一站買齊

付費 4.3 / 5
一句話介紹:自稱「AI Native Cloud」的開源模型雲:Serverless 推論、PTU 專屬端點、H100/B200 GPU 叢集與微調一站買齊

Together AI 是舊金山的 AI 雲端公司,官網現在自稱「The AI Native Cloud」。站上舊資料只寫它是「開源模型的推論 API」,但它的產品已經從 API 一路延伸到整座 GPU 叢集:最上層是按 token 計費的 Serverless 推論,中間是專屬端點,底層直接租 NVIDIA H100、H200、B200、B300 乃至 GB200/GB300 NVL72 機櫃。它的另一個身分是研究單位,FlashAttention 系列、ThunderKittens 核心、ATLAS 推測解碼等論文都出自這個團隊,官網首頁有一整區在放研究成果。

功能特色與適用場景:Serverless 推論涵蓋文字、圖片、影片、程式與語音模型,官網示範的包括 Kimi K3、GLM-5.2、MiniMax M3,也常有限時免費的新模型。流量穩定之後,官網建議改用 Dedicated Endpoints,以 PTU(吞吐單位)預留固定容量,每個 PTU 能處理多少 token 依模型而定,頁面有計算器可以估月費。要自己訓練就租 GPU 叢集,分可搶占、隨需與 3 天到半年以上的預留價。微調支援 LoRA 與全參數的 SFT、DPO,按訓練資料 token 數計價,例如 Llama 3.1 8B 的 SFT 每百萬 token 0.34 美元、每次最低 4 美元,Kimi、GLM 這類大模型則貴上許多。另外還有給 AI 代理用的 Code Sandbox(依 vCPU 與記憶體按小時計費)、Code Interpreter(60 分鐘一個 session 0.03 美元)以及共用檔案系統。

給台灣使用者的建議:最適合已經有工程團隊、想用開源模型取代閉源 API 降成本的新創,例如用 Qwen3.5 或 Gemma 4 搭配自家繁中客服紀錄做 LoRA 微調,再用 Serverless 上線,流量起來後轉 PTU。學校研究室或 IC 設計公司要短期衝一批訓練,也可以比較它的 H100 預留價和自建機房的成本。全部以美元計價、信用卡或企業合約付款;官網沒有標示台灣或亞洲機房,有個資或資料落地要求的案子,簽約前要先跟業務確認資料存放區域。介面與文件都是英文,API 相容 OpenAI 格式,原本接 OpenAI 的程式改動不大。

TheAI學院 編輯建議

編輯實測後的真心話
4.3

Together AI 的強項是「從一支 API 到一整座 GB300 機櫃都能賣你」,加上 FlashAttention 這種研究背景,技術可信度很高。缺點是計價單位太多種,第一次估成本會頭痛;我的建議是先用 Serverless 跑一個月拿到真實用量,再決定要不要轉 PTU。

— theai 編輯團隊

主要功能

  • Serverless 推論:文字、圖片、影片、程式與語音開源模型按 token 計費
  • Dedicated Endpoints 以 PTU 預留固定吞吐量,官網提供月費計算器
  • GPU 叢集:H100、H200、B200、B300 與 GB200/GB300 NVL72,分可搶占、隨需與預留
  • LoRA 與全參數 SFT、DPO 微調,依訓練 token 計價
  • Code Sandbox、Code Interpreter 與共用檔案系統,支援 AI 代理執行程式
  • API 相容 OpenAI 格式,自家研究團隊持續優化推論核心

如何使用 Together AI

  1. 到 together.ai 註冊帳號並綁定付款方式,建立 API 金鑰
  2. 在模型目錄挑選要用的開源模型,用 Playground 先試提示詞
  3. 把 OpenAI SDK 的 base URL 改成 Together 的端點,換上金鑰與模型名稱
  4. 需要客製時上傳 JSONL 訓練資料,啟動 LoRA 或全參數微調
  5. 流量穩定後用官網計算器估算 PTU 數量,改用 Dedicated Endpoints

適用場景

  • 新創用開源模型取代閉源 API,降低推論成本
  • 以繁中客服或產品資料對 Qwen、Gemma 做 LoRA 微調後上線
  • 流量穩定的產品改用 PTU 專屬端點鎖定延遲與成本
  • 研究單位短期租用 H100 或 B200 叢集訓練模型
  • AI 代理產品用 Code Sandbox 執行模型產生的程式碼

Together AI 的優點與缺點

優點

  • 從 API、專屬端點到整座 GPU 叢集都在同一家,規模長大不用換平台
  • 官網公開大部分 GPU 與微調價格,方便估算
  • 研究實力強,新開源模型通常很快上架

缺點

  • 產品與計價維度多(token、PTU、GPU 小時、Sandbox),初次估算成本不容易
  • 官網未標示亞洲機房,資料落地需求要另外確認
  • 大型模型微調有最低收費,小量實驗成本不低

價格方案

Serverless 依模型每百萬 token 計價;Dedicated Endpoints 以 PTU 計費(官網列出的模型每 PTU 每分鐘 0.05 美元);GPU 叢集 H100 隨需每小時 3.99 美元(可搶占 1.99 美元、預留 3~30 天 3.69 美元)、B200 每小時 8.19 美元;微調依訓練 token 計價並有最低收費。以官網為準

Together AI 常見問題

Together AI 怎麼收費?

Serverless 依模型每百萬 token 計價;專屬端點以 PTU 計費;GPU 叢集依小時計費,例如 H100 隨需每小時 3.99 美元、可搶占 1.99 美元;微調依訓練 token 計價並有最低收費。實際以官網為準。

Together AI 和 Fireworks AI 怎麼選?

兩者都主打開源模型推論與微調。Together AI 多了大規模 GPU 叢集租用與 Code Sandbox;[Fireworks AI](/tools/fireworks-ai) 強調推論速度、多區域資料駐留與 Nexus 模型調度。建議用自己的提示詞實測延遲與價格。

Together AI 可以微調繁體中文模型嗎?

可以。它支援對 Qwen3.5、Gemma 4、Llama 等開源模型做 LoRA 或全參數微調,上傳自己的繁中資料即可;微調後的模型可以直接部署成端點呼叫。

Together AI 的 API 可以直接替換 OpenAI 嗎?

API 相容 OpenAI 格式,多數情況只要改 base URL、金鑰與模型名稱就能切換;但各模型的工具呼叫與輸出格式細節仍需實測。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

Together AI 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 開發者工具

Together AI 相關文章與教學

Together AI 評測:值得用嗎?

Together AI 是什麼:開源模型的一站式雲

如果說 Cerebras 賣的是速度,Together AI 賣的是選擇與彈性。它是一個專門服務開源模型的雲平台,你可以用 serverless API 直接呼叫上百個模型,也可以租 GPU 自己訓練、微調、部署。它把自己定位成「開源版的 OpenAI 平台」,主打企業從閉源模型轉向開源時的落地夥伴。

實際表現與速度

我拿它跑 Llama、DeepSeek、Qwen 系列,體感穩定、模型齊全,新模型上架速度算快,DeepSeek V3.1、R1 這類熱門權重都找得到。速度不是它的賣點——比不上 Cerebras 或 Groq 那種硬體級狂飆——但對絕大多數 RAG、批次處理、後端 API 場景綽綽有餘。真正的價值在於「一個 API key 打天下」加上完整微調管線:LoRA、全參數微調、專屬部署都在同一個平台搞定,不用自己拼湊基礎設施。

價格方案

Serverless 按 token 計費,範圍大約每百萬 tokens $0.10–$9,依模型而定:Llama 3.3 70B 約 $0.88/$0.88、DeepSeek V3.1 約 $0.60/$1.70、R1 約 $3.00/$7.00。微調 LoRA 每百萬 tokens $0.48–$2.90、全參數 $0.54–$3.20。要專屬算力就租 GPU:H100 每小時約 $1.76–$2.39、H200 約 $3.15–$3.79、B200 約 $4.00–$5.50,依合約長度浮動。另提供 68 個免費模型可先試水溫。官方宣稱相較閉源對手最多可省 60 倍推論成本——這數字要打折看,取決於你拿什麼比。

優點

模型庫廣、微調與部署一條龍、OpenAI-相容 API 遷移成本低、按需租 GPU 對訓練工作負載很實用,價格對開源模型有競爭力。

缺點與限制

它不是最快的,追求極致延遲的即時應用會失望;免費模型的速率限制較緊,認真用要付費;GPU 租用價格會隨市場與供給波動,長期成本要自己算清楚;平台功能多,新手第一次面對 serverless、dedicated、fine-tuning 的分野會有點眼花。

適合誰用

要在開源模型上做微調、要把閉源成本壓下來的企業、需要靈活切換多模型的產品團隊、以及想租 GPU 訓練又不想維運機房的研究者。

替代方案

Fireworks AI(開源推論、速度快)、Replicate(模型即服務、部署簡單)、AWS Bedrock / Baseten(企業級整合與合規)。

台灣觀點

Together 值得台灣團隊認真看,有個在地彩蛋:2026 年 7 月它完成 8 億美元 C 輪、估值衝到 83 億美元,投資人名單裡有台灣的和碩(Pegatron),還有 Nvidia、Aramco Ventures,年化營收已近 10 億美元——體質比多數 AI 新創穩。中文支援一樣看模型,Qwen、DeepSeek 繁體表現不錯,建議 prompt 明確指定台灣用語。機房在美國,台灣連線往返延遲約 150–250ms,適合後端與批次任務,不建議拿來做對延遲極敏感的即時互動。沒有亞洲節點是它跟所有美系推論雲共同的短板。

本評測由 TheAI學院編輯群整理,內容力求客觀、含優缺點,僅供參考。

最後更新:2026年10月

前往官網 ↗