Together AI
自稱「AI Native Cloud」的開源模型雲:Serverless 推論、PTU 專屬端點、H100/B200 GPU 叢集與微調一站買齊
Together AI 是舊金山的 AI 雲端公司,官網現在自稱「The AI Native Cloud」。站上舊資料只寫它是「開源模型的推論 API」,但它的產品已經從 API 一路延伸到整座 GPU 叢集:最上層是按 token 計費的 Serverless 推論,中間是專屬端點,底層直接租 NVIDIA H100、H200、B200、B300 乃至 GB200/GB300 NVL72 機櫃。它的另一個身分是研究單位,FlashAttention 系列、ThunderKittens 核心、ATLAS 推測解碼等論文都出自這個團隊,官網首頁有一整區在放研究成果。
功能特色與適用場景:Serverless 推論涵蓋文字、圖片、影片、程式與語音模型,官網示範的包括 Kimi K3、GLM-5.2、MiniMax M3,也常有限時免費的新模型。流量穩定之後,官網建議改用 Dedicated Endpoints,以 PTU(吞吐單位)預留固定容量,每個 PTU 能處理多少 token 依模型而定,頁面有計算器可以估月費。要自己訓練就租 GPU 叢集,分可搶占、隨需與 3 天到半年以上的預留價。微調支援 LoRA 與全參數的 SFT、DPO,按訓練資料 token 數計價,例如 Llama 3.1 8B 的 SFT 每百萬 token 0.34 美元、每次最低 4 美元,Kimi、GLM 這類大模型則貴上許多。另外還有給 AI 代理用的 Code Sandbox(依 vCPU 與記憶體按小時計費)、Code Interpreter(60 分鐘一個 session 0.03 美元)以及共用檔案系統。
給台灣使用者的建議:最適合已經有工程團隊、想用開源模型取代閉源 API 降成本的新創,例如用 Qwen3.5 或 Gemma 4 搭配自家繁中客服紀錄做 LoRA 微調,再用 Serverless 上線,流量起來後轉 PTU。學校研究室或 IC 設計公司要短期衝一批訓練,也可以比較它的 H100 預留價和自建機房的成本。全部以美元計價、信用卡或企業合約付款;官網沒有標示台灣或亞洲機房,有個資或資料落地要求的案子,簽約前要先跟業務確認資料存放區域。介面與文件都是英文,API 相容 OpenAI 格式,原本接 OpenAI 的程式改動不大。
TheAI學院 編輯建議
編輯實測後的真心話Together AI 的強項是「從一支 API 到一整座 GB300 機櫃都能賣你」,加上 FlashAttention 這種研究背景,技術可信度很高。缺點是計價單位太多種,第一次估成本會頭痛;我的建議是先用 Serverless 跑一個月拿到真實用量,再決定要不要轉 PTU。
主要功能
- Serverless 推論:文字、圖片、影片、程式與語音開源模型按 token 計費
- Dedicated Endpoints 以 PTU 預留固定吞吐量,官網提供月費計算器
- GPU 叢集:H100、H200、B200、B300 與 GB200/GB300 NVL72,分可搶占、隨需與預留
- LoRA 與全參數 SFT、DPO 微調,依訓練 token 計價
- Code Sandbox、Code Interpreter 與共用檔案系統,支援 AI 代理執行程式
- API 相容 OpenAI 格式,自家研究團隊持續優化推論核心
如何使用 Together AI
- 到 together.ai 註冊帳號並綁定付款方式,建立 API 金鑰
- 在模型目錄挑選要用的開源模型,用 Playground 先試提示詞
- 把 OpenAI SDK 的 base URL 改成 Together 的端點,換上金鑰與模型名稱
- 需要客製時上傳 JSONL 訓練資料,啟動 LoRA 或全參數微調
- 流量穩定後用官網計算器估算 PTU 數量,改用 Dedicated Endpoints
適用場景
- 新創用開源模型取代閉源 API,降低推論成本
- 以繁中客服或產品資料對 Qwen、Gemma 做 LoRA 微調後上線
- 流量穩定的產品改用 PTU 專屬端點鎖定延遲與成本
- 研究單位短期租用 H100 或 B200 叢集訓練模型
- AI 代理產品用 Code Sandbox 執行模型產生的程式碼
Together AI 的優點與缺點
優點
- 從 API、專屬端點到整座 GPU 叢集都在同一家,規模長大不用換平台
- 官網公開大部分 GPU 與微調價格,方便估算
- 研究實力強,新開源模型通常很快上架
缺點
- 產品與計價維度多(token、PTU、GPU 小時、Sandbox),初次估算成本不容易
- 官網未標示亞洲機房,資料落地需求要另外確認
- 大型模型微調有最低收費,小量實驗成本不低
價格方案
Serverless 依模型每百萬 token 計價;Dedicated Endpoints 以 PTU 計費(官網列出的模型每 PTU 每分鐘 0.05 美元);GPU 叢集 H100 隨需每小時 3.99 美元(可搶占 1.99 美元、預留 3~30 天 3.69 美元)、B200 每小時 8.19 美元;微調依訓練 token 計價並有最低收費。以官網為準
Together AI 常見問題
Together AI 怎麼收費?
Serverless 依模型每百萬 token 計價;專屬端點以 PTU 計費;GPU 叢集依小時計費,例如 H100 隨需每小時 3.99 美元、可搶占 1.99 美元;微調依訓練 token 計價並有最低收費。實際以官網為準。
Together AI 和 Fireworks AI 怎麼選?
兩者都主打開源模型推論與微調。Together AI 多了大規模 GPU 叢集租用與 Code Sandbox;[Fireworks AI](/tools/fireworks-ai) 強調推論速度、多區域資料駐留與 Nexus 模型調度。建議用自己的提示詞實測延遲與價格。
Together AI 可以微調繁體中文模型嗎?
可以。它支援對 Qwen3.5、Gemma 4、Llama 等開源模型做 LoRA 或全參數微調,上傳自己的繁中資料即可;微調後的模型可以直接部署成端點呼叫。
Together AI 的 API 可以直接替換 OpenAI 嗎?
API 相容 OpenAI 格式,多數情況只要改 base URL、金鑰與模型名稱就能切換;但各模型的工具呼叫與輸出格式細節仍需實測。
使用者評價
還沒有足夠評價,搶先分享你的使用心得!
寫下你的評價
Together AI 的替代方案
查看相似的 AI 工具 →相關 AI 工具
Claude
Anthropic 的 AI 助理,長文件與寫作品質是它的主場。
telemetry.dev
把 AI 代理每一次模型呼叫、工具步驟與檢索串成一條 trace,看出哪一步最慢、哪個模型最燒錢、哪個 MCP 工具最常失敗
agentmash
隊友的 Codex 正在改同一個檔案,你的 Claude Code 動手前就會收到通知;按開發者計費,代理不限數量
Pluto Door
用白話描述問題,Ori 讀 log、跑指令,改動前一定問你;另外把每台 Linux 主機變成有 Dock 和視窗的桌面
Backenly
代理透過 MCP 建好資料庫、登入與儲存,Backenly 每分鐘巡檢並自動修安全範圍內的問題,刪表這類動作一律等人核准
Spacesheep
代理寫好的 HTML 或資料夾一行指令發布成私人網址,人和代理都能留言、改版,還能送電子簽署與接即時資料
猜你也想看的AI 開發者工具
Together AI 相關文章與教學
Together AI 評測:值得用嗎?
Together AI 是什麼:開源模型的一站式雲
如果說 Cerebras 賣的是速度,Together AI 賣的是選擇與彈性。它是一個專門服務開源模型的雲平台,你可以用 serverless API 直接呼叫上百個模型,也可以租 GPU 自己訓練、微調、部署。它把自己定位成「開源版的 OpenAI 平台」,主打企業從閉源模型轉向開源時的落地夥伴。
實際表現與速度
我拿它跑 Llama、DeepSeek、Qwen 系列,體感穩定、模型齊全,新模型上架速度算快,DeepSeek V3.1、R1 這類熱門權重都找得到。速度不是它的賣點——比不上 Cerebras 或 Groq 那種硬體級狂飆——但對絕大多數 RAG、批次處理、後端 API 場景綽綽有餘。真正的價值在於「一個 API key 打天下」加上完整微調管線:LoRA、全參數微調、專屬部署都在同一個平台搞定,不用自己拼湊基礎設施。
價格方案
Serverless 按 token 計費,範圍大約每百萬 tokens $0.10–$9,依模型而定:Llama 3.3 70B 約 $0.88/$0.88、DeepSeek V3.1 約 $0.60/$1.70、R1 約 $3.00/$7.00。微調 LoRA 每百萬 tokens $0.48–$2.90、全參數 $0.54–$3.20。要專屬算力就租 GPU:H100 每小時約 $1.76–$2.39、H200 約 $3.15–$3.79、B200 約 $4.00–$5.50,依合約長度浮動。另提供 68 個免費模型可先試水溫。官方宣稱相較閉源對手最多可省 60 倍推論成本——這數字要打折看,取決於你拿什麼比。
優點
模型庫廣、微調與部署一條龍、OpenAI-相容 API 遷移成本低、按需租 GPU 對訓練工作負載很實用,價格對開源模型有競爭力。
缺點與限制
它不是最快的,追求極致延遲的即時應用會失望;免費模型的速率限制較緊,認真用要付費;GPU 租用價格會隨市場與供給波動,長期成本要自己算清楚;平台功能多,新手第一次面對 serverless、dedicated、fine-tuning 的分野會有點眼花。
適合誰用
要在開源模型上做微調、要把閉源成本壓下來的企業、需要靈活切換多模型的產品團隊、以及想租 GPU 訓練又不想維運機房的研究者。
替代方案
Fireworks AI(開源推論、速度快)、Replicate(模型即服務、部署簡單)、AWS Bedrock / Baseten(企業級整合與合規)。
台灣觀點
Together 值得台灣團隊認真看,有個在地彩蛋:2026 年 7 月它完成 8 億美元 C 輪、估值衝到 83 億美元,投資人名單裡有台灣的和碩(Pegatron),還有 Nvidia、Aramco Ventures,年化營收已近 10 億美元——體質比多數 AI 新創穩。中文支援一樣看模型,Qwen、DeepSeek 繁體表現不錯,建議 prompt 明確指定台灣用語。機房在美國,台灣連線往返延遲約 150–250ms,適合後端與批次任務,不建議拿來做對延遲極敏感的即時互動。沒有亞洲節點是它跟所有美系推論雲共同的短板。
本評測由 TheAI學院編輯群整理,內容力求客觀、含優缺點,僅供參考。
最後更新:2026年10月