Baseten

一句話總評

Baseten 是那種「你不會在社群上看到它但工程團隊都在用」的基礎建設——它把模型部署這件麻煩事變成按分鐘計價的服務，而且價格表攤在網站上，這在 GPU 雲端市場算是誠實的。

它到底是什麼

一個模型部署與推論平台，提供三種買法。Model APIs 是直接呼叫預先最佳化好的模型，按每百萬 token 計價；Dedicated Deployments 是專屬 GPU 部署，按分鐘計費；Training 則提供訓練工作用的隨需運算。

價格公開得很具體。Model APIs 例如 GLM-5.3 每百萬 token 輸入 1.40 美元、輸出 4.40 美元；DeepSeek V4 Flash 輸入 0.13、輸出 0.26 美元；GPT OSS 120B 輸入 0.10、輸出 0.50 美元。專屬部署的 GPU 計價從 T4（16GB）每分鐘 0.01052 美元、H100（80GB）每分鐘 0.10833 美元，到 B200（180GB）每分鐘 0.16633 美元；CPU 執行個體每分鐘 0.00058 美元起。方案分 Basic（免費、按用量計費）、Pro（優先 GPU 取用與專屬運算、有量折）與 Enterprise（跨雲控制與自訂 SLA）。

誰該用它

要把開源模型或自訓模型跑在生產環境、但不想自己維運 Kubernetes 與 GPU 排程的團隊。特別是那種「已經驗證過模型可行、現在要上線給使用者用」的階段。

如果你只是要呼叫 GPT 或 Claude 的 API，這裡沒有你的事——直接用原廠或 OpenRouter 更簡單。

優點

• 價格公開到 GPU 型號與每分鐘單價，成本可以事前算清楚
• 按分鐘計費，不用為了離峰時段的閒置 GPU 付錢
• Model APIs 與專屬部署同一平台，從測試到上線不用換供應商
• 有免費層級可以先跑通流程再決定要不要投入

缺點

• 定位是基礎建設，需要工程能力，非技術團隊完全用不上
• 按用量計費在流量突增時可能失控，要自己設好上限與告警
• 專屬 GPU 部署的冷啟動時間與擴縮策略需要調校，不是設定完就沒事
• 亞洲區的機房位置與延遲需向原廠確認，這對台灣使用者是實際考量

替代方案

Modal 走 Python 原生的無伺服器路線，開發體驗很受喜愛；Together AI 與 Fireworks AI 在開源模型 API 上價格競爭激烈；Replicate 對想快速試玩社群模型的人最友善。真正要比的其實是三件事：你要的模型有沒有、延遲能不能接受、以及帳單的可預測性。

台灣觀點

台灣團隊用這類平台最常撞到的是延遲與資料落地。從台灣打美國西岸的推論 API，網路來回就吃掉一百多毫秒，做即時對話類產品會有感。如果你的產品對延遲敏感，務必實測而不是看規格。

資料落地則是另一回事：把使用者資料送到境外做推論，在金融、醫療與公部門場景通常過不了審查。這也是為什麼台灣近年有一批團隊選擇自架——但自架的隱藏成本（GPU 採購、機房、維運人力）常常被低估，算總帳未必划算。

我的建議是分階段：驗證期用 Baseten 這類平台快速跑起來，確認產品有人用之後，再認真評估自架或混合架構。太早自架，你會把工程資源全花在跟 CUDA 版本奮鬥上，而不是把產品做好。