AI 詞彙表
用白話解釋常見的 AI 名詞，繁體中文、台灣用語，新手也看得懂。共 141 個詞。
API
讓不同軟體「互相溝通」的介面。開發者透過 AI 服務的 API，把 AI 能力串進自己的產品裡。
LLMOps
管理大型語言模型應用上線後的一整套工程實務：監控、評估、版本、成本控管等。
模型評估Evaluation
有系統地測試 AI 輸出的品質、正確性與安全性，是把 AI 產品做穩的關鍵環節。
延遲Latency
AI 從收到輸入到給出回應所花的時間。語音對話、即時應用特別在意低延遲。
GPU
圖形處理器，因擅長大量平行運算，成為訓練與運行 AI 模型的主力硬體，Nvidia 是主要供應商。
邊緣 AIEdge AI
在裝置本機（手機、電腦、感測器）而非雲端運行 AI，好處是快、離線可用、更保護隱私。
裝置端 AIOn-device AI
直接在你的手機或電腦上跑的 AI，資料不必上傳雲端，隱私與速度更好。
上下文快取Context Caching
把重複用到的長脈絡先快取起來，降低反覆傳送的成本與延遲，是 API 省錢的技巧。
API 金鑰API Key
呼叫 AI 服務 API 時用來辨識你身分、計費的一串密碼。要當密碼保管，外洩可能被盜用產生費用。
速率限制Rate Limit
AI 服務對「單位時間能呼叫幾次」設的上限，避免被濫用。超過會被暫時擋下，需放慢或升級方案。
Webhook
一種「有事就主動通知你」的機制。AI 任務完成時，服務可透過 webhook 即時回傳結果給你的系統。
SDK
軟體開發套件。官方把 API 包裝成好用的程式庫，讓開發者少寫很多程式就能串接 AI 服務。
串流輸出Streaming
AI 一邊生成一邊即時回傳文字（像打字機那樣逐字出現），不用等整段完成，體感更快。
結構化輸出Structured Output
要求 AI 依固定格式（如 JSON）回覆，方便程式直接解析，是把 AI 接進系統的關鍵。
JSON 模式JSON Mode
強制 AI 只輸出合法 JSON 的設定，確保回應能被程式穩定讀取，不會夾雜多餘文字。
批次處理Batch API
把大量請求一次丟給 AI 非即時處理，換取更低價格，適合不趕時間的大批量任務。
推論成本Inference Cost
每次呼叫 AI 產生回應要花的錢（通常按 token 計價）。用量一大，控制成本就很重要。
KV 快取KV Cache
模型生成時暫存已算過的中間結果，避免重複計算，是加速長文本生成、降延遲的關鍵技術。
模型路由Model Router
依任務難易自動把請求分派給合適的模型（難的用強模型、簡單的用便宜模型），兼顧品質與成本。
零資料留存Zero Data Retention
服務承諾不儲存你的輸入輸出、也不拿去訓練。企業導入 AI 處理敏感資料時的重要選項。
脈絡成本Context Cost
塞越多資料給 AI，處理越慢越貴。懂得只給「對的、必要的」脈絡，是用好 AI 又省錢的關鍵。
代幣預算Token Budget
一次任務允許 AI 用多少 token 的上限。設好預算能控制成本與回應長度，是 API 應用的實務考量。
模型蒸餾Model Distillation
用大模型「教」出一個小模型，讓小模型以更低成本達到接近的表現，是讓 AI 更便宜可用的關鍵手法。