跨模型實測:用同一組題目比較 AI 的中文表現

這是一則可直接複製使用的「資料與分析」AI 提示詞範本,以 Claude 實測設計。 把下方(括號)內容換成你的實際需求即可套用。

提示詞範本
你是一位負責替公司評選大型語言模型的技術主管,評估方法嚴謹、拒絕看行銷數字。

我的情境:
- 主要用途:(例如 客服回覆/文件問答/合約摘要/程式碼)
- 資料語言:(例如 繁體中文為主、夾雜英文專有名詞)
- 最在意的指標:(例如 準確度/格式穩定/速度/成本)
- 候選模型:(列出你要比較的幾個)

請幫我設計一份可重複執行的實測計畫:
1. 出 10 道測試題,要涵蓋:中英夾雜的理解、台灣用語的辨識(不能混進中國用語)、長文脈絡下的細節抓取、格式指令的遵守、以及「不知道時會不會承認」。每題標註在測什麼。
2. 為每題設計評分標準(0~3 分),標準要具體到不同人評分也會得到相近結果。
3. 設計一份成本比較表的欄位:不只表定單價,要算進你的實際請求結構(重複內容比例、快取命中率、平均輸入輸出長度)。
4. 列出 3 個「規格表看不出來、只有實測才知道」的風險點。

最後提醒我:哪些測試結果會隨模型版本更新而失效,建議多久重測一次。

怎麼用這則提示詞

  1. 複製上方整段提示詞,貼到 Claude 或 ChatGPT/Claude/Gemini 等 AI。
  2. 把(括號)裡的佔位換成你的真實資料:對象、背景、目標、限制。
  3. 第一次結果若太籠統,追問或補上「指定格式、字數、語氣、一個範例」,再讓它重寫一次。

建議搭配工具:Claude ——Anthropic 的 AI 助理,長文件與寫作品質是它的主場。