幫我對 LLM 應用做 prompt injection 紅隊測試
這是一則可直接複製使用的「程式開發」AI 提示詞範本，以 Promptfoo 實測設計。 把下方（括號）內容換成你的實際需求即可套用。
提示詞範本
我在開發一個接了 LLM 的（應用類型，例如客服機器人／文件問答），它的系統提示詞大致是（貼上或描述）。請你扮演攻擊者，產出一組 prompt injection 測試案例，涵蓋：1) 直接注入（要求它忽略指令、印出系統提示詞）；2) 間接注入（藏在使用者上傳文件或網頁裡的惡意指令）；3) 越權操作（誘導它濫用可呼叫的工具）。每個案例附「攻擊輸入」「預期的安全行為」「若失敗代表什麼漏洞」，方便我拿去 promptfoo 建測試集。
怎麼用這則提示詞
- 複製上方整段提示詞，貼到 Promptfoo 或 ChatGPT／Claude／Gemini 等 AI。
- 把（括號）裡的佔位換成你的真實資料：對象、背景、目標、限制。
- 第一次結果若太籠統，追問或補上「指定格式、字數、語氣、一個範例」，再讓它重寫一次。
建議搭配工具：Promptfoo ——開源的 LLM 評測與紅隊測試工具,用宣告式設定就能比較 GPT、Claude、Gemini 的表現,還能對 AI 應用做越獄、prompt 注入等弱點掃描,評測直接在本機跑。