Selfship

從真實客戶對話找出 AI 代理反覆失敗的那一刻,自動開出附評測證據的 GitHub PR,合併後再用線上流量驗證

付費
一句話介紹:從真實客戶對話找出 AI 代理反覆失敗的那一刻,自動開出附評測證據的 GitHub PR,合併後再用線上流量驗證

Selfship 9 月初在 Show HN 推出,給已經上線 AI 客服或對話代理的團隊用。它把自己定位在可觀測性工具和程式代理之間:Langfuse、LangSmith 這類工具告訴你「發生了什麼」,然後把警報丟回給你;Claude Code、Devin 要你先開票才會動工。Selfship 的主張是不用開票,讓客戶的真實體驗決定要修什麼。

運作分成五步:觀察每一段對話,判斷客戶想做什麼、有沒有達成;診斷,當一週內有 300 個人卡在同一個地方,它會找出出錯的確切時間點與原因;修正,在你的 GitHub 開一個附上前後評測證據、影響範圍與範例 session 的 pull request;驗證,你合併後它會在新的線上流量確認修正有沒有撐住;持續改進。它從不直接推到預設分支,你可以設定核准規則、路徑限制與提案頻率上限。

功能特色與適用場景:支援任何 LLM 與框架,原生走 OpenTelemetry,提供 TypeScript 與 Python SDK,官網列出 OpenAI、Anthropic、Gemini、LangChain、LlamaIndex、Vercel AI SDK、CrewAI、Bedrock、Mistral 等整合。官網公布早期團隊前 30 天的中位數成果是編造答案減少 60%、AI 支出降 20%、回應時間縮短 35%,但也註明會在第一天量你的基準線再用你的數字出報告。計費以 session 計算,一個 session 是一輪使用者訊息到回覆,十輪對話就是十個 session,不按座位收費。適合台灣電商、SaaS 已有 AI 客服、但工程人力有限的團隊;分析在用完即毀的沙箱中進行,程式碼與紀錄不會拿去訓練模型。

TheAI學院 編輯建議

編輯實測後的真心話

Selfship 把「看儀表板→開票→修→驗證」整串自動化,PR 附評測證據這點很對工程師胃口;前提是你的代理已經有足夠真實流量。

— theai 編輯團隊

主要功能

  • 自動偵測客戶對話中反覆出現的失敗模式
  • 開出附前後評測證據的 GitHub pull request
  • 合併後以新的線上流量驗證修正效果
  • 支援任何 LLM 與框架,原生 OpenTelemetry
  • TypeScript 與 Python SDK
  • 可設定核准規則、路徑限制與提案頻率

適用場景

  • 找出 AI 客服反覆編造退款政策的原因並修正
  • 降低代理多餘重試造成的模型費用
  • 以真實流量驗證提示詞修改是否有效
  • 小型團隊維運多個對話代理的品質

Selfship 的優點與缺點

優點

  • 從觀察到修正形成完整閉環
  • 不按座位或 repo 收費,入門每月 20 美元
  • 所有變更都要人工審核才合併

缺點

  • 只適合已有線上流量的代理產品
  • 超量時會停止擷取新 session
  • 沒有永久免費方案

價格方案

Base 每月 20 美元(每月 6,000 sessions、資料保留 120 天、不限 repo 與成員),可加購每包 20 美元+6,000 sessions;14 天免信用卡試用;Enterprise 客製(SOC 2 Type II、HIPAA、GxP、稽核紀錄)

Selfship 常見問題

Selfship 會直接改我的程式碼嗎?

不會。每個修正都以 GitHub pull request 送出,必須由人審核合併,Selfship 不會推到預設分支。

session 怎麼計算?

一個 session 是一輪對話:一則使用者訊息到該輪回覆,包含其中所有模型與工具呼叫;十輪對話算十個 session。

超過額度會影響我的代理嗎?

不會。超量時 Selfship 只是當月停止擷取新 session,加購 20 美元的額度包即可立即恢復。

使用者評價

還沒有足夠評價,搶先分享你的使用心得!

寫下你的評價

評論將經審核後公開。

Selfship 的替代方案

查看相似的 AI 工具 →

相關 AI 工具

猜你也想看的AI 開發者工具

前往官網 ↗