換新模型之後,先檢查你的提示詞






重點整理
舊模型寫的提示,很多在新模型上會變成負擔——輸出更多內容、重複呼叫工具,費用就這樣上去了。
以前幫忙的設計,現在變成拖累。
・症狀 1 — 輸出比需要的更多(token 變多)
・症狀 2 — 重複呼叫工具(來回變多)
結果. 費用上升(準確率不一定更好)
01|找出「儀式性提示」
這些在舊模型上是輔助,在新模型上是多餘的動作。
・強制六步流程 — 新模型不需要被牽著走
・草稿區規則 — 額外的中間產出
・雙重驗證規則 — 重複做同一件事
・互相矛盾的提示 — 模型會兩邊都做
共同特徵:要求模型「照儀式走」,而不是「達成目標」。
02|三個地方都要看
- Skills(每個技能的指示)
- 專案層級指示檔(全域規則)
- 程式裡寫死的提示(最容易被忘記)
最常被漏掉的是第三個——它不在你平常編輯的檔案裡。
03|兩段式的下降
這是一個 44 張客服單的內部基準測試示範。
・只換模型 — 費用降約 18%(用低 effort 設定)
・再審一次提示詞 — 再降約 9%(合計約 25%)
・準確率 — 88% → 92%(同時上升)
數字來自特定測試集,套用到自家情境前,要拿常見問法重新對照成本與品質。
便宜了四分之一,而且更準。
這兩件事通常要取捨,這次不用——因為砍掉的是多餘動作,不是能力。
行動清單
- [ ] 先建立自己的基準測試(幾十題就夠)
- [ ] 只換模型,測一次(記錄成本與準確率)
- [ ] 跑提示詞審核(找儀式性提示)
- [ ] 逐條砍掉多餘流程(一次砍一項)
- [ ] 再測一次(確認沒掉品質)
- [ ] 把矛盾的規則改掉(最容易被忽略)
沒有基準測試,就無法判斷改了之後是變好還是變差。