拾光知性筆記

首頁 › AI 與工具

換新模型之後,先檢查你的提示詞

AI 與工具

重點整理

舊模型寫的提示,很多在新模型上會變成負擔——輸出更多內容、重複呼叫工具,費用就這樣上去了。

以前幫忙的設計,現在變成拖累。

・症狀 1 — 輸出比需要的更多(token 變多)
・症狀 2 — 重複呼叫工具(來回變多)
結果. 費用上升(準確率不一定更好)

01|找出「儀式性提示」

這些在舊模型上是輔助,在新模型上是多餘的動作。

・強制六步流程 — 新模型不需要被牽著走
・草稿區規則 — 額外的中間產出
・雙重驗證規則 — 重複做同一件事
・互相矛盾的提示 — 模型會兩邊都做

共同特徵:要求模型「照儀式走」,而不是「達成目標」。

02|三個地方都要看

  1. Skills(每個技能的指示)
  2. 專案層級指示檔(全域規則)
  3. 程式裡寫死的提示(最容易被忘記)

最常被漏掉的是第三個——它不在你平常編輯的檔案裡。

03|兩段式的下降

這是一個 44 張客服單的內部基準測試示範。

・只換模型 — 費用降約 18%(用低 effort 設定)
・再審一次提示詞 — 再降約 9%(合計約 25%)
・準確率 — 88% → 92%(同時上升)

數字來自特定測試集,套用到自家情境前,要拿常見問法重新對照成本與品質。

便宜了四分之一,而且更準。

這兩件事通常要取捨,這次不用——因為砍掉的是多餘動作,不是能力。


行動清單

  • [ ] 先建立自己的基準測試(幾十題就夠)
  • [ ] 只換模型,測一次(記錄成本與準確率)
  • [ ] 跑提示詞審核(找儀式性提示)
  • [ ] 逐條砍掉多餘流程(一次砍一項)
  • [ ] 再測一次(確認沒掉品質)
  • [ ] 把矛盾的規則改掉(最容易被忽略)

沒有基準測試,就無法判斷改了之後是變好還是變差。

同分類的其他整理

把短影片生產工業化的一套系統 封面
AI 與工具

把短影片生產工業化的一套系統

全地端 AI 語音工具箱 封面
AI 與工具

全地端 AI 語音工具箱

讓模型跑整夜任務的提示詞 封面
AI 與工具

讓模型跑整夜任務的提示詞