先把「好」寫成能檢查的條件
以會議待辦提取為例，先訂三個條件：有明確承諾的工作才列入；負責人只取原文；沒有期限就標為未定。這些條件比「摘要清楚、很專業」容易判斷。OpenAI 的評估指南提醒生成式 AI 的輸出具有變動性，應使用貼近任務的評估並結合人工判斷。下列五類案例與記錄方式是本站設計的入門練習，不是該指南指定的標準數量。
先準備五種輸入，再執行
| 案例 | 虛構輸入 | 預期的判斷 |
|---|---|---|
| 明確承諾 | 小林：我週五前寄出議程。 | 保留小林、寄議程、週五前 |
| 缺少期限 | 小陳：我整理報名名單。 | 期限未定，不自行補日期 |
| 只是建議 | 有人提議下次做問卷，還沒決定。 | 不當作已確認待辦 |
| 取消工作 | 原定寄紙本，後來取消，改線上公告。 | 不得仍列寄紙本為有效任務 |
| 有衝突 | 先說週三，再說期限待主管確認。 | 保留待確認狀態 |
把預期答案先保存，避免看到工具結果之後才放寬標準。這五個案例只涵蓋常見錯誤，並不代表你的真實會議分布。下一步要加入已獲准使用、去識別化的實際材料。
一次只改一個條件
用相同的五個輸入測試提示詞 A，再測試提示詞 B。每個案例可先重複三次，得到 15 筆紀錄；三次只是便於手動開始的工作量，不具統計保證。每次開新對話，避免上一輪的答案影響後一輪。記錄日期、工具名稱、可見模型名稱、方案及提示詞全文。
如果同時換模型、換提示詞又換輸入，即使答案變好，也無法辨識改善來自哪裡。工具不顯示精確模型版本時，寫「介面未提供」，不要猜。若使用搜尋或其他工具，也要記錄是否啟用；對純文字提取來說，外部搜尋通常不是必要條件。
分開算錯誤，不用總分掩蓋問題
每筆輸出分別記錄：漏掉幾項明確待辦、增加幾項沒有依據的待辦、負責人是否正確、期限是否有根據、格式是否可用。假設一筆答案的版面很漂亮，但把「未決定」改成「已確認」，仍需退回，不能用可讀性高分抵銷。
若要計算「完整符合案例比例」，先定義何謂完整符合，再以符合的案例次數除以總執行次數。15 次中有 12 次符合，是這一組小測試的 12/15，不是對所有使用情境的 80% 準確率。不要把多次相同材料當作大量獨立樣本。
下載紀錄表，保留原始答案
表格包含案例、執行次序、工具、模型、設定、提示詞版本與各類錯誤欄位。請另存原始輸出，讓日後的人能理解為何判為失敗，而不是只看到勾選結果。
可以把最常出錯的類型單獨整理。例如工具反覆補期限，下一版提示詞要明確規定「原文未給期限則填未定」。修改後仍測原來的案例，也加入新案例，避免只記住這一小組材料。
什麼情況下還不能自動化
只要錯誤可能直接觸發對外寄信、付款或刪改重要資料，就不應只依賴這份小測試放行。保留人工確認，限制流程權限，先在副本和草稿中執行。測試表能幫你找到弱點，不能代替組織對風險、資料與責任的決定。
模型、提示詞、來源格式有實質變動時，重跑保留案例。將「這次觀察」與「對所有任務的結論」分開，才能讓比較有用。