自動化與 Agent

AI 產出驗收 checklist:AI 說「完成」之後,你該親自檢查什麼

AI 回報完成,代表的是它認為自己做完了。它檢查自己時用的常是產生結果時同一套假設,漏洞它自己看不到。找一個客觀的數字去對照。

2026/10/22 | 3 分鐘閱讀 | 適用寫程式、剪片、做報表、跑自動化;學會約 10 分鐘,之後每次驗收 1 到 2 分鐘

一個核心觀念

AI 回報「完成」,代表的是「AI 認為自己做完了」,不是「這件事真的做對了」。

AI 的語氣通常很篤定,「完成」「驗收通過」這種訊息會讓人下意識放鬆戒心。問題是:AI 檢查自己的工作時,用的常常是產生結果時同一套假設。假設本身有漏洞,AI 自己檢查不出來(圈子裡叫「驗證器與產生器同源共盲點」)。

真正可靠的驗收只有一個:去看最終產出的實體本身,換算成一個客觀、可量測的數字,對照你原本要的。

按步驟做

Step 1:先問「這個任務的最終產出是什麼實體」

不是 AI 的回報訊息,是真正的檔案。寫程式就是跑起來的程式本身;剪片就是輸出的那支影片;做報表就是那份 Excel 或 PDF。永遠回到東西本身,而不是 AI 描述它的那段文字。

Step 2:找一個客觀、量測得到的指標

這是整份筆記最關鍵的一步:

  • 檔案時長(影片、音檔):量出實際秒數,跟預期對不對得上。
  • 時間戳(字幕、動畫、排程):找一個關鍵時間點,比如「第一句字幕出現在幾秒」,這個數字會洩漏檔案是哪個階段的產物。
  • 檔案大小、解析度:兩個內容不同的檔案,這兩個數字幾乎不可能剛好一樣。
  • 測試通過的數量,而不是有沒有過:是「10 個測試全過」,還是「10 個測試,3 個被跳過」。
  • 資料筆數:輸入和輸出的筆數對不對得上,有沒有莫名少幾筆。

不知道該用哪個指標,把這段貼給 AI:

我剛剛請你完成一個任務,你回報已經完成了。在我相信之前,我想找一個「客觀、可以量測、能證明這個結果真的對」的具體數字或檢查方法,不要只跟我說「已經檢查過沒問題」。請你列出 3 個可以用來驗證這次結果的具體指標,並且告訴我實際量出來的數值分別是多少。

Step 3:拿數字跟「你原本要的」對照

例如影片應該包含 3 秒片頭,那正片開始的時間點就該是 3 秒左右,字幕第一句也該落在片頭結束之後,而不是 0 秒。對不上,代表 AI 給你的不是你要的那一份,可能拿錯版本,也可能漏了一個步驟。

Step 4:親眼看一次關鍵幾個點

數字對得上,不代表內容真的對。做圖或影片,至少肉眼檢查片頭、正片開始、正片結束、片尾,確認文字沒有壓到重要內容、沒有明顯視覺錯誤。寫程式,至少手動跑一次使用者實際會做的那個操作,不要只看自動測試的綠燈。

Step 5:AI 說「已經修好了」,重新走一次 Step 1 到 4

最容易被跳過的一步。重新去看「真正被使用的那個最終檔案」,不是它改過的中間檔案。很多時候問題出在改對了地方,但沒有套用到最後真正輸出的那一份。

你一定會踩的坑

  1. 只看有沒有報錯,不看內容對不對。沒有報錯只代表執行沒有中斷。很多錯誤是安靜發生的:程式沒當掉但邏輯錯,影片渲染完成但某個素材放錯位置。永遠額外做一次人工核對最終產出。
  2. 以為「備份好的」跟「真正用的」是同一份。系統裡常同時有草稿版、中間處理版、最終版,很容易不小心備份錯層。備份前用 Step 2 的指標對比一次,數字一樣才算備份對。
  3. AI 回報「已修正」,實際引用的還是舊檔案。它可能真的改了,但改的檔案沒有被套用到最終流程,於是動作有做、結果沒變。修正後重新走完整流程,不要因為它說改好了就跳過核對。

一句話總結

AI 說「完成」的時候,把它當成一個「請你自己確認」的提示,而不是「事情已經處理好」的保證。找一個客觀數字去對照,親眼看一次關鍵的地方,你就能在事情變成公開問題之前自己先抓到它。

萬用救援:卡住怎麼問 AI

我在做「[你的任務,例如:確認 AI 幫我剪的影片是不是正確版本]」,我想用一個客觀、可以量測的方法驗證結果對不對,但不確定該量什麼、怎麼量。目前狀況是:[貼上你看到的畫面、錯誤訊息,或簡單描述現況]。請你:1. 建議 2 到 3 個適合這個任務的客觀檢查指標;2. 告訴我具體怎麼量出這些數字(用什麼工具、下什麼指令);3. 一步一步教我,不要跳步驟。

支持這裡的內容:前往 Ko-fi 斗內