自動化與 Agent
裝一個 AI skill 前,你真的讀過全文嗎?裝前審查+裝後煙霧測試的 10 分鐘 checklist
Star 數高、介紹寫得漂亮,不代表裡面乾淨。這份筆記給你一套十分鐘做完的安裝前後檢查流程,並附一個真實案例:審查通過才裝,裝完測試仍抓到介紹完全沒寫的路徑落差。
一個核心觀念
AI skill/plugin 不是靜態工具,它是一份「你授權執行」的指令集。傳統軟體你至少看得到它做了什麼(介面、log),但 AI skill 常常是一段文字指令,載入後由 AI 自主解讀執行:能讀寫檔案、呼叫外部服務,甚至在指令裡藏著你看不出來的行為。裝之前的審查標準,應該對齊「我要給一個陌生人多少權限進我的系統」,而不是「這個介紹寫得好不好」。
按步驟做(約 10 分鐘)
Step 1|裝之前,列出它會被載入執行的所有檔案
大部分 skill 由多個檔案組成:主指令檔(通常叫 SKILL.md)、參考文件、有時還有 yaml/json 設定檔。先列出完整清單,不要只看主檔案,夾帶的內容常常藏在「參考文件」這種看起來次要的地方。
問 AI 的咒語:
我要安裝 [skill 名稱/路徑],幫我列出它資料夾底下所有的檔案清單,包含子資料夾。
Step 2|逐一讀過每份檔案的完整內容,不是掃過標題
讀的時候問三個問題:
- 有沒有要求連到外部網址、下載執行檔案、把資料回傳到某個地方?
- 有沒有要求輸入或讀取密碼、API key、token 這類敏感資訊,並把它傳出去?
- 文字裡有沒有藏著看起來像「指令」、但跟這個 skill 該做的事無關的段落(例如突然要求執行某個系統指令、修改某個跟功能無關的設定檔)?
三個問題只要有一個答案是「有,而且我不確定為什麼」,先不要裝,去查清楚或直接放棄。
問 AI 的咒語:
幫我審查這份 [貼上 SKILL.md 內容] 有沒有可疑的外部連結、憑證竊取行為、或夾帶跟功能無關的指令,逐項列出你的判斷依據。
Step 3|裝完之後,立刻做一次「能驗證」的測試
- 確認它有被系統正確載入辨識(多數工具會有某種「已可用」的確認訊號)。
- 如果它有可執行的功能(不只是文字指令),實際跑一次最小案例,看輸出是不是預期的東西。
- 如果它會寫入檔案,先在不重要的測試環境跑,別直接對著正式資料跑第一次。
Step 4|記下裝了什麼、在哪、審查結論
隨手記一筆:裝了什麼 skill、什麼時候、審查有沒有過、有沒有已知限制。半年後你會忘記自己到底裝過什麼、為什麼裝,工具越裝越多之後尤其如此。
真實案例:審查通過,測試還是抓到落差
我拆解一個 16k star 的 GitHub repo,裡面附贈幾個 Claude Code 的 skill。裝之前先做全文審查,確認是純 prompt/reference 檔案、沒有外部連結、沒有夾帶指令,才裝。
裝完跑測試,發現一個結構性落差:它預設讀寫的路徑,跟我現有系統的路徑習慣不一致。這件事介紹文字裡完全沒提,只有裝完實測才抓得到。
你一定會踩的坑
- 只讀 README,不讀實際會執行的內容。README 是給人看的行銷文案,實際被載入執行的是另外的檔案。只讀 README 等於只看包裝盒沒看裡面裝什麼。
- 裝完就當測過了。「系統顯示已安裝」只證明格式正確、能被載入,不證明功能正確,也不證明沒有你沒預期到的副作用。裝完的第一次真實使用,本身就是最後一道測試,別假設它一定跟你想的一樣運作。
- 批量裝一堆,審查流於形式。一次裝 5 個以上時,很容易每個都草草掃過就放行。批量安裝該做的是先列清單、一個個看完再決定裝不裝,不因為數量多就降低每一個的標準。
一句話總結
AI skill 是你交出去的執行權限,不是裝飾用的功能清單。裝之前全文讀過、裝之後實測過,十分鐘換一個「我知道自己裝了什麼」的底線。
這是踩坑實錄與 AI 工具實測系列的一部分。想收到後續完整 SOP,訂閱電子報。
支持這裡的內容:前往 Ko-fi 斗內