背單字網頁重做(三):交給 AI 執行,然後看報告
「交給 AI 做了,我要怎麼知道它做對、做好?」夥伴的提問
交出去之後,人只剩一件事:看報告、做裁決。三個 agent 實際跑了十二輪建置、兩次審查,抽真實的原始輸出、爭議段、審查表給你看。三個教訓:可見測試全綠不等於做對(隱藏測試抓到 2 紅)、全綠也不等於好用(獨立審查抓到 3 個嚴重度 3,根因是規劃站的一個裁決)、你給的線索寫錯也會被指出來。練習:拿一份自己的 AI 報告,找出指令、原始輸出、爭議三件在哪。
前兩份教材把心願講清楚、拆成檔案。這一份看檔案真的交出去之後發生的事:三個 agent 跑了一整天,交回來十二份建置報告、一份審查報告、一百多張截圖。你不用看程式碼,但要看得懂報告,因為交出去之後,人剩下的工作只有一件。
先說結論
01交出去之後,你只剩一件事:看報告、做裁決
很多人以為「交給 AI」之後就是等成品。這個案例裡不是。AI 每做完一個階段就交一份報告,人讀報告、決定通不通過、退回去還是往下走。做的是 AI,裁決的是人。
所以報告長什麼樣,決定了你能不能裁決。第一站的計畫裡替第二站訂了一條交付規則,原文是這樣:
「每一輪報告用台灣正體中文,不用 emoji,不寫『我認為通過』這類沒有證據的句子。」
plan/engineering-plan.md,B 的交付規則第 7 條
「我認為通過」不算數,因為你沒辦法核對。報告要有指令、有原始輸出、有它自己覺得哪裡不對的地方。有這三樣,你才有東西可以裁決。
報告不是給你安心的,是給你裁決用的。
回顧一表
02三站各拿什麼、交什麼,實際跑下來走了幾輪
上一份教材的表,這裡補上實際發生的數字:
| 站 | 拿到什麼 | 交出什麼 | 實際跑了 |
|---|---|---|---|
| A 規劃 | spec/、design/、研究筆記 | 工程計畫(205 條規格,180 條必須做)、12 個工作包、一套鎖定的驗收測試(單元 82 題、端對端 33 題、對比 44 組) | 一次交付;另外藏了 19 題 B 看不到的隱藏測試 |
| B 實作+驗證 | A 的計畫、A 的測試 | 成品+每一輪一份 reports/build-round-N.md | 12 輪。前 6 輪把可見測試跑到全綠;第 7 到 10 輪修隱藏測試抓到的問題;第 11、12 輪修 C 抓到的問題 |
| C 獨立審查 | 只有成品和規格,不給 A、B 的任何過程 | reports/review.md,71 張截圖 | 一次審查,裁決「有條件能出版」;B 修完後再複驗一次 |
把時間線攤平,是這樣一條:
計畫與測試鎖定,記下檔案指紋,B 不能改測試。
可見測試從 32/33 修到連續兩輪全綠。
協調者跑 B 沒看過的 19 題:2 紅。退回。
修到隱藏測試也全綠。這中間協調者給錯一次線索,B 在報告裡指出來。
三個身分走一遍,抓到 3 個嚴重度 3 的問題。退回。
逐條回應 C,其中一條判為設計裁決不修。
再看一次修好了沒。
兩次「退回」都不是人看程式碼看出來的。一次靠隱藏測試,一次靠獨立審查。人做的事是決定要不要退。
兩種驗收
03BDD 給人看,TDD 給機器看
A 交付的測試分兩層。一層是給人讀的情境,寫在 tests/acceptance/bdd/,一個情境講一個行為;另一層是給機器跑的程式,寫在 unit/ 和 e2e/。兩層之間用「覆蓋」欄接起來:這句人話,由哪個測試證明。
先看給人看的。八歲孩子那份檔案的第一個情境,原文是這樣(檔案自己說明「角色用通稱,不是真人」):
S8-01 清掉資料後第一次打開,30 秒內開始第一題
前提:瀏覽器沒有這個站的任何資料;家長把手機拿給小明。
動作:小明看到「你叫什麼名字?」和三顆大按鈕,不打名字,直接按「國小低年級 6 到 8 歲」。
預期:畫面直接是一個英文字的認識畫面,喇叭鍵可以按;從畫面出現到這裡不超過 30 秒、點擊不超過 3 次;沒有選題庫、沒有說明、沒有登入。
覆蓋:e2e/first-run.spec.mjs「6–8 歲:清空資料後打開…」
tests/acceptance/bdd/student-8.md
再看一個,答錯的時候:
S8-04 答錯不會被罵
前提:小明按錯了一個選項。
動作:看畫面。
預期:正確答案亮綠、選錯的變灰,底部浮出一塊板子唸正確的字,只有「聽」和「知道了」兩顆按鈕;沒有紅色大叉、沒有錯誤音效、不扣分;按「知道了」才走。
覆蓋:e2e/practice.spec.mjs「讀題答錯…」
同上
這兩段任何人都讀得懂,也都能反對:覺得答錯應該扣分,就在 S8-04 那一段說。給機器看的那一層長得不一樣,是程式,但跑完會吐出一行一行的結果,例如:
✔ 答錯(rating 1):repetitions 歸 0、interval 0、lapses +1、ease -0.2、due 今天、last_step_date 清空 (0.070208ms)
✔ 一天同字只進一階:同一天第二次答對只更新 last_review,repetitions/interval/due 不變 (0.231667ms)
reports/build-round-12.md,單元測試原始輸出節錄
你不用懂 lapses 是什麼。你要看的是:打勾還是打叉、幾題過幾題沒過、跟 BDD 那一句對不對得上。
BDD:給人看的行為句
前提、動作、預期,三段人話。用來討論「我們要的是不是這個」。
TDD:給機器看的驗收
程式跑出打勾打叉。用來證明「做出來的是不是這個」。改程式不能改它。
人話那層決定方向,機器那層守住方向。兩層都要有,而且要接得起來。
第一站的產出
04計畫長什麼樣:一包一包,每包一題 YES/NO
A 的計畫把整件事切成 12 個工作包,每包寫清楚輸入、要做的事、對應哪些規格、驗收題是哪一條指令。抽三包:
| 工作包 | 要做的事(節錄) | 驗收題 |
|---|---|---|
| WP-01 靜態骨架+首頁 30 秒進題 | 建全部 19 個畫面的空殼、貼入品牌色、三份預設題庫、首頁四種狀態、按年齡帶直接進第一題 | first-run.spec.mjs 八個案例全綠? |
| WP-03 資料層+作答迴圈+回饋+小結 | 七張資料表、每答一題寫一筆、答對答錯的回饋層、每 10 題一次小結 | 「讀題答錯」「答對」「一輪 10 題後自動進小結」三案例全綠,且抽 3 筆紀錄 14 個欄位齊全? |
| WP-12 兩輪全綠與交付報告 | 跑三套指令兩輪、比對測試檔指紋、人工檢查項逐條附證據 | 連續兩輪三者都通過,且測試檔指紋全部相符? |
計畫最後一節是「B 的交付規則」,規定每一輪報告固定四段:
- 指令與原始輸出三條指令的完整輸出貼上,不剪、不摘要,加上執行時間與版本。
- 截圖自動拍的和人工補的,列檔名。
- 人工檢查表機器測不到的項目,逐條寫「做了什麼、看到什麼、證據檔名」。
- 爭議B 認為哪個測試寫錯、為什麼、建議怎麼改。這是 B 唯一可以對測試發表意見的地方,由人裁決。
四段裡沒有一段叫「總結」或「我的看法」。B 可以有意見,但只能寫在「爭議」,而且要說理由。
第二站的產出
05建置報告怎麼讀:指令、原始輸出、爭議
B 的第一輪報告開頭是這一行:
「結果:unit 82/82(exit 0)、e2e 32 通過/1 失敗(exit 1)、contrast 44/44 組通過。(exit 0)→ 有紅。」
reports/build-round-1.md
三條指令、三個數字、一個結論「有紅」。往下翻是完整的原始輸出,一行都沒剪。那一個紅長這樣:
✘ 28 [chromium] › tests/acceptance/e2e/practice.spec.mjs:5:1 › 13–18 歲,跨四個日曆日(第 1、2、8、23 天):認識、讀、聽、寫、說五種畫面都出現、都能作答並得到回饋 (1.2m)
Error: expect(received).toEqual(expected) // deep equality
Expected: ArrayContaining ["intro", "read", "listen", "spell", "speak"]
Received: ["intro", "listen", "read", "spell"]
1 failed32 passed (4.1m)# exit=1
reports/build-round-1.md,端對端測試原始輸出節錄
不懂程式也讀得出來:測試要五種題型都出現,實際只出現四種,少了「說」。B 在同一份報告的「本輪紅燈與處理」寫了原因:13 到 18 歲的預設題庫有 60 個字,到第 23 天新字還沒用完,排在前面的字把名額佔滿,「說」題輪不到。排程規則是鎖定的不能改,唯一合法的槓桿是題庫大小,所以把 60 字的題庫拆成兩份各 30 字。第二輪起就綠了。
這段處理有一個細節值得停一下:B 沒有去改測試讓它過,也沒有偷改排程規則。它在規則裡找到一個合法的解法,然後把「為什麼合法」寫進報告。這正是三道鎖的第一道在發揮作用。
報告的第二段是截圖清單。第一輪 B 自己沒另外拍;到第十二輪,除了測試自動拍的 46 張,B 另外拍了 60 張,例如 reports/shots/round-12/S13-result.png(匯入結果畫面)、feedback-b-read.png(9 到 12 歲答對之後的畫面)。你要核對某一條人工檢查,就照檔名去翻。
看建置報告先找三樣:指令在哪、原始輸出在哪、爭議段寫了什麼。三樣齊了,再看它說什麼。
教訓一
可見測試全綠,不等於做對
B 跑到第六輪,82、33、44 三個數字連續兩輪全綠,協調者親自重跑一次也一致。照規則這就算交付了。然後協調者拿出那 19 題 B 從來沒看過的隱藏測試,用不同的數值、不同的題庫、不同的年齡帶路徑再跑一次:2 紅。
一個紅是匯入備份時,同一天達標的紀錄被錯誤地合併掉;另一個是 13 到 18 歲匯入舊紀錄之後按返回,沒有回到小結。兩個都不是可見測試會碰到的路徑。
這不是 B 偷懶。它把它看得到的每一題都做對了。問題是「看得到的題」本身就是一種提示,AI 會不知不覺往那些題靠攏。上一份教材引過那個數字:看得到的測試過 97%,看不到的過 0%。這裡沒那麼極端,但方向一樣。
退回去修了四輪(第 7 到 10 輪),隱藏測試 16 題單元、3 題端對端全綠,才進下一站。
第三站的產出
06審查報告怎麼讀:八題、完成率、嚴重度
C 是另一個視窗開的,拿到的只有成品網址、三份規格、八題驗收題。它的報告開頭先聲明自己沒看過什麼:「沒有讀 plan/、design/、tests/、issues/、CLAUDE.md、git log。列目錄時看到 reports/ 底下有其他檔案,一個都沒有打開。」然後是一句話裁決:
「有條件能出版。條件:修掉兩個嚴重度 3 的問題再上線。」
reports/review.md
接著是八題驗收題,每題一個裁決、一段證據。抽三題:
| # | 題目 | 裁決 | 證據(節錄) |
|---|---|---|---|
| 2 | 不登入,八歲小孩 30 秒內開始第一題 | YES | 清空狀態後第一次打開:畫面出現 0.33 秒,按 1 下就到第一題,從輸入網址到第一題出現 1.08 秒。 |
| 4 | 舊網站歷程 JSON 匯進來,錯字統計一致 | 有條件 YES | 先上傳對應題庫再匯入:「舊檔 6 → 這裡 6」,逐字相符。直接匯入(出廠狀態):顯示「舊檔 0 → 這裡 0」,家長無從比對。 |
| 6 | 每個畫面按鈕不超過五個 | YES | 逐畫面數:首次首頁 4、讀題 4 或 5、小結 2 到 4、設定 5……最多的是 5,沒有超過。 |
八題之後是三個身分各自的任務表:學生 7 題完成 7 題(100%),家長 7 題完成 6 題(86%),創作者 7 題完成 7 題(100%)。每一列都寫了花幾步、卡在哪、對應哪張截圖。
再往下是問題清單,12 條,每條標嚴重度 0 到 4,還有一欄「對學習有沒有影響」。嚴重度 3 的有三條,嚴重度 2 的五條,其餘是表面問題。最後一節叫「對學習有沒有幫助」,三個身分各三句實話,例如家長那一段的第三句:
「舊網站的歷程匯進來這件事,在出廠狀態下等於沒做完:結果畫面 0 → 0,錯字也不會自動排進練習。」
reports/review.md,「對學習有沒有幫助」
完成率
三個身分各完成幾成任務。門檻 80%,這次最低的是家長 86%。
嚴重度
每個問題 0 到 4。3 以上一定要有重現步驟,這次三條都有。
對學習有沒有幫助
不是分數,是實話。這一欄決定你要不要修,不是嚴重度決定。
審查報告看三個數字:完成率、嚴重度、對學習有沒有影響。前兩個是機器也能算的,第三個只有人能裁。
教訓二
測試全綠,也不等於好用
進 C 這一站的時候,可見測試全綠、隱藏測試全綠。C 用家長的身分走了一遍「把舊網站的歷程匯進來」,卡住了。三個嚴重度 3 的問題,兩個出在這條線上:
C-01:出廠的四份題庫沒有任何一份帶舊教材代碼,舊歷程匯進來全部進了「先保留」,結果畫面顯示「舊檔 0 → 這裡 0」,家長不知道要上傳一份代碼相符的題庫才會接上。C-02:就算接上了,按「開始」練的還是預設題庫,匯進來的錯字不會出現。C-03:答對之後的文字回饋放在畫面最底下,在 390×844 的手機上落在首屏之外,看不到。
測試為什麼沒抓到?因為測試用的是它自己帶的題庫,代碼剛好對得上。C 用的是出廠狀態,什麼都沒上傳,就像一個家長第一次打開。
再往上追,根因不在 B。第一站 A 做規劃的時候有一條裁決:不搬夥伴網站的 49 份舊題庫,第一版只做至少三份預設題庫。這條裁決本身合理(B 拿不到原檔),但它的後果沒有人往下想一步:出廠題庫沒有舊教材代碼,「匯入舊紀錄」這條線就只剩形式。C 的報告用了同一個詞:「少了它們,『相容舊資料』只剩形式。」
一個規劃站的裁決,穿過實作站的全綠,在審查站被一個沒參與過程的身分抓到。這就是為什麼 C 不能看 A 和 B 的過程。
第二站回應第三站
07B 怎麼接 C 的問題:逐條回應,能修的修,不修的說理由
退回 B 之後,第十一、十二輪的報告多了一節「回應 Agent C」,每一條問題一列,寫修了什麼、證據在哪。抽三條:
| 編號 | 修了什麼(節錄) | 證據 |
|---|---|---|
| C-01a | 匯入結果畫面改成三個數字都講清楚:舊檔錯字總次數、已接上幾次、先保留幾次;先保留的列出每個教材代碼,並加一句「上傳代碼 01 的 CSV 後會自動接上」。 | reports/shots/round-12/S13-result.png |
| C-02 | 選案一:今天要練的到期字改成跨題庫取,匯進來的錯字不用換題庫就會出現。理由:鎖定測試仍全綠,而且家長什麼都不用做,比備案少一個要理解的概念。 | sim-S9-after-import.png;模擬紀錄裡「按繼續之後前 10 題有幾題是匯入字」 |
| C-03 | 答對答錯的文字改放在題目區,題幹下方;三個年齡帶四種題型在 390×844 都不捲動看得到。 | 另寫一支模擬測試,斷言回饋文字的底邊不超過 844;截圖 feedback-b-read.png 等 |
不是每一條都修。C-05 是「建完暱稱後直接進題目,畫面上沒有離開鍵」。B 在「自行裁決」第 18 條寫了不修的理由:題目畫面在 9 歲以上已經是 5 顆按鈕,多一顆就超過上限;規格本來就定「題目畫面沒有離開,每 10 題必到小結」;關掉分頁也不丟資料。這一條留給人翻案。
「自行裁決」這一節到第十二輪累積了 20 條,每一條都是「規格沒說、我自己決定的事,供 CYC 翻案」。例如第 2 條:把 60 字的題庫拆成兩份各 30 字;第 20 條:C 的來信寫「上傳題庫在 S12b」,但 S12b 是語音頁,上傳在 S12c,B 依意圖處理。
「供翻案」三個字是關鍵。B 不是在報告它做了什麼,是在把它替你做的決定攤開來,讓你有機會說不。
教訓三
08線索寫錯也會被指出來:AI 之間的合作也是雙向的
隱藏測試那 2 紅裡,「同一天達標的紀錄被合併掉」這一個修了比較久。第 7、8 輪修完另一個之後,這個還剩 1 紅。原因寫在第十二輪報告的「爭議」段,原文是這樣:
「無。協調者第一次退回時的線索『同 profile 不同 session 各達標一次應各保留』寫錯了,協調者已更正:隱藏測試的斷言就是 data-model 第 3.6 節:合併後 goal_reached 以 profile_id+日曆日為鍵必須唯一。產品照 data-model 與鎖定測試修(第九輪),沒有需要 CYC 裁決的地方。」
reports/build-round-12.md,「四、爭議」
翻成人話:協調者(也是一個 AI)退回的時候,順手給了一條「應該怎麼修」的線索,那條線索跟資料模型的規定是反的。B 照線索修,隱藏測試當然還是紅。B 沒有再猜第三種做法,而是回頭去對資料模型,發現線索錯了,寫進爭議段。協調者看了,承認寫錯,更正。第九輪照資料模型修,過了。
這裡有兩件事。第一,B 拿到指示不是照做就算,它會對照更上游的文件;當兩者衝突,它以文件為準,並且把衝突寫出來。第二,這件事沒有驚動人。兩個 AI 在報告裡把話講清楚,事情就解決了。人只需要在事後讀到這一段,知道發生過。
合作是雙向的。你給 AI 的線索也會錯,好的報告會把這件事告訴你,而不是默默繞過去。
複驗與裁決
09C 再看一次:三條都修了,裁決從「有條件」變「能出版」
B 修完第十一、十二輪,協調者複跑鎖定測試與隱藏測試都全綠,再把成品交給 C 看一次。C 的隔離規則和第一次一樣,只讀更新後的成品與規格,自己另外造了一份 10 個字的題庫和一份 8 個錯字的舊檔,重走家長那條線。結論寫在 reports/review.md 最前面,抽三列:
| 編號 | 原嚴重度 | 修了嗎 | 量到的值(節錄) | 現在 |
|---|---|---|---|---|
| C-01 匯入結果沒講清楚 | 3 | 是 | 結果畫面改為「舊檔錯字總次數 8 次/已接上 0 次/先保留 8 次:教材 01(4 個字、7 次)、教材 26(1 個字、1 次)」,多一顆「上傳題庫」。上傳後頁頂提示「已把先前保留的 3 個字接上」,紀錄頁 3/2/1 與舊檔逐字相符。 | 1 |
| C-02 匯入後練不到匯入字 | 3 | 是 | 不換題庫直接按「繼續」:前 10 題有 8 題來自教材 01,規格要求至少 7。 | 0 |
| C-03 答對回饋在首屏外 | 3 | 是 | 三個年齡帶各答對一題,量 390×844 不捲動時的位置:6 到 8 歲「你做到了」在 105 到 137 之間,13 到 18 歲「這題過了・0.2 s」在 117 到 144,全部在首屏內。 | 0 |
家長的七個任務重跑一遍,完成率從 86% 變成 100%;八題驗收題的第 4 題從「有條件 YES」改為 YES。複驗也多抓到一條新的嚴重度 2(C-13):C-02 的修法是「所有題庫的到期字先出」,副作用是剛上傳一份新題庫、選它開始練,前幾題卻是別的題庫的字,畫面上沒說這些字從哪來。C 自己在「對學習有沒有影響」欄寫:「無;到期字先練對學習是對的,只是沒說。」
「新裁決:能出版。三個嚴重度 3 的問題都已修掉並經重現步驟驗證;剩下的都是 2 以下,可以上線後再改。建議下一步補上規格說的 49 份舊題庫轉檔,讓真實舊資料不用自己上傳 CSV。」
reports/review.md,「複驗(第二次)」
注意 C 最後那一句建議。它把教訓二的根因又講了一次:出廠題庫還是沒有舊教材代碼,這一版的修法是「講清楚、給捷徑」,不是「搬舊題庫」。修不修,是留給人的下一個裁決。
一份修過的成品,也要由沒參與修的人再看一次。修好的證據不能由修的人自己出。
動手練習
10拿一份你自己的 AI 報告,找三件東西
不用是這種規模的專案。任何一次你請 AI 做事、它回你「做好了」的對話都可以。把那段回覆找出來,對照下面三列:
| 找什麼 | 長什麼樣 | 在你的報告裡 |
|---|---|---|
| 指令 | 它到底跑了什麼、用什麼工具、什麼時候跑的。「我測試過了」不算,要有那條指令。 | |
| 原始輸出 | 指令吐出來的東西,一行沒剪。打勾打叉、幾過幾不過、錯誤訊息全文。 | |
| 爭議 | 它覺得你哪裡說錯、規格哪裡矛盾、它自己替你決定了什麼。「無」也要寫出來。 |
缺哪個就去要
- 沒有指令:問它「你是用什麼指令確認的?把指令貼給我。」
- 沒有原始輸出:問它「把那條指令的完整輸出貼上來,不要摘要。」
- 沒有爭議段:問它「這次有哪些是規格沒說、你自己決定的?列出來。」
- 三樣都有了,再問一句:「有沒有一個你沒看過的人,可以拿成品試一次?」
你不用看懂輸出的每一行。你要確認的是它敢不敢把輸出給你看。
回到這裡
直接用,然後決定改什麼
三份教材走完,成品在那裡。它不是完美的,C 的問題清單還有幾條嚴重度 2 沒修,「自行裁決」有 20 條等人翻案。但它可以用了。
下一步不是再開一輪審查,是拿去給孩子用一個星期,然後決定改什麼。用過才知道哪一條裁決該翻、哪一個嚴重度 2 其實沒人在意。這件事只有人做得了。
回到最開頭那一句:AI 代替手,不代替腦。這一份教材裡,手做了十二輪、一百多張截圖、幾百行原始輸出。腦做的事看起來很少:讀報告、退回兩次、留幾條給自己翻案。但少了這幾下,手做的一切沒有人能保證是對的。
留言
CYC 看過才會公開。
還沒有公開的留言。