工作流拆解

背單字網頁重做(三):交給 AI 執行,然後看報告

「交給 AI 做了,我要怎麼知道它做對、做好?」夥伴的提問

交出去之後,人只剩一件事:看報告、做裁決。三個 agent 實際跑了十二輪建置、兩次審查,抽真實的原始輸出、爭議段、審查表給你看。三個教訓:可見測試全綠不等於做對(隱藏測試抓到 2 紅)、全綠也不等於好用(獨立審查抓到 3 個嚴重度 3,根因是規劃站的一個裁決)、你給的線索寫錯也會被指出來。練習:拿一份自己的 AI 報告,找出指令、原始輸出、爭議三件在哪。

前兩份教材把心願講清楚、拆成檔案。這一份看檔案真的交出去之後發生的事:三個 agent 跑了一整天,交回來十二份建置報告、一份審查報告、一百多張截圖。你不用看程式碼,但要看得懂報告,因為交出去之後,人剩下的工作只有一件。

先說結論

01交出去之後,你只剩一件事:看報告、做裁決

很多人以為「交給 AI」之後就是等成品。這個案例裡不是。AI 每做完一個階段就交一份報告,人讀報告、決定通不通過、退回去還是往下走。做的是 AI,裁決的是人。

所以報告長什麼樣,決定了你能不能裁決。第一站的計畫裡替第二站訂了一條交付規則,原文是這樣:

「每一輪報告用台灣正體中文,不用 emoji,不寫『我認為通過』這類沒有證據的句子。」

plan/engineering-plan.md,B 的交付規則第 7 條

「我認為通過」不算數,因為你沒辦法核對。報告要有指令、有原始輸出、有它自己覺得哪裡不對的地方。有這三樣,你才有東西可以裁決。

報告不是給你安心的,是給你裁決用的。

回顧一表

02三站各拿什麼、交什麼,實際跑下來走了幾輪

上一份教材的表,這裡補上實際發生的數字:

站拿到什麼交出什麼實際跑了
A 規劃spec/、design/、研究筆記工程計畫(205 條規格,180 條必須做)、12 個工作包、一套鎖定的驗收測試(單元 82 題、端對端 33 題、對比 44 組)一次交付;另外藏了 19 題 B 看不到的隱藏測試
B 實作+驗證A 的計畫、A 的測試成品+每一輪一份 reports/build-round-N.md12 輪。前 6 輪把可見測試跑到全綠;第 7 到 10 輪修隱藏測試抓到的問題;第 11、12 輪修 C 抓到的問題
C 獨立審查只有成品和規格,不給 A、B 的任何過程reports/review.md,71 張截圖一次審查,裁決「有條件能出版」;B 修完後再複驗一次

把時間線攤平,是這樣一條:

A 交付

計畫與測試鎖定,記下檔案指紋,B 不能改測試。

B 第 1 到 6 輪

可見測試從 32/33 修到連續兩輪全綠。

隱藏測試

協調者跑 B 沒看過的 19 題:2 紅。退回。

B 第 7 到 10 輪

修到隱藏測試也全綠。這中間協調者給錯一次線索,B 在報告裡指出來。

C 審查

三個身分走一遍,抓到 3 個嚴重度 3 的問題。退回。

B 第 11、12 輪

逐條回應 C,其中一條判為設計裁決不修。

C 複驗

再看一次修好了沒。

兩次「退回」都不是人看程式碼看出來的。一次靠隱藏測試,一次靠獨立審查。人做的事是決定要不要退。

兩種驗收

03BDD 給人看,TDD 給機器看

A 交付的測試分兩層。一層是給人讀的情境,寫在 tests/acceptance/bdd/,一個情境講一個行為;另一層是給機器跑的程式,寫在 unit/ 和 e2e/。兩層之間用「覆蓋」欄接起來:這句人話,由哪個測試證明。

先看給人看的。八歲孩子那份檔案的第一個情境,原文是這樣(檔案自己說明「角色用通稱,不是真人」):

S8-01 清掉資料後第一次打開,30 秒內開始第一題

前提:瀏覽器沒有這個站的任何資料;家長把手機拿給小明。
動作:小明看到「你叫什麼名字?」和三顆大按鈕,不打名字,直接按「國小低年級 6 到 8 歲」。
預期:畫面直接是一個英文字的認識畫面,喇叭鍵可以按;從畫面出現到這裡不超過 30 秒、點擊不超過 3 次;沒有選題庫、沒有說明、沒有登入。
覆蓋:e2e/first-run.spec.mjs「6–8 歲:清空資料後打開…」

tests/acceptance/bdd/student-8.md

再看一個,答錯的時候:

S8-04 答錯不會被罵

前提:小明按錯了一個選項。
動作:看畫面。
預期:正確答案亮綠、選錯的變灰,底部浮出一塊板子唸正確的字,只有「聽」和「知道了」兩顆按鈕;沒有紅色大叉、沒有錯誤音效、不扣分;按「知道了」才走。
覆蓋:e2e/practice.spec.mjs「讀題答錯…」

同上

這兩段任何人都讀得懂,也都能反對:覺得答錯應該扣分,就在 S8-04 那一段說。給機器看的那一層長得不一樣,是程式,但跑完會吐出一行一行的結果,例如:

✔ 答錯(rating 1):repetitions 歸 0、interval 0、lapses +1、ease -0.2、due 今天、last_step_date 清空 (0.070208ms)

✔ 一天同字只進一階:同一天第二次答對只更新 last_review,repetitions/interval/due 不變 (0.231667ms)

reports/build-round-12.md,單元測試原始輸出節錄

你不用懂 lapses 是什麼。你要看的是:打勾還是打叉、幾題過幾題沒過、跟 BDD 那一句對不對得上。

BDD:給人看的行為句

前提、動作、預期,三段人話。用來討論「我們要的是不是這個」。

TDD:給機器看的驗收

程式跑出打勾打叉。用來證明「做出來的是不是這個」。改程式不能改它。

人話那層決定方向,機器那層守住方向。兩層都要有,而且要接得起來。

第一站的產出

04計畫長什麼樣:一包一包,每包一題 YES/NO

A 的計畫把整件事切成 12 個工作包,每包寫清楚輸入、要做的事、對應哪些規格、驗收題是哪一條指令。抽三包:

工作包要做的事(節錄)驗收題
WP-01 靜態骨架+首頁 30 秒進題建全部 19 個畫面的空殼、貼入品牌色、三份預設題庫、首頁四種狀態、按年齡帶直接進第一題first-run.spec.mjs 八個案例全綠?
WP-03 資料層+作答迴圈+回饋+小結七張資料表、每答一題寫一筆、答對答錯的回饋層、每 10 題一次小結「讀題答錯」「答對」「一輪 10 題後自動進小結」三案例全綠,且抽 3 筆紀錄 14 個欄位齊全?
WP-12 兩輪全綠與交付報告跑三套指令兩輪、比對測試檔指紋、人工檢查項逐條附證據連續兩輪三者都通過,且測試檔指紋全部相符?

計畫最後一節是「B 的交付規則」,規定每一輪報告固定四段:

  1. 指令與原始輸出三條指令的完整輸出貼上,不剪、不摘要,加上執行時間與版本。
  2. 截圖自動拍的和人工補的,列檔名。
  3. 人工檢查表機器測不到的項目,逐條寫「做了什麼、看到什麼、證據檔名」。
  4. 爭議B 認為哪個測試寫錯、為什麼、建議怎麼改。這是 B 唯一可以對測試發表意見的地方,由人裁決。

四段裡沒有一段叫「總結」或「我的看法」。B 可以有意見,但只能寫在「爭議」,而且要說理由。

第二站的產出

05建置報告怎麼讀:指令、原始輸出、爭議

B 的第一輪報告開頭是這一行:

「結果:unit 82/82(exit 0)、e2e 32 通過/1 失敗(exit 1)、contrast 44/44 組通過。(exit 0)→ 有紅。」

reports/build-round-1.md

三條指令、三個數字、一個結論「有紅」。往下翻是完整的原始輸出,一行都沒剪。那一個紅長這樣:

✘ 28 [chromium] › tests/acceptance/e2e/practice.spec.mjs:5:1 › 13–18 歲,跨四個日曆日(第 1、2、8、23 天):認識、讀、聽、寫、說五種畫面都出現、都能作答並得到回饋 (1.2m)

Error: expect(received).toEqual(expected) // deep equality

Expected: ArrayContaining ["intro", "read", "listen", "spell", "speak"]

Received: ["intro", "listen", "read", "spell"]

1 failed
32 passed (4.1m)
# exit=1

reports/build-round-1.md,端對端測試原始輸出節錄

不懂程式也讀得出來:測試要五種題型都出現,實際只出現四種,少了「說」。B 在同一份報告的「本輪紅燈與處理」寫了原因:13 到 18 歲的預設題庫有 60 個字,到第 23 天新字還沒用完,排在前面的字把名額佔滿,「說」題輪不到。排程規則是鎖定的不能改,唯一合法的槓桿是題庫大小,所以把 60 字的題庫拆成兩份各 30 字。第二輪起就綠了。

這段處理有一個細節值得停一下:B 沒有去改測試讓它過,也沒有偷改排程規則。它在規則裡找到一個合法的解法,然後把「為什麼合法」寫進報告。這正是三道鎖的第一道在發揮作用。

報告的第二段是截圖清單。第一輪 B 自己沒另外拍;到第十二輪,除了測試自動拍的 46 張,B 另外拍了 60 張,例如 reports/shots/round-12/S13-result.png(匯入結果畫面)、feedback-b-read.png(9 到 12 歲答對之後的畫面)。你要核對某一條人工檢查,就照檔名去翻。

看建置報告先找三樣:指令在哪、原始輸出在哪、爭議段寫了什麼。三樣齊了,再看它說什麼。

教訓一

可見測試全綠,不等於做對

B 跑到第六輪,82、33、44 三個數字連續兩輪全綠,協調者親自重跑一次也一致。照規則這就算交付了。然後協調者拿出那 19 題 B 從來沒看過的隱藏測試,用不同的數值、不同的題庫、不同的年齡帶路徑再跑一次:2 紅。

一個紅是匯入備份時,同一天達標的紀錄被錯誤地合併掉;另一個是 13 到 18 歲匯入舊紀錄之後按返回,沒有回到小結。兩個都不是可見測試會碰到的路徑。

這不是 B 偷懶。它把它看得到的每一題都做對了。問題是「看得到的題」本身就是一種提示,AI 會不知不覺往那些題靠攏。上一份教材引過那個數字:看得到的測試過 97%,看不到的過 0%。這裡沒那麼極端,但方向一樣。

退回去修了四輪(第 7 到 10 輪),隱藏測試 16 題單元、3 題端對端全綠,才進下一站。

第三站的產出

06審查報告怎麼讀:八題、完成率、嚴重度

C 是另一個視窗開的,拿到的只有成品網址、三份規格、八題驗收題。它的報告開頭先聲明自己沒看過什麼:「沒有讀 plan/、design/、tests/、issues/、CLAUDE.md、git log。列目錄時看到 reports/ 底下有其他檔案,一個都沒有打開。」然後是一句話裁決:

「有條件能出版。條件:修掉兩個嚴重度 3 的問題再上線。」

reports/review.md

接著是八題驗收題,每題一個裁決、一段證據。抽三題:

#題目裁決證據(節錄)
2不登入,八歲小孩 30 秒內開始第一題YES清空狀態後第一次打開:畫面出現 0.33 秒,按 1 下就到第一題,從輸入網址到第一題出現 1.08 秒。
4舊網站歷程 JSON 匯進來,錯字統計一致有條件 YES先上傳對應題庫再匯入:「舊檔 6 → 這裡 6」,逐字相符。直接匯入(出廠狀態):顯示「舊檔 0 → 這裡 0」,家長無從比對。
6每個畫面按鈕不超過五個YES逐畫面數:首次首頁 4、讀題 4 或 5、小結 2 到 4、設定 5……最多的是 5,沒有超過。

八題之後是三個身分各自的任務表:學生 7 題完成 7 題(100%),家長 7 題完成 6 題(86%),創作者 7 題完成 7 題(100%)。每一列都寫了花幾步、卡在哪、對應哪張截圖。

再往下是問題清單,12 條,每條標嚴重度 0 到 4,還有一欄「對學習有沒有影響」。嚴重度 3 的有三條,嚴重度 2 的五條,其餘是表面問題。最後一節叫「對學習有沒有幫助」,三個身分各三句實話,例如家長那一段的第三句:

「舊網站的歷程匯進來這件事,在出廠狀態下等於沒做完:結果畫面 0 → 0,錯字也不會自動排進練習。」

reports/review.md,「對學習有沒有幫助」

完成率

三個身分各完成幾成任務。門檻 80%,這次最低的是家長 86%。

嚴重度

每個問題 0 到 4。3 以上一定要有重現步驟,這次三條都有。

對學習有沒有幫助

不是分數,是實話。這一欄決定你要不要修,不是嚴重度決定。

審查報告看三個數字:完成率、嚴重度、對學習有沒有影響。前兩個是機器也能算的,第三個只有人能裁。

教訓二

測試全綠,也不等於好用

進 C 這一站的時候,可見測試全綠、隱藏測試全綠。C 用家長的身分走了一遍「把舊網站的歷程匯進來」,卡住了。三個嚴重度 3 的問題,兩個出在這條線上:

C-01:出廠的四份題庫沒有任何一份帶舊教材代碼,舊歷程匯進來全部進了「先保留」,結果畫面顯示「舊檔 0 → 這裡 0」,家長不知道要上傳一份代碼相符的題庫才會接上。C-02:就算接上了,按「開始」練的還是預設題庫,匯進來的錯字不會出現。C-03:答對之後的文字回饋放在畫面最底下,在 390×844 的手機上落在首屏之外,看不到。

測試為什麼沒抓到?因為測試用的是它自己帶的題庫,代碼剛好對得上。C 用的是出廠狀態,什麼都沒上傳,就像一個家長第一次打開。

再往上追,根因不在 B。第一站 A 做規劃的時候有一條裁決:不搬夥伴網站的 49 份舊題庫,第一版只做至少三份預設題庫。這條裁決本身合理(B 拿不到原檔),但它的後果沒有人往下想一步:出廠題庫沒有舊教材代碼,「匯入舊紀錄」這條線就只剩形式。C 的報告用了同一個詞:「少了它們,『相容舊資料』只剩形式。」

一個規劃站的裁決,穿過實作站的全綠,在審查站被一個沒參與過程的身分抓到。這就是為什麼 C 不能看 A 和 B 的過程。

第二站回應第三站

07B 怎麼接 C 的問題:逐條回應,能修的修,不修的說理由

退回 B 之後,第十一、十二輪的報告多了一節「回應 Agent C」,每一條問題一列,寫修了什麼、證據在哪。抽三條:

編號修了什麼(節錄)證據
C-01a匯入結果畫面改成三個數字都講清楚:舊檔錯字總次數、已接上幾次、先保留幾次;先保留的列出每個教材代碼,並加一句「上傳代碼 01 的 CSV 後會自動接上」。reports/shots/round-12/S13-result.png
C-02選案一:今天要練的到期字改成跨題庫取,匯進來的錯字不用換題庫就會出現。理由:鎖定測試仍全綠,而且家長什麼都不用做,比備案少一個要理解的概念。sim-S9-after-import.png;模擬紀錄裡「按繼續之後前 10 題有幾題是匯入字」
C-03答對答錯的文字改放在題目區,題幹下方;三個年齡帶四種題型在 390×844 都不捲動看得到。另寫一支模擬測試,斷言回饋文字的底邊不超過 844;截圖 feedback-b-read.png 等

不是每一條都修。C-05 是「建完暱稱後直接進題目,畫面上沒有離開鍵」。B 在「自行裁決」第 18 條寫了不修的理由:題目畫面在 9 歲以上已經是 5 顆按鈕,多一顆就超過上限;規格本來就定「題目畫面沒有離開,每 10 題必到小結」;關掉分頁也不丟資料。這一條留給人翻案。

「自行裁決」這一節到第十二輪累積了 20 條,每一條都是「規格沒說、我自己決定的事,供 CYC 翻案」。例如第 2 條:把 60 字的題庫拆成兩份各 30 字;第 20 條:C 的來信寫「上傳題庫在 S12b」,但 S12b 是語音頁,上傳在 S12c,B 依意圖處理。

「供翻案」三個字是關鍵。B 不是在報告它做了什麼,是在把它替你做的決定攤開來,讓你有機會說不。

教訓三

08線索寫錯也會被指出來:AI 之間的合作也是雙向的

隱藏測試那 2 紅裡,「同一天達標的紀錄被合併掉」這一個修了比較久。第 7、8 輪修完另一個之後,這個還剩 1 紅。原因寫在第十二輪報告的「爭議」段,原文是這樣:

「無。協調者第一次退回時的線索『同 profile 不同 session 各達標一次應各保留』寫錯了,協調者已更正:隱藏測試的斷言就是 data-model 第 3.6 節:合併後 goal_reached 以 profile_id+日曆日為鍵必須唯一。產品照 data-model 與鎖定測試修(第九輪),沒有需要 CYC 裁決的地方。」

reports/build-round-12.md,「四、爭議」

翻成人話:協調者(也是一個 AI)退回的時候,順手給了一條「應該怎麼修」的線索,那條線索跟資料模型的規定是反的。B 照線索修,隱藏測試當然還是紅。B 沒有再猜第三種做法,而是回頭去對資料模型,發現線索錯了,寫進爭議段。協調者看了,承認寫錯,更正。第九輪照資料模型修,過了。

這裡有兩件事。第一,B 拿到指示不是照做就算,它會對照更上游的文件;當兩者衝突,它以文件為準,並且把衝突寫出來。第二,這件事沒有驚動人。兩個 AI 在報告裡把話講清楚,事情就解決了。人只需要在事後讀到這一段,知道發生過。

合作是雙向的。你給 AI 的線索也會錯,好的報告會把這件事告訴你,而不是默默繞過去。

複驗與裁決

09C 再看一次:三條都修了,裁決從「有條件」變「能出版」

B 修完第十一、十二輪,協調者複跑鎖定測試與隱藏測試都全綠,再把成品交給 C 看一次。C 的隔離規則和第一次一樣,只讀更新後的成品與規格,自己另外造了一份 10 個字的題庫和一份 8 個錯字的舊檔,重走家長那條線。結論寫在 reports/review.md 最前面,抽三列:

編號原嚴重度修了嗎量到的值(節錄)現在
C-01 匯入結果沒講清楚3是結果畫面改為「舊檔錯字總次數 8 次/已接上 0 次/先保留 8 次:教材 01(4 個字、7 次)、教材 26(1 個字、1 次)」,多一顆「上傳題庫」。上傳後頁頂提示「已把先前保留的 3 個字接上」,紀錄頁 3/2/1 與舊檔逐字相符。1
C-02 匯入後練不到匯入字3是不換題庫直接按「繼續」:前 10 題有 8 題來自教材 01,規格要求至少 7。0
C-03 答對回饋在首屏外3是三個年齡帶各答對一題,量 390×844 不捲動時的位置:6 到 8 歲「你做到了」在 105 到 137 之間,13 到 18 歲「這題過了・0.2 s」在 117 到 144,全部在首屏內。0

家長的七個任務重跑一遍,完成率從 86% 變成 100%;八題驗收題的第 4 題從「有條件 YES」改為 YES。複驗也多抓到一條新的嚴重度 2(C-13):C-02 的修法是「所有題庫的到期字先出」,副作用是剛上傳一份新題庫、選它開始練,前幾題卻是別的題庫的字,畫面上沒說這些字從哪來。C 自己在「對學習有沒有影響」欄寫:「無;到期字先練對學習是對的,只是沒說。」

「新裁決:能出版。三個嚴重度 3 的問題都已修掉並經重現步驟驗證;剩下的都是 2 以下,可以上線後再改。建議下一步補上規格說的 49 份舊題庫轉檔,讓真實舊資料不用自己上傳 CSV。」

reports/review.md,「複驗(第二次)」

注意 C 最後那一句建議。它把教訓二的根因又講了一次:出廠題庫還是沒有舊教材代碼,這一版的修法是「講清楚、給捷徑」,不是「搬舊題庫」。修不修,是留給人的下一個裁決。

一份修過的成品,也要由沒參與修的人再看一次。修好的證據不能由修的人自己出。

動手練習

10拿一份你自己的 AI 報告,找三件東西

不用是這種規模的專案。任何一次你請 AI 做事、它回你「做好了」的對話都可以。把那段回覆找出來,對照下面三列:

找什麼長什麼樣在你的報告裡
指令它到底跑了什麼、用什麼工具、什麼時候跑的。「我測試過了」不算,要有那條指令。
原始輸出指令吐出來的東西,一行沒剪。打勾打叉、幾過幾不過、錯誤訊息全文。
爭議它覺得你哪裡說錯、規格哪裡矛盾、它自己替你決定了什麼。「無」也要寫出來。

缺哪個就去要

  • 沒有指令:問它「你是用什麼指令確認的?把指令貼給我。」
  • 沒有原始輸出:問它「把那條指令的完整輸出貼上來,不要摘要。」
  • 沒有爭議段:問它「這次有哪些是規格沒說、你自己決定的?列出來。」
  • 三樣都有了,再問一句:「有沒有一個你沒看過的人,可以拿成品試一次?」

你不用看懂輸出的每一行。你要確認的是它敢不敢把輸出給你看。

回到這裡

直接用,然後決定改什麼

三份教材走完,成品在那裡。它不是完美的,C 的問題清單還有幾條嚴重度 2 沒修,「自行裁決」有 20 條等人翻案。但它可以用了。

下一步不是再開一輪審查,是拿去給孩子用一個星期,然後決定改什麼。用過才知道哪一條裁決該翻、哪一個嚴重度 2 其實沒人在意。這件事只有人做得了。

回到最開頭那一句:AI 代替手,不代替腦。這一份教材裡,手做了十二輪、一百多張截圖、幾百行原始輸出。腦做的事看起來很少:讀報告、退回兩次、留幾條給自己翻案。但少了這幾下,手做的一切沒有人能保證是對的。

留言

CYC 看過才會公開。

還沒有公開的留言。

看其他教材

留言