上千份文件要查得到:把一條龍拆成十一塊拼圖
「我請 AI 一次讀上千份文件,做一個查資料的系統。介面出來了,答案卻很多是錯的。該從哪裡下手?」夥伴的提問
一次丟給 AI 沒成功很正常。先看今年通行的六個環節:資料能不能出門、一頁一頁轉、先分流、推理和工具分開、三種查法、開發集與測試集加回歸題庫。再拆成十一塊拼圖,每塊寫清楚輸入、過程、輸出、素材和過關條件,哪幾塊可以同時做。
共學課上,一位夥伴說他請 AI 一次讀上千份文件,做一個查資料的測試系統。介面做出來了,答案很多是錯的。帶課的嚮導當場回應了幾句,課後又請 AI 把今年通行的做法查了一輪。這一篇把兩邊整理起來,拆成十一塊拼圖,一塊一塊可以驗收。
先說一句
01沒有成功,是很正常的事
我們想一件事,通常想的是一個整體:起點在哪、終點在哪。然後把這個整體用一段話交給 AI。題目不難、系統不複雜的時候,這樣做常常會成功,因為現在的模型夠聰明。
遇到沒成功的時候,多半是環節和環節之間有些該確認的事,AI 在製作過程中沒有一一落實。這時候要靠人把整體拆開。夥伴在課堂上已經自己走到這一步:他看著做出來的東西,判斷出檔案裡混著掃描檔和圖片、要先轉成文字,也判斷出一千多份它沒辦法一口氣處理。
這一篇就從他這兩個判斷接著往下拆。
嚮導的比喻:一台電動車、一艘航空母艦,都是一個模組一個模組做出來的。拆到最小、能單獨驗收的模組,把每一塊的品質顧好,再接起來。接起來之後出問題,才分得出是某一塊自己壞了,還是塊與塊之間沒接好。
導覽
02這一篇很長,這樣讀
畫面下方的目錄鈕可以直接跳到任何一節。全篇分四段:
有經驗的人可以把這一頁的網址交給自己的 AI,請它讀完之後陪你一塊一塊做。
一、題目
上千份文件,要查得到
夥伴的情況
03他做了什麼,卡在哪裡
夥伴工作上有一套管理文件的系統,裡面的文件超過一千份,格式混在一起:PDF、文件檔、圖片檔、掃描檔。他想做一個測試工具,確認這套系統查得到該查到的東西。
- 把所有檔案放到雲端硬碟。
- 請一個線上的 AI 開發工具去讀,替每份文件整理出關鍵字,當成測試用的題目。
- 之後拿這些關鍵字去查原本的系統,看查不查得到。
結果:畫面和功能都出來了,但整理出來的資料很多不正確。
他要的終點
一套自動化測試:丟關鍵字進既有的系統,看該出現的文件有沒有出現。
卡住的地方
在更前面。上千份文件還沒有變成「可以拿來出題的文字」,題目本身就是錯的。
所以這一題的地基,和「自己做一套文件檢索」是同一個:先把每一份文件、每一頁,變成正確的文字。地基有了,要接測試、接搜尋、接問答,都是後面的事。
二、六個環節
查過今年的做法之後,歸出來的六件事
課後,嚮導把自己平常的做法講給 AI 聽,請它查今年通行的做法來對照,並且交代:查到和他想的不一樣的,要照實列出來。這一段是查到的結果。凡是嚮導自己的經驗,會寫明是他的。
查核日 2026 年 10 月 14 日。來源列在文末,多數是研究論文和業界文章,數字是轉述的。
環節一
04先問:這些資料可以出門嗎
公司的內部文件,能不能交給外面的 AI 讀?多數公司沒有白紙黑字的規定,靠的是每個人自己的職業敏感度。自己動手做的時候,這一題要排第一,因為它會改變後面所有的做法。
可以出門
用雲端的模型。模型聰明,每一塊可以交給它的範圍比較大。要留意的是用哪一種方案:同一家的個人版、企業版、API(給程式直接呼叫模型的管道),資料會不會被拿去訓練、保留多久,規定不一樣,而且會改。
不能出門
改用跑在自己電腦上的模型。題目就變了:模型比較弱,每一塊拼圖要拆得更細、驗收要更嚴。
還有一個更前面的問題:這一千份文件,你自己拿得到嗎?是可以整批匯出,還是只能透過系統的介面、要申請授權才能取得?取得有沒有數量或頻率的限制?
不確定的時候,先用公開文件或自己編的假文件把整套流程練會,再回頭問公司。
環節二
05一頁一頁轉,不要一次丟
把上千份檔案一次交給 AI,它讀不完,通常也不會告訴你它沒讀完。它會照著讀到的一小部分,把剩下的補起來。夥伴看到的錯誤答案,多半是這樣來的。
通行的做法是把單位縮到「頁」:一頁進去,一份文字出來,每一份都標好它來自哪個檔案的第幾頁。這樣任何一頁錯了都找得到,也可以只重做那一頁。
今年主流的轉換方式,是讓看得懂圖的模型直接讀整頁畫面,輸出成有標題、有段落的純文字(Markdown);表格用 HTML 的表格寫法保留合併的格子。嚮導在課堂上說「聰明的模型直接讀圖」,和查到的方向一致。
一份針對企業文件的評測,比了十四種方法的五個面向,結論是沒有一種在每個面向都穩。所以要拿你自己最難的那幾頁來測。
環節三
06先分流:本來就有文字的,不要再辨識一次
不是每一頁都需要 AI 讀圖。文件檔本來就是文字;很多 PDF 也帶著一層可以直接選取的文字。這些直接把文字抽出來就好,又快,通常也不會認錯字。例外是有些掃描的 PDF 帶著一層以前辨識留下的文字,那一層本身可能就有錯字,所以抽出來之後要抽幾頁對一下原檔。
分流這件事本身用工具做,不需要模型判斷。
環節四
07哪些用模型推理,哪些用工具
這是嚮導特別強調的一件事,也是成本的來源。系統做完之後,主機要錢,模型每推理一次要錢。每一步都先問:這一步需要「想」嗎?
這裡說的工具,是一支寫好就固定的小程式。可以請 AI 幫你寫;寫好之後每次執行都不用再問模型,所以不花推理的錢,同樣的輸入每次結果也一樣。
| 這一步 | 用什麼 | 為什麼 |
|---|---|---|
| 判斷檔案有沒有文字層 | 工具 | 規則固定,結果只有是或不是。 |
| 從文件檔抽文字 | 工具 | 文字本來就在,照抄出來。 |
| 讀掃描頁、讀表格和圖 | 模型 | 要看懂版面。這是全套裡最需要模型的地方。 |
| 在文字裡找關鍵字 | 工具 | 純文字比對,快,而且不用錢。 |
| 把一個大問題拆成幾個要查的小問題 | 模型 | 要理解問的人想知道什麼。 |
| 對答案、算命中率(該出現的那一頁,有出現的比例) | 工具 | 數數字。交給模型反而會數錯。 |
嚮導的說法是分而治之:只有特定的環節讓模型加入,其他環節不需要,模型負責的範圍就縮小了,錯誤和花費也跟著縮小。
環節五
08查資料有三種做法,可以疊著用
關鍵字
在文字裡找一模一樣的字。文號、編號、人名、專有名詞,這種查法最準。不需要 AI。
關鍵字加語意
再加一路「意思相近也算」。問的字和文件裡的字不一樣時用得上。兩路的結果合起來排名,是今年最常見的建議。
讓模型自己去查
你問一個大問題,模型把它拆成幾個小問題,自己想關鍵字、自己查、看了結果再決定要不要換個字再查。
第三種改變了查資料的前提。以前要查得到,你得先對這批資料有一定的認識,知道該用哪個詞;不知道的時候就查不到,或是只查到一部分。現在可以讓模型先讀這批資料的專有名詞表,替你用對的詞去問。需要連續查好幾步才湊得出答案的問題,它也可以自己接著查。
2025 年 12 月有一份研究比過(文末來源的第五條):只給模型關鍵字搜尋這個工具,讓它反覆查,表現可以到傳統做法的九成以上,而且不用另外建一個語意資料庫。這是近似,不是超過;相關的研究樣本都不大。對自己動手做的人,意思是:先把關鍵字這一路做好,就已經能用。
第三種做法的模型,強的和弱的要注意的事不一樣,放在「四、兩種配置」講。
環節六
09兩份資料,加一個習慣
做出來的東西準不準,要拿一批文件來試才知道。拿哪些來試、每一份能看幾次,有通行的分法。
全世界講到資料怎麼分,用的是三個詞:訓練集、驗證集、測試集。這三個詞來自「訓練一個模型」的工作。這一題用的是現成的模型,所以對得上的只有後面兩個;另外從軟體測試借一個做法進來。四個詞放在一起看:
| 名稱 | 英文 | 拿來做什麼 | 可以看幾次 | 這一題有沒有 |
|---|---|---|---|---|
| 訓練集 | training set | 拿來教模型。模型的能力是從這一份學出來的。 | 一直看 | 沒有。這一題沒有在教模型。 |
| 開發集 | dev set;機器學習裡叫驗證集 validation set | 做的過程中反覆拿來試、看哪裡錯、調整做法。 | 反覆看 | 有 |
| 測試集 | test set | 做完才打開,量出在沒看過的資料上表現如何。 | 理想上一次 | 有 |
| 回歸題庫 | regression test suite | 每次改版重跑同一批題目,確認原本對的沒有被弄壞。 | 每次改動都跑 | 有,測試通過之後開始累積 |
所以是兩份資料:開發集、測試集。再加一個習慣:題目留下來,每次改動重跑。
環節六之一
10開發集和驗證集,是同一個位置的兩個名字
兩個詞指的是同一種資料:做的過程中可以反覆看的那一份。差別在說話的場合。
驗證集 validation set
比較老、比較窄的說法。訓練模型的人一邊訓練,一邊拿這一份來決定該訓練多久、哪一組設定比較好。它和「訓練」綁在一起。
開發集 dev set
比較寬的說法。只要是你邊做邊對照的資料都算,不管有沒有在訓練。調指令、換工具、改流程,都是對著開發集做。
這一題沒有在訓練,所以叫開發集比較貼切。你跟別人說驗證集,對方也聽得懂,指的是同一份。
要留意的是,中文的「驗證」聽起來像最後一關,容易以為驗證集是最後把關用的。不是。最後那一關用的是測試集。
環節六之二
11測試集:先定標準,再打開
開發集上全部做對,不代表做好了,因為你是看著它的答案調出來的。所以另外留一份從頭到尾沒看過的,做完才拿出來跑。這一份就是測試集。
- 打開之前,先把「怎樣算過」寫下來。例如:你最不能出錯的那種文件(怎麼分類見環節六之五),不可以出現原文沒有的內容。
- 跑一次,對照標準。
- 沒過的地方,一項一項決定:要修,還是知道了、先接受。接受的要寫下來,讓使用的人知道哪一種情況可能會錯。
沒有辦法用幾條標準把所有情況列完。測試集給你的是一個估計:這一類文件,大概有多少比例會出錯。題目太少,估計就不準:五題全對,分不出它是九成的實力,還是六成的實力加上運氣。
看過測試集哪裡錯、並且照著改了之後,這一份就等於變成開發集了。想再知道「沒看過的資料上表現如何」,要另外抽一批新的。
環節六之三
12回歸題庫:做過的題目不要丟
回歸測試(regression testing,也有人寫成「迴歸測試」)是軟體開發的做法。它只問一件事:這次改完之後,原本通過的題目,現在還通過嗎。回歸測試是這個動作,回歸題庫是它用的那批題目。
做法是每次改指令、換模型、加文件,都把同一批題目重跑一遍,成績不可以比上一版差。
升級的時候,除了回歸,還有另一件事要確認:新加的要求做到了沒有。2026 年做 AI 服務的人把回歸測試叫回歸評測,並且把題目分成兩疊來看:
回歸評測(regression evals)
以前做得到的,現在還做得到嗎。通過率應該接近全對。分數掉了,就是這次的改動弄壞了某個地方。
能力評測(capability evals)
這一版新加的要求,做到了嗎。剛開始本來就會有沒過的題目,分數往上走代表有進步。
新的要求穩定通過之後,那些題目就搬進回歸題庫,下一次升級換它們負責把關。題庫是這樣一版一版變大的。
回歸測試沒過,接下來才是人的決定:修好再上,或是退版(rollback),先回到上一版。回歸測試是檢查,退版是檢查之後的其中一種處理。
題庫從哪裡來:開發和測試的過程中,你已經累積了三樣東西。
題目
哪一頁、哪一個問題。
正確答案
人確認過的轉換結果,或該查到的那一頁。
判定標準
怎樣算對、怎樣算錯。
這三樣留下來,就是回歸題庫。之後每抓到一個新的錯,補一題進去,它會越用越完整。
做 skill 也是同一件事。skill 是寫給 AI 的一份做法說明,存起來,下次直接叫它照做。嚮導自己的經驗是:過去做 skill,常常是開發完、跑幾題新的、就繼續往下改版,少了回頭重跑舊題目這一步。開發過程留下的題目和答案,是最值得留的東西。
環節六之四
13那訓練集什麼時候會出現
大家對訓練集的理解是一致的:拿來教模型的資料。模型會什麼,是從它學出來的。
這一題先不做訓練,原因有三個:
- 現成的模型讀文件已經相當好。先用指令和專有名詞表把它用到極限,比較便宜。
- 訓練集最貴的部分是「正確答案」,要人一頁一頁確認。剛開始做的時候,手上還沒有那麼多。
- 自己教過的模型,原本的模型出新版時要重來一次。
什麼時候值得考慮:開發集上有一種錯反覆出現,指令和名詞表都修不好,例如某一種特殊表單或手寫。而拼圖 4 做久了,人確認過的正確頁面會自然累積起來,那就是將來的訓練集。到時候要記得:拿去訓練的頁面,不能同時出現在測試集裡。
環節六之五
14兩份資料要挑哪些文件
開發集和測試集要從同樣的來源分層挑。嚮導建議挑這三類,查到的評測也是這樣沿著難度抽樣的:
最常見的
這批文件裡數量最多的那種樣子。
最不能錯的
最常被引用、最常被查的那幾種。
最難的
這批資料和一般文件不一樣的地方:掃描歪斜、跨頁的表格、手寫、蓋章、直排。用真實的例子。
再加一個維度:檔案格式。每一種格式都要抽到。成績是以「頁」為單位算的,挑的時候留意頁數夠不夠。
對照
15嚮導原本的想法,有兩處被查到的結果修正
這一段開頭說過,嚮導請 AI 查的時候交代:查到和他想的不一樣的,要照實列出來。有兩處。
另外查到一條嚮導沒有提到的路,也列在這裡:
也有查完之後站得住的:嚮導說「只有轉換那一段需要 AI,後面查文字不需要」,查到的結果支持這個判斷,見環節五。
三、十一塊拼圖
一塊一塊做,每一塊都能驗收
前面的六個環節是觀念。這裡的十一塊拼圖,是把它們拆成做得出來的步驟,照動手的先後排,所以順序和環節不一樣:
每一塊寫了輸入、過程、輸出、要準備的素材、怎樣算過關。做完一塊,可以請 AI 把這一塊的做法存成一份 skill,下次直接叫它照做。
關卡地圖
16不是一條龍:有三條線可以同時走
圓圈裡的數字是拼圖的編號,拼圖 3 就是拼圖 3。同一列裡用箭頭連的要照順序;轉換線、名詞線、題庫線這三條可以同時進行,也可以分給不同的人。
動手前要有兩樣東西:一個能替你寫程式、也能在你電腦上執行程式的 AI 工具;文件放在它讀得到的資料夾。拼圖 2、4、6、8、10 都會請它寫小程式。
轉換線
拼圖 2 分流 → 拼圖 3 單頁轉文字 → 拼圖 4 轉換驗收
名詞線
拼圖 5 專有名詞表
題庫線
拼圖 7 出題:問什麼,該查到哪一頁
夥伴原本要的自動化測試,是拼圖 7 加拼圖 8,只是查的對象換成公司既有的系統。所以他不一定要做到拼圖 9。只想測既有系統的人,最短的路是拼圖 0、1、7、8:題目由人看著原文出。文件多到要請 AI 幫忙出題的時候,才需要先做拼圖 2 到 4,把文件變成正確的文字。
| 拼圖 | 主要用什麼 | 預估時間 | 要等哪一塊 | 用哪一份資料 |
|---|---|---|---|---|
| 拼圖 0 資料能不能出門 | 人 | 20 分 | 無 | 不用文件 |
| 拼圖 1 挑樣本,分成兩份 | 人,AI 協助 | 30 分 | 拼圖 0 | 產生開發集、測試集 |
| 拼圖 2 分流 | 工具 | 20 分 | 拼圖 1 | 開發集 |
| 拼圖 3 單頁轉文字 | 模型 | 40 分 | 拼圖 2 | 開發集 |
| 拼圖 4 轉換驗收 | 工具,人看 | 30 分 | 拼圖 3 | 開發集,再測試集 |
| 拼圖 5 專有名詞表 | 人,AI 協助 | 20 分 | 拼圖 1 | 開發集 |
| 拼圖 6 索引與關鍵字查詢 | 工具 | 30 分 | 拼圖 4、拼圖 5 | 開發集 |
| 拼圖 7 出題:問什麼,該查到哪一頁 | 人,AI 協助 | 30 分 | 拼圖 1 | 兩份各出一批 |
| 拼圖 8 查詢驗收 | 工具 | 20 分 | 拼圖 6、拼圖 7 | 開發集,再測試集 |
| 拼圖 9 讓模型自己查,而且附出處 | 模型 | 40 分 | 拼圖 8 | 開發集,再測試集 |
| 拼圖 10 回歸與上線 | 工具,人決定 | 30 分 | 全部 | 回歸題庫 |
預估時間是嚮導和 AI 初抓的數字,還沒有實際帶過一輪。它指的是文件已經在手上、順利的情況下至少要投入的時間;第一次做、或中途卡住,會比這個久。
拼圖 0
17拼圖 0 資料能不能出門
拼圖 1
18拼圖 1 挑樣本,分成兩份
拼圖 2
19拼圖 2 分流
拼圖 3
20拼圖 3 單頁轉文字
可以直接貼的一段:
附件是一份文件的其中一頁。請把這一頁照原樣轉成 Markdown。 規則: 1. 照閱讀順序。標題用 #,段落之間空一行。 2. 表格用 HTML 的 table 寫,合併的格子要保留。 3. 圖片、印章、簽名不要描述細節,各寫一行,例如[圖:組織架構圖][印章]。 4. 看不清楚的字用[?]標出來,不要猜。 5. 這一頁沒有的內容不要補。不要摘要,不要改寫。 最後另外列出:你標了幾個[?],各在哪一段。
拼圖 4
21拼圖 4 轉換驗收
拼圖 5
22拼圖 5 專有名詞表
這和課堂上的錯字勘誤表是同一招:逐字稿錯字太多:做一張錯字勘誤表。這張表後面會用兩次:修正轉換的錯字,以及讓模型查資料時用對的詞。
拼圖 6
23拼圖 6 索引與關鍵字查詢
工具寫好之後,每次查詢都不需要模型,在自己的電腦上就能跑。需要「意思相近也算」的時候,可以再加環節五說的語意那一路;這一篇先不展開,先做拼圖 9 看夠不夠。
拼圖 7
24拼圖 7 出題:問什麼,該查到哪一頁
夥伴在課堂上說想做的「替每份文件產生關鍵字」,就是這一塊。差別在於一頁一頁出、每一題都標好答案在哪、人看過。
拼圖 8
25拼圖 8 查詢驗收
總平均會把弱的那一種蓋掉,所以四種一定要分開算。
拼圖 9
26拼圖 9 讓模型自己查,而且附出處
可以直接貼的一段:
你是這批文件的查詢助手。你只有一個工具:關鍵字查詢,會回傳檔名、頁碼和那一頁的文字。 收到問題後照這個順序做: 1. 把問題拆成一到四個要查的小問題,列出來。 2. 每個小問題,先對照專有名詞表,選出要查的關鍵字。別稱也要查。 3. 查。讀回傳的文字。不夠就換關鍵字再查,最多三輪。 4. 只根據查到的文字回答。每一句後面標[檔名,第幾頁]。 5. 查不到,或查到的內容不足以回答,就直接說查不到,並列出你試過哪些關鍵字。不可以用你原本知道的事來補。 回答的最後,列出這次查過的所有關鍵字和看過的頁。 專有名詞表: [把拼圖 5 做好的表貼在這裡]
拼圖 10
27拼圖 10 回歸與上線
四、兩種配置
模型聰明不聰明,拼法不一樣
研發和上線
28做的時候求品質,要上線了才省錢
嚮導的做法分兩個階段。
研發的時候
樣本只有幾十份,花不了多少錢。用手邊最好的模型,目的是確認:以現在的技術和資源,每一塊拼圖最好能做到什麼程度。
上線之前
知道每一塊做得到什麼之後,再設計正式的架構:哪幾塊換成便宜的模型或工具、文件多久更新一次、誰維護、壞了怎麼發現。每換一塊,用拼圖 10 重跑,看成績掉了多少。
兩種極端
29同一張地圖,兩種走法
| 資料可以出門,用很聰明的雲端模型 | 資料不能出門,只能用自己電腦上的模型 | |
|---|---|---|
| 拼圖 3 轉文字 | 一段指令就能處理大多數頁面。 | 有專門做文件辨識的小模型可以在自己的電腦上跑。表格和難的頁要另外處理,人工抽查要多。 |
| 拼圖 5 名詞表 | 有幫助。 | 更重要。弱的模型更需要你告訴它正確的詞。 |
| 拼圖 9 自己查 | 可以把拆問題、選字、回答交給同一個模型。 | 拆成更小的步驟,一步只做一件事。或者先停在拼圖 6,由人自己下關鍵字。 |
| 測試與回歸 | 一樣要做。 | 一樣要做,而且門檻不能降。 |
| 花費 | 照用量付費。 | 不用付模型的錢,付的是時間和電腦。 |
自己電腦上跑得動哪些模型、中文的表現如何,各家的說法不一,而且每幾個月就變。用拼圖 4 拿自己的文件測,比看排行榜可靠。
強的模型和弱的模型
30讓模型查資料時,各自要留意的事
嚮導的看法:在一大批資料裡探索、跨好幾個面向一起想、把複雜的數字交叉計算,這幾件事人做起來吃力,模型相對拿手,強的弱的都是。差別在編造的機率和好不好控制。
強的模型
編造的機率比較低,也比較聽得懂規則。可以給它比較完整的任務。還是要它附出處,還是要抽查。
弱的模型
編造的機率比較高。任務切小,一次一件;規則少而明確;回答只准引用查到的文字;查不到就說查不到。每次把「原本的問題、它改寫成什麼、查到哪幾頁」記下來,出錯時才分得出是哪一步。
帶得走的東西
一個整體做不出來的時候,拆成能驗收的拼圖。
每一塊問三件事:進來什麼、出去什麼、怎樣算過關。
來源
31這一篇查了哪些資料
查核日 2026 年 10 月 14 日。工具的排名和數字變得很快,文中只轉述大略的數字,沒有引用排行榜的分數。
- ParseBench:企業文件轉換的評測,十四種方法、五個面向
- OmniDocBench:文件轉換的評測資料集
- 直接比對頁面畫面,和先轉文字再查的對照研究
- ColPali:直接用頁面畫面做檢索
- 只用關鍵字搜尋工具、讓模型反覆查的研究
- 文字搜尋和語意檢索在模型自己查資料時的比較
- 關鍵字與語意兩路並用,以及題庫分類計分的做法
- 文件轉換品質怎麼評
- Anthropic:回歸評測和能力評測的分法(2026 年 1 月)
文中凡是寫「嚮導」的,都是他自己工作上的經驗和看法,不是查來的。
之後上課可以一次做一塊。想先動手的夥伴,做完拼圖 0 之後,拼圖 1 和拼圖 5 就能開始。還沒問過公司的,先用公開文件練。
留言
CYC 看過才會公開。
還沒有公開的留言。