第四堂共學

上千份文件要查得到:把一條龍拆成十一塊拼圖

「我請 AI 一次讀上千份文件,做一個查資料的系統。介面出來了,答案卻很多是錯的。該從哪裡下手?」夥伴的提問

一次丟給 AI 沒成功很正常。先看今年通行的六個環節:資料能不能出門、一頁一頁轉、先分流、推理和工具分開、三種查法、開發集與測試集加回歸題庫。再拆成十一塊拼圖,每塊寫清楚輸入、過程、輸出、素材和過關條件,哪幾塊可以同時做。

共學課上,一位夥伴說他請 AI 一次讀上千份文件,做一個查資料的測試系統。介面做出來了,答案很多是錯的。帶課的嚮導當場回應了幾句,課後又請 AI 把今年通行的做法查了一輪。這一篇把兩邊整理起來,拆成十一塊拼圖,一塊一塊可以驗收。

先說一句

01沒有成功,是很正常的事

我們想一件事,通常想的是一個整體:起點在哪、終點在哪。然後把這個整體用一段話交給 AI。題目不難、系統不複雜的時候,這樣做常常會成功,因為現在的模型夠聰明。

遇到沒成功的時候,多半是環節和環節之間有些該確認的事,AI 在製作過程中沒有一一落實。這時候要靠人把整體拆開。夥伴在課堂上已經自己走到這一步:他看著做出來的東西,判斷出檔案裡混著掃描檔和圖片、要先轉成文字,也判斷出一千多份它沒辦法一口氣處理。

這一篇就從他這兩個判斷接著往下拆。

嚮導的比喻:一台電動車、一艘航空母艦,都是一個模組一個模組做出來的。拆到最小、能單獨驗收的模組,把每一塊的品質顧好,再接起來。接起來之後出問題,才分得出是某一塊自己壞了,還是塊與塊之間沒接好。

導覽

02這一篇很長,這樣讀

畫面下方的目錄鈕可以直接跳到任何一節。全篇分四段:

一、題目夥伴遇到什麼。兩分鐘讀完。
二、六個環節查了今年通行的做法之後,歸出來的六件事。想先看全貌的人讀這一段。
三、十一塊拼圖每一塊的輸入、過程、輸出、要準備的素材、怎樣算過關。之後上課一次做一塊,每塊預估二十到四十分鐘。
四、兩種配置用很聰明的雲端模型,和只能用自己電腦上的模型,拼法不一樣。

有經驗的人可以把這一頁的網址交給自己的 AI,請它讀完之後陪你一塊一塊做。

一、題目

上千份文件,要查得到

夥伴的情況

03他做了什麼,卡在哪裡

夥伴工作上有一套管理文件的系統,裡面的文件超過一千份,格式混在一起:PDF、文件檔、圖片檔、掃描檔。他想做一個測試工具,確認這套系統查得到該查到的東西。

  1. 把所有檔案放到雲端硬碟。
  2. 請一個線上的 AI 開發工具去讀,替每份文件整理出關鍵字,當成測試用的題目。
  3. 之後拿這些關鍵字去查原本的系統,看查不查得到。

結果:畫面和功能都出來了,但整理出來的資料很多不正確。

他要的終點

一套自動化測試:丟關鍵字進既有的系統,看該出現的文件有沒有出現。

卡住的地方

在更前面。上千份文件還沒有變成「可以拿來出題的文字」,題目本身就是錯的。

所以這一題的地基,和「自己做一套文件檢索」是同一個:先把每一份文件、每一頁,變成正確的文字。地基有了,要接測試、接搜尋、接問答,都是後面的事。

二、六個環節

查過今年的做法之後,歸出來的六件事

課後,嚮導把自己平常的做法講給 AI 聽,請它查今年通行的做法來對照,並且交代:查到和他想的不一樣的,要照實列出來。這一段是查到的結果。凡是嚮導自己的經驗,會寫明是他的。

查核日 2026 年 10 月 14 日。來源列在文末,多數是研究論文和業界文章,數字是轉述的。

環節一

04先問:這些資料可以出門嗎

公司的內部文件,能不能交給外面的 AI 讀?多數公司沒有白紙黑字的規定,靠的是每個人自己的職業敏感度。自己動手做的時候,這一題要排第一,因為它會改變後面所有的做法。

可以出門

用雲端的模型。模型聰明,每一塊可以交給它的範圍比較大。要留意的是用哪一種方案:同一家的個人版、企業版、API(給程式直接呼叫模型的管道),資料會不會被拿去訓練、保留多久,規定不一樣,而且會改。

不能出門

改用跑在自己電腦上的模型。題目就變了:模型比較弱,每一塊拼圖要拆得更細、驗收要更嚴。

還有一個更前面的問題:這一千份文件,你自己拿得到嗎?是可以整批匯出,還是只能透過系統的介面、要申請授權才能取得?取得有沒有數量或頻率的限制?

不確定的時候,先用公開文件或自己編的假文件把整套流程練會,再回頭問公司。

環節二

05一頁一頁轉,不要一次丟

把上千份檔案一次交給 AI,它讀不完,通常也不會告訴你它沒讀完。它會照著讀到的一小部分,把剩下的補起來。夥伴看到的錯誤答案,多半是這樣來的。

通行的做法是把單位縮到「頁」:一頁進去,一份文字出來,每一份都標好它來自哪個檔案的第幾頁。這樣任何一頁錯了都找得到,也可以只重做那一頁。

今年主流的轉換方式,是讓看得懂圖的模型直接讀整頁畫面,輸出成有標題、有段落的純文字(Markdown);表格用 HTML 的表格寫法保留合併的格子。嚮導在課堂上說「聰明的模型直接讀圖」,和查到的方向一致。

一份針對企業文件的評測,比了十四種方法的五個面向,結論是沒有一種在每個面向都穩。所以要拿你自己最難的那幾頁來測。

環節三

06先分流:本來就有文字的,不要再辨識一次

不是每一頁都需要 AI 讀圖。文件檔本來就是文字;很多 PDF 也帶著一層可以直接選取的文字。這些直接把文字抽出來就好,又快,通常也不會認錯字。例外是有些掃描的 PDF 帶著一層以前辨識留下的文字,那一層本身可能就有錯字,所以抽出來之後要抽幾頁對一下原檔。

文件檔直接抽文字。不用模型。
有文字層的 PDF直接抽文字。表格和圖多的頁,再另外處理。
掃描的 PDF、圖片檔只有這些才交給模型讀圖。

分流這件事本身用工具做,不需要模型判斷。

環節四

07哪些用模型推理,哪些用工具

這是嚮導特別強調的一件事,也是成本的來源。系統做完之後,主機要錢,模型每推理一次要錢。每一步都先問:這一步需要「想」嗎?

這裡說的工具,是一支寫好就固定的小程式。可以請 AI 幫你寫;寫好之後每次執行都不用再問模型,所以不花推理的錢,同樣的輸入每次結果也一樣。

這一步用什麼為什麼
判斷檔案有沒有文字層工具規則固定,結果只有是或不是。
從文件檔抽文字工具文字本來就在,照抄出來。
讀掃描頁、讀表格和圖模型要看懂版面。這是全套裡最需要模型的地方。
在文字裡找關鍵字工具純文字比對,快,而且不用錢。
把一個大問題拆成幾個要查的小問題模型要理解問的人想知道什麼。
對答案、算命中率(該出現的那一頁,有出現的比例)工具數數字。交給模型反而會數錯。

嚮導的說法是分而治之:只有特定的環節讓模型加入,其他環節不需要,模型負責的範圍就縮小了,錯誤和花費也跟著縮小。

環節五

08查資料有三種做法,可以疊著用

關鍵字

在文字裡找一模一樣的字。文號、編號、人名、專有名詞,這種查法最準。不需要 AI。

關鍵字加語意

再加一路「意思相近也算」。問的字和文件裡的字不一樣時用得上。兩路的結果合起來排名,是今年最常見的建議。

讓模型自己去查

你問一個大問題,模型把它拆成幾個小問題,自己想關鍵字、自己查、看了結果再決定要不要換個字再查。

第三種改變了查資料的前提。以前要查得到,你得先對這批資料有一定的認識,知道該用哪個詞;不知道的時候就查不到,或是只查到一部分。現在可以讓模型先讀這批資料的專有名詞表,替你用對的詞去問。需要連續查好幾步才湊得出答案的問題,它也可以自己接著查。

2025 年 12 月有一份研究比過(文末來源的第五條):只給模型關鍵字搜尋這個工具,讓它反覆查,表現可以到傳統做法的九成以上,而且不用另外建一個語意資料庫。這是近似,不是超過;相關的研究樣本都不大。對自己動手做的人,意思是:先把關鍵字這一路做好,就已經能用。

第三種做法的模型,強的和弱的要注意的事不一樣,放在「四、兩種配置」講。

環節六

09兩份資料,加一個習慣

做出來的東西準不準,要拿一批文件來試才知道。拿哪些來試、每一份能看幾次,有通行的分法。

全世界講到資料怎麼分,用的是三個詞:訓練集、驗證集、測試集。這三個詞來自「訓練一個模型」的工作。這一題用的是現成的模型,所以對得上的只有後面兩個;另外從軟體測試借一個做法進來。四個詞放在一起看:

名稱英文拿來做什麼可以看幾次這一題有沒有
訓練集training set拿來教模型。模型的能力是從這一份學出來的。一直看沒有。這一題沒有在教模型。
開發集dev set;機器學習裡叫驗證集 validation set做的過程中反覆拿來試、看哪裡錯、調整做法。反覆看有
測試集test set做完才打開,量出在沒看過的資料上表現如何。理想上一次有
回歸題庫regression test suite每次改版重跑同一批題目,確認原本對的沒有被弄壞。每次改動都跑有,測試通過之後開始累積

所以是兩份資料:開發集、測試集。再加一個習慣:題目留下來,每次改動重跑。

環節六之一

10開發集和驗證集,是同一個位置的兩個名字

兩個詞指的是同一種資料:做的過程中可以反覆看的那一份。差別在說話的場合。

驗證集 validation set

比較老、比較窄的說法。訓練模型的人一邊訓練,一邊拿這一份來決定該訓練多久、哪一組設定比較好。它和「訓練」綁在一起。

開發集 dev set

比較寬的說法。只要是你邊做邊對照的資料都算,不管有沒有在訓練。調指令、換工具、改流程,都是對著開發集做。

這一題沒有在訓練,所以叫開發集比較貼切。你跟別人說驗證集,對方也聽得懂,指的是同一份。

要留意的是,中文的「驗證」聽起來像最後一關,容易以為驗證集是最後把關用的。不是。最後那一關用的是測試集。

環節六之二

11測試集:先定標準,再打開

開發集上全部做對,不代表做好了,因為你是看著它的答案調出來的。所以另外留一份從頭到尾沒看過的,做完才拿出來跑。這一份就是測試集。

  1. 打開之前,先把「怎樣算過」寫下來。例如:你最不能出錯的那種文件(怎麼分類見環節六之五),不可以出現原文沒有的內容。
  2. 跑一次,對照標準。
  3. 沒過的地方,一項一項決定:要修,還是知道了、先接受。接受的要寫下來,讓使用的人知道哪一種情況可能會錯。

沒有辦法用幾條標準把所有情況列完。測試集給你的是一個估計:這一類文件,大概有多少比例會出錯。題目太少,估計就不準:五題全對,分不出它是九成的實力,還是六成的實力加上運氣。

看過測試集哪裡錯、並且照著改了之後,這一份就等於變成開發集了。想再知道「沒看過的資料上表現如何」,要另外抽一批新的。

環節六之三

12回歸題庫:做過的題目不要丟

回歸測試(regression testing,也有人寫成「迴歸測試」)是軟體開發的做法。它只問一件事:這次改完之後,原本通過的題目,現在還通過嗎。回歸測試是這個動作,回歸題庫是它用的那批題目。

做法是每次改指令、換模型、加文件,都把同一批題目重跑一遍,成績不可以比上一版差。

升級的時候,除了回歸,還有另一件事要確認:新加的要求做到了沒有。2026 年做 AI 服務的人把回歸測試叫回歸評測,並且把題目分成兩疊來看:

回歸評測(regression evals)

以前做得到的,現在還做得到嗎。通過率應該接近全對。分數掉了,就是這次的改動弄壞了某個地方。

能力評測(capability evals)

這一版新加的要求,做到了嗎。剛開始本來就會有沒過的題目,分數往上走代表有進步。

新的要求穩定通過之後,那些題目就搬進回歸題庫,下一次升級換它們負責把關。題庫是這樣一版一版變大的。

回歸測試沒過,接下來才是人的決定:修好再上,或是退版(rollback),先回到上一版。回歸測試是檢查,退版是檢查之後的其中一種處理。

題庫從哪裡來:開發和測試的過程中,你已經累積了三樣東西。

題目

哪一頁、哪一個問題。

正確答案

人確認過的轉換結果,或該查到的那一頁。

判定標準

怎樣算對、怎樣算錯。

這三樣留下來,就是回歸題庫。之後每抓到一個新的錯,補一題進去,它會越用越完整。

做 skill 也是同一件事。skill 是寫給 AI 的一份做法說明,存起來,下次直接叫它照做。嚮導自己的經驗是:過去做 skill,常常是開發完、跑幾題新的、就繼續往下改版,少了回頭重跑舊題目這一步。開發過程留下的題目和答案,是最值得留的東西。

環節六之四

13那訓練集什麼時候會出現

大家對訓練集的理解是一致的:拿來教模型的資料。模型會什麼,是從它學出來的。

雲端的商用模型它的訓練資料對使用的人是黑盒子。有些模型會公開說明用過哪幾類資料;多數時候只能出題考它,從表現推測它大概學過什麼,沒辦法確定。
可以下載的模型可以拿自己的資料再教它一輪,行話叫微調。這時候訓練集就出現了:幾百到幾千頁「原始頁面加上正確文字」的配對。
從零做一個模型原理上可以,研究團隊就是這樣做出文件辨識模型的。但需要大量標好答案的資料和運算資源。一個人自己動手,實際可行的最小做法是微調現成的模型,不是從零開始。

這一題先不做訓練,原因有三個:

  1. 現成的模型讀文件已經相當好。先用指令和專有名詞表把它用到極限,比較便宜。
  2. 訓練集最貴的部分是「正確答案」,要人一頁一頁確認。剛開始做的時候,手上還沒有那麼多。
  3. 自己教過的模型,原本的模型出新版時要重來一次。

什麼時候值得考慮:開發集上有一種錯反覆出現,指令和名詞表都修不好,例如某一種特殊表單或手寫。而拼圖 4 做久了,人確認過的正確頁面會自然累積起來,那就是將來的訓練集。到時候要記得:拿去訓練的頁面,不能同時出現在測試集裡。

環節六之五

14兩份資料要挑哪些文件

開發集和測試集要從同樣的來源分層挑。嚮導建議挑這三類,查到的評測也是這樣沿著難度抽樣的:

最常見的

這批文件裡數量最多的那種樣子。

最不能錯的

最常被引用、最常被查的那幾種。

最難的

這批資料和一般文件不一樣的地方:掃描歪斜、跨頁的表格、手寫、蓋章、直排。用真實的例子。

再加一個維度:檔案格式。每一種格式都要抽到。成績是以「頁」為單位算的,挑的時候留意頁數夠不夠。

對照

15嚮導原本的想法,有兩處被查到的結果修正

這一段開頭說過,嚮導請 AI 查的時候交代:查到和他想的不一樣的,要照實列出來。有兩處。

HTML 不會比較快嚮導原本想把每頁做成 HTML,因為查 HTML 比較快。查到的是:快慢看的是有沒有建索引(像書後面的頁碼對照表),和格式無關。HTML 的用處在保留表格的樣子、給人看。存成純文字、表格用 HTML 寫法,是常見的折衷。
名字要挪一格嚮導原本想的是:研發時用訓練集,做完用驗證集,之後用測試集。這一題沒有在訓練模型;研發時反覆看的那一份是開發集(也就是驗證集),做完才打開的是測試集,之後每次改版重跑的是回歸題庫。見環節六。

另外查到一條嚮導沒有提到的路,也列在這裡:

不轉文字,直接比對畫面直接拿每一頁的畫面去比對,不經過轉文字。圖表多的時候表現好;代價是每頁要存的資料量大很多,而且有研究發現它遇到沒看過的文件類型時,不如轉文字那條路穩。當成備案,先不放進拼圖。

也有查完之後站得住的:嚮導說「只有轉換那一段需要 AI,後面查文字不需要」,查到的結果支持這個判斷,見環節五。

三、十一塊拼圖

一塊一塊做,每一塊都能驗收

前面的六個環節是觀念。這裡的十一塊拼圖,是把它們拆成做得出來的步驟,照動手的先後排,所以順序和環節不一樣:

環節一 資料能不能出門拼圖 0
環節二 一頁一頁轉拼圖 3、拼圖 4
環節三 先分流拼圖 2
環節四 模型還是工具每一塊都有,見總表「主要用什麼」那一欄
環節五 查資料的三種做法拼圖 5、拼圖 6、拼圖 9
環節六 兩份資料加一個習慣拼圖 1、拼圖 7、拼圖 8、拼圖 10

每一塊寫了輸入、過程、輸出、要準備的素材、怎樣算過關。做完一塊,可以請 AI 把這一塊的做法存成一份 skill,下次直接叫它照做。

關卡地圖

16不是一條龍:有三條線可以同時走

圓圈裡的數字是拼圖的編號,拼圖 3 就是拼圖 3。同一列裡用箭頭連的要照順序;轉換線、名詞線、題庫線這三條可以同時進行,也可以分給不同的人。

動手前要有兩樣東西:一個能替你寫程式、也能在你電腦上執行程式的 AI 工具;文件放在它讀得到的資料夾。拼圖 2、4、6、8、10 都會請它寫小程式。

第一關 準備拼圖 0 資料能不能出門 → 拼圖 1 挑樣本,分成兩份
第二關 三條線轉換線、名詞線、題庫線,可以同時進行。

轉換線

拼圖 2 分流 → 拼圖 3 單頁轉文字 → 拼圖 4 轉換驗收

名詞線

拼圖 5 專有名詞表

題庫線

拼圖 7 出題:問什麼,該查到哪一頁

第三關 接起來拼圖 6 索引與關鍵字查詢(需要 拼圖 4 和 拼圖 5) → 拼圖 8 查詢驗收(需要 拼圖 6 和 拼圖 7)
第四關 往上蓋拼圖 9 讓模型自己查,而且附出處 → 拼圖 10 回歸與上線

夥伴原本要的自動化測試,是拼圖 7 加拼圖 8,只是查的對象換成公司既有的系統。所以他不一定要做到拼圖 9。只想測既有系統的人,最短的路是拼圖 0、1、7、8:題目由人看著原文出。文件多到要請 AI 幫忙出題的時候,才需要先做拼圖 2 到 4,把文件變成正確的文字。

拼圖主要用什麼預估時間要等哪一塊用哪一份資料
拼圖 0 資料能不能出門人20 分無不用文件
拼圖 1 挑樣本,分成兩份人,AI 協助30 分拼圖 0產生開發集、測試集
拼圖 2 分流工具20 分拼圖 1開發集
拼圖 3 單頁轉文字模型40 分拼圖 2開發集
拼圖 4 轉換驗收工具,人看30 分拼圖 3開發集,再測試集
拼圖 5 專有名詞表人,AI 協助20 分拼圖 1開發集
拼圖 6 索引與關鍵字查詢工具30 分拼圖 4、拼圖 5開發集
拼圖 7 出題:問什麼,該查到哪一頁人,AI 協助30 分拼圖 1兩份各出一批
拼圖 8 查詢驗收工具20 分拼圖 6、拼圖 7開發集,再測試集
拼圖 9 讓模型自己查,而且附出處模型40 分拼圖 8開發集,再測試集
拼圖 10 回歸與上線工具,人決定30 分全部回歸題庫

預估時間是嚮導和 AI 初抓的數字,還沒有實際帶過一輪。它指的是文件已經在手上、順利的情況下至少要投入的時間;第一次做、或中途卡住,會比這個久。

拼圖 0

17拼圖 0 資料能不能出門

輸入文件的種類清單(只要類別,不用內容);公司現有的資訊安全規定,有多少算多少。
過程把文件分成幾級:可以公開的、只能內部看的、有個資或合約的。每一級寫下可以用哪一種 AI:都可以、只能用公司核准的方案、只能在自己電腦上跑。同時確認文件怎麼取得:整批匯出、透過介面、有沒有限制。
輸出一張分級表,加一個決定:這次走雲端路線,還是自己電腦的路線。
素材不需要任何真實文件。
過關這張表拿給主管或資訊單位看,對方說得出同意或不同意。

拼圖 1

18拼圖 1 挑樣本,分成兩份

輸入全部文件的清單:檔名、格式、頁數、類別。
過程照「最常見、最不能錯、最難」三類,各挑五份左右;每一種檔案格式都要有。挑好之後隨機分成兩份:開發集、測試集,每一類兩邊都要有。測試集另外放:可以看原文來出題、做正確答案,但在開發集過關之前,不拿它去跑、不看它的成績。
輸出兩個資料夾,加一張清單,記下每一份文件屬於哪一類、哪一份、為什麼挑它。
素材練習時用公開文件:政府機關公開的公文範本、公開的年報、產品說明書。想練「最難的」,把其中幾頁印出來再用手機拍,就是一份歪斜的掃描檔。
過關別人看你的清單,講得出每一類為什麼是這幾份。

拼圖 2

19拼圖 2 分流

輸入開發集的文件。
過程請 AI 寫一支小程式,逐檔逐頁檢查:這一頁有沒有可以直接抽出來的文字。有的抽出來存好;沒有的列進「要讀圖」的清單,並且一頁存成一張圖,檔名帶原檔名和頁碼。
輸出一張表:每個檔案的每一頁走哪一條路。加上已經抽好的文字,和「要讀圖」那些頁的圖檔。
素材同拼圖 1。
過關隨機抽十頁,人眼確認分對了;抽出來的文字也對一下原檔,確認不是亂碼。算得出「要讀圖」的頁數占多少,這個數字就是後面的花費。

拼圖 3

20拼圖 3 單頁轉文字

輸入「要讀圖」清單上的頁面,一頁一張圖。
過程一次只給模型一頁,請它照原樣轉成文字:標題、段落照順序,表格用表格的寫法,圖片寫一句它是什麼。看不清楚的字要標出來,不可以猜。每一份輸出的開頭記下檔名和頁碼。
輸出每一頁一個文字檔。
素材先用三頁試:一頁純文字、一頁有表格、一頁最難的。
過關三頁人眼對過,表格的格子沒有錯位。同一頁跑兩次,結果大致一樣。

可以直接貼的一段:

附件是一份文件的其中一頁。請把這一頁照原樣轉成 Markdown。

規則:
1. 照閱讀順序。標題用 #,段落之間空一行。
2. 表格用 HTML 的 table 寫,合併的格子要保留。
3. 圖片、印章、簽名不要描述細節,各寫一行,例如[圖:組織架構圖][印章]。
4. 看不清楚的字用[?]標出來,不要猜。
5. 這一頁沒有的內容不要補。不要摘要,不要改寫。

最後另外列出:你標了幾個[?],各在哪一段。

拼圖 4

21拼圖 4 轉換驗收

輸入拼圖 2、3 的輸出;人工確認過的正確版本(先做十頁就好)。
過程用程式逐頁比對,算出差多少字。把錯誤分類:認錯字、漏段落、順序亂、表格錯位、多出原文沒有的內容。每一類數出來。
輸出一張成績表:每一類文件、每一種錯誤各幾個。
素材十頁的正確版本要人做。可以先讓模型轉、人再改,比從頭打快。測試集也要另外做幾頁正確版本;做的時候只看原文,不看這套流程轉出來的結果。
過關你自己先定標準,例如「最不能錯」那一類不可以有多出來的內容。開發集調到過了,再打開測試集跑一次。兩份成績差很多,代表是對著答案調出來的,要回頭。測試集沒過的地方,照環節六之二決定要修還是先接受。

拼圖 5

22拼圖 5 專有名詞表

輸入開發集的文件;你自己知道的行話、簡稱、編號規則。
過程列出這批文件裡的專有名詞:正式寫法、常見的別稱、容易認錯的寫法。請 AI 直接讀原檔先撈一輪候選(已經做完拼圖 2 的話,用抽好的文字更快),人來確認。
輸出一張表,一行一個詞:正式寫法、別稱、常見錯字。
素材不用等轉換做完,手上有文件就能開始。
過關第一版:別人拿著表去翻三份文件,找不到表上沒有的行話。拼圖 4 做完之後再對一次它的「認錯字」清單,把漏掉的專有名詞補進去。

這和課堂上的錯字勘誤表是同一招:逐字稿錯字太多:做一張錯字勘誤表。這張表後面會用兩次:修正轉換的錯字,以及讓模型查資料時用對的詞。

拼圖 6

23拼圖 6 索引與關鍵字查詢

輸入通過驗收的每頁文字;專有名詞表。
過程請 AI 寫一支小工具,把所有頁面的文字建成索引。輸入一個詞,回傳出現這個詞的頁面,照相關程度排。查的時候把專有名詞的別稱一起帶進去查。
輸出一個查詢工具。每一筆結果有:檔名、頁碼、前後幾行文字、一個打開原始檔那一頁的連結。
素材拼圖 2、3 轉出來、通過拼圖 4 驗收的文字。
過關查一個只出現在某一頁的編號,第一筆就是那一頁,點連結打得開原檔的那一頁。

工具寫好之後,每次查詢都不需要模型,在自己的電腦上就能跑。需要「意思相近也算」的時候,可以再加環節五說的語意那一路;這一篇先不展開,先做拼圖 9 看夠不夠。

拼圖 7

24拼圖 7 出題:問什麼,該查到哪一頁

輸入開發集和測試集的文件;實際會來查的人平常怎麼問(問得到最好)。
過程每一題寫三樣:問題、該查到的檔案和頁碼、這是哪一種問題。問題分四種,每一種都要有:查編號的、查關鍵字的、用自己的話問的、要看兩頁以上才答得出來的。可以請 AI 讀一頁出三題,人來刪改。兩份各出一批,分開存。測試集的題目出完先不要拿去試。
輸出兩份題庫。開發集的那份先做三十題;測試集的那份,四種問題每一種至少五題。
素材只需要樣本原文和人的判斷,不用等轉換做完。
過關找一個沒看過題庫的人,拿著題目去翻原文件,找得到你標的那一頁。

夥伴在課堂上說想做的「替每份文件產生關鍵字」,就是這一塊。差別在於一頁一頁出、每一題都標好答案在哪、人看過。

拼圖 8

25拼圖 8 查詢驗收

輸入拼圖 6 的查詢工具(或公司既有的系統);拼圖 7 的題庫。
過程用程式把每一題丟進去查,看該出現的那一頁有沒有出現在前五筆。四種問題分開算命中率。沒命中的題目逐題看:是轉換時字就錯了、是用詞不一樣、還是題目出得不好。
輸出一張成績表,加一份沒命中的清單,每一題標上原因。
素材前面的產出。
過關查編號和查關鍵字的兩種要接近全對。原因是「字錯了」的回拼圖 3、5;是「用詞不一樣」的,就是做拼圖 9 的理由。

總平均會把弱的那一種蓋掉,所以四種一定要分開算。

拼圖 9

26拼圖 9 讓模型自己查,而且附出處

輸入查詢工具;專有名詞表;題庫裡「用自己的話問」和「要看兩頁以上」的那兩種題目。
過程在你用的 AI 工具裡,讓它可以執行拼圖 6 的查詢程式(請它先讀那支程式怎麼用),再把下面那段話和專有名詞表一起交給它。它收到問題後:拆成幾個要查的小問題、對照名詞表選關鍵字、去查、讀結果、不夠就換字再查,最後回答。回答的每一句都要標出處的檔名和頁碼。查不到就說查不到。
輸出一個可以問問題的助手。每次回答附上它查了哪些字、看了哪幾頁。
素材前面的產出。
過關三件事分開看:它引用的頁碼真的有那句話;題庫裡該看的頁它有看到;故意問一題文件裡沒有的,它回答查不到。

可以直接貼的一段:

你是這批文件的查詢助手。你只有一個工具:關鍵字查詢,會回傳檔名、頁碼和那一頁的文字。

收到問題後照這個順序做:
1. 把問題拆成一到四個要查的小問題,列出來。
2. 每個小問題,先對照專有名詞表,選出要查的關鍵字。別稱也要查。
3. 查。讀回傳的文字。不夠就換關鍵字再查,最多三輪。
4. 只根據查到的文字回答。每一句後面標[檔名,第幾頁]。
5. 查不到,或查到的內容不足以回答,就直接說查不到,並列出你試過哪些關鍵字。不可以用你原本知道的事來補。

回答的最後,列出這次查過的所有關鍵字和看過的頁。

專有名詞表:
[把拼圖 5 做好的表貼在這裡]

拼圖 10

27拼圖 10 回歸與上線

輸入全部的拼圖;前面累積下來的題目、正確答案、判定標準。
過程把拼圖 4、8、9 的驗收串成一個指令,一次跑完、印出成績。開發集和測試集的題目合起來,就是第一版的回歸題庫;跑一次,記下成績當基準。之後每次改指令、換模型、加新文件,都重跑,和基準比。每抓到一個新的錯,補一題進去。新加的要求另外出一批題,穩定通過之後併進回歸題庫。同時算一次帳:轉一頁多少錢、問一題多少錢、全部轉完多少錢。
輸出一個驗收指令、一份回歸題庫、一份基準成績、一張花費表。
素材前面每一塊留下來的題目和答案。
過關故意把轉換的指令改壞一句,重跑,成績表要看得出來變差了。

四、兩種配置

模型聰明不聰明,拼法不一樣

研發和上線

28做的時候求品質,要上線了才省錢

嚮導的做法分兩個階段。

研發的時候

樣本只有幾十份,花不了多少錢。用手邊最好的模型,目的是確認:以現在的技術和資源,每一塊拼圖最好能做到什麼程度。

上線之前

知道每一塊做得到什麼之後,再設計正式的架構:哪幾塊換成便宜的模型或工具、文件多久更新一次、誰維護、壞了怎麼發現。每換一塊,用拼圖 10 重跑,看成績掉了多少。

兩種極端

29同一張地圖,兩種走法

資料可以出門,用很聰明的雲端模型資料不能出門,只能用自己電腦上的模型
拼圖 3 轉文字一段指令就能處理大多數頁面。有專門做文件辨識的小模型可以在自己的電腦上跑。表格和難的頁要另外處理,人工抽查要多。
拼圖 5 名詞表有幫助。更重要。弱的模型更需要你告訴它正確的詞。
拼圖 9 自己查可以把拆問題、選字、回答交給同一個模型。拆成更小的步驟,一步只做一件事。或者先停在拼圖 6,由人自己下關鍵字。
測試與回歸一樣要做。一樣要做,而且門檻不能降。
花費照用量付費。不用付模型的錢,付的是時間和電腦。

自己電腦上跑得動哪些模型、中文的表現如何,各家的說法不一,而且每幾個月就變。用拼圖 4 拿自己的文件測,比看排行榜可靠。

強的模型和弱的模型

30讓模型查資料時,各自要留意的事

嚮導的看法:在一大批資料裡探索、跨好幾個面向一起想、把複雜的數字交叉計算,這幾件事人做起來吃力,模型相對拿手,強的弱的都是。差別在編造的機率和好不好控制。

強的模型

編造的機率比較低,也比較聽得懂規則。可以給它比較完整的任務。還是要它附出處,還是要抽查。

弱的模型

編造的機率比較高。任務切小,一次一件;規則少而明確;回答只准引用查到的文字;查不到就說查不到。每次把「原本的問題、它改寫成什麼、查到哪幾頁」記下來,出錯時才分得出是哪一步。

帶得走的東西

一個整體做不出來的時候,拆成能驗收的拼圖。

每一塊問三件事:進來什麼、出去什麼、怎樣算過關。

之後上課可以一次做一塊。想先動手的夥伴,做完拼圖 0 之後,拼圖 1 和拼圖 5 就能開始。還沒問過公司的,先用公開文件練。

留言

CYC 看過才會公開。

還沒有公開的留言。

看其他教材

留言