公司文件不能丟雲端:用地端模型,先讓 AI 盤點你的電腦
「公司的內控文件很想請 AI 幫忙,可是資料不能外流。有辦法嗎?」夥伴的提問
把模型下載到自己電腦上跑,資料就不會送到別人的伺服器;別人架在主機上的模型不算。動手前先請 AI 檢查你電腦的晶片、記憶體、GPU、硬碟和系統,做一份網頁報告,看跑得動哪些模型。附盤點的指令和查過的模型資料。
有夥伴在公司要處理內控文件,一份常常二三十頁,改起來很花時間,很想請 AI 幫忙;可是這些資料不能外流。嚮導的答案是:用地端模型,而且先讓 AI 盤點你的電腦跑不跑得動。
先講名詞
01內控文件、地端模型、駕馭框架
內控文件
公司內部規定大家怎麼做事的文件:標準流程、作業規範、表單。規模大一點的公司會分好幾階,大家做事要照著走。
地端模型
把 AI 模型下載到你自己的電腦上跑。你的文件交給它讀,不會送到別人的伺服器。
駕馭框架
套在模型外面的那一層,讓模型能讀你的檔案、跟你對話。這一篇會提到的 Pi,就是一個可以接地端模型的駕馭框架。介紹在 駕馭框架是什麼。
平常在網頁上用的 ChatGPT、Claude、Gemini,模型都在那一家的雲端。你貼進去的內容,會送到那一家去。這一篇講的是另一條路:模型就在你自己的電腦裡。
嚮導的回答
02三件事
他也提到:法規和內控文件不是難,是複雜,人讀起來很花時間。AI 可以幫的,就是這一段。
什麼算地端,什麼不算
03模型在誰的電腦上
是地端
模型下載到你的電腦裡。嚮導的說法:下載好之後,就算沒有連上網路,模型一樣可以用。模型本身不會把你的資料送出去;可是你搭的駕馭框架或外掛如果會連網(例如幫你上網查資料),還是要確認它送了什麼出去。拿不準,就請 AI 幫你查那個框架的設定。
不是地端
網路上也有人把開放的模型架在自己的主機上,讓你連過去問。模型名字一樣,可是你的資料等於傳到那台主機上了。
所以判斷的方法很簡單:模型跑在誰的電腦上,你的資料就到了誰那裡。
課堂上的示範
先讓 AI 盤點你的電腦
為什麼要先盤點
04不是每台電腦都跑得動
地端模型很吃電腦的規格。嚮導列了會影響的幾樣:
- 晶片:同樣是 Mac,不同晶片適合的模型不一樣。
- 記憶體:模型越大,要的記憶體越多。
- GPU(顯示晶片)的等級。
- 硬碟還剩多少空間:模型檔案動輒十幾、二十 GB。
- 作業系統的版本。
這些自己查很麻煩,可以請 AI 查。嚮導當場示範的是:在終端機(打指令的視窗)裡叫出一個 AI,請它先檢查電腦,再做一份網頁報告。
盤點這一步用的是一般的 AI,它只看你電腦的規格。這一步不要給它任何公司文件。
可以直接貼的一段
05請 AI 盤點,再做一份 HTML 報告
要用能在你電腦上執行指令的 AI,例如 Claude Code、Codex、Gemini CLI。這一段照嚮導課堂上的意思整理,不是原話。HTML 是網頁的檔案格式,用瀏覽器打開就能看。
我想在自己的電腦上跑地端模型,用來讀公司的內部文件,資料不能送到雲端。 我考慮的模型:(例如:Gemma 4、Qwen) 我考慮的駕馭框架:(例如:Pi) 在你推薦之前,請先幫我做一件事: 檢查我這台電腦的硬體和系統,包括晶片、記憶體、GPU、剩餘的硬碟空間、作業系統版本。 只讀取資訊,不要安裝或修改任何東西。 然後幫我做一份繁體中文的 HTML 報告,寫: 1. 我的電腦規格 2. 這台電腦跑得動哪些地端模型、哪些跑不動,為什麼 3. 推薦的模型大小和駕馭框架 4. 每一個推薦都附上官方網頁的來源;查不到的直接寫查不到
它可能會先問你能不能執行某些指令。看一下它要做的是「讀取」還是「安裝」,只讀取的再同意。做完之後,請它告訴你報告存在哪裡,用瀏覽器打開。
課堂上它盤點出來的
06一台 24 GB 記憶體的 Mac
嚮導的電腦盤點結果是:Apple M4 晶片(10 核 CPU、10 核 GPU)、24 GB 記憶體、硬碟大約還有兩百 GB 可以用,而且已經裝好 Ollama(在自己電腦上下載、執行模型的工具)和 Pi。
有一個小地方值得看:它在報告裡說,下一步要先確認嚮導講的「Pi」是哪一個,免得跟別的同名工具搞混。名字一樣的工具很多,AI 先確認再推薦,是好習慣;它沒有主動確認的話,你可以請它確認。
課堂上時間有限,盤點到這裡就先停。嚮導本來還想接著示範在地端模型上實際對話,當場沒有開起來,說好下一次再展示。
嚮導的經驗,加上查證
07課堂上提到的模型,自己的電腦裝不裝得下
嚮導提到兩個可以考慮的模型系列:Google 的 Gemma 4,和阿里雲的 Qwen。
- Gemma 4:Google 官方的發佈紀錄寫,2026 年 3 月 31 日推出 E2B、E4B、31B、26B A4B 幾種大小,6 月 3 日再加上 12B。後面帶 B 的數字大致代表模型的大小,數字越大,要的記憶體越多;E、A 這些標示是 Google 自己的分法,想知道意思,請 AI 查官方說明給你看。
- Qwen:阿里雲做的模型系列,它的 GitHub 組織頁寫的是「阿里雲的通用 AI 模型」。版本和大小更新得很快,用之前請 AI 查它官方頁面上最新的。
嚮導的經驗:他那台 24 GB 記憶體的 Mac,跑不動 Gemma 4 的 31B,大概只能到 26B(官方寫作 26B A4B)。記憶體除了放模型,系統和其他程式也要用,所以模型檔案比記憶體小,不代表跑得動。所以還是要以自己電腦的規格來看,這就是要先盤點的原因。
模型的大小和推出日期,是 2026 年 10 月 27 日看 Google 的 Gemma 發佈紀錄和 Qwen 的 GitHub 組織頁。Ollama 的模型頁上 Gemma 4 31B 的下載檔大約 19 到 20 GB。哪一種一定跑得動,沒有一個簡單的公式,請 AI 照你的電腦算,裝了再試。
在公司要注意的
08公司電腦能不能裝,先問公司
很多公司的電腦不能自己裝軟體,對外連線也有管制。地端模型下載好之後不用連網也能用,可是「下載」和「安裝」這兩步,還是要照公司的規定走。
所以你可以先在自己的電腦上,用不機密的文件練習整個流程:盤點、裝模型、裝框架、讓它讀一份公開的法規。裝模型和裝框架這兩步,可以請同一個 AI 照報告裡的推薦一步一步帶你,每一步做什麼先講給你聽再動手。熟了之後,再帶著做好的盤點報告去問公司負責資訊的同事,能不能在公司的電腦上這樣做。
地端模型也會讀錯、會漏。內控文件是要大家照著做的東西,它幫你整理、比對出來的結果,要自己對回原文再用。
帶得走的東西
模型在誰的電腦上,資料就到誰那裡。
資料不能外流,就用地端模型。動手之前,先請 AI 盤點你的電腦,做一份看得懂的報告。
這一篇查過的資料
09來源
- Gemma releasesGoogle 官方。Gemma 4 各種大小的推出日期。
- QwenLMQwen 的 GitHub 組織頁。
- Ollama:gemma4Ollama 官方模型頁。各種大小的下載檔大小。
- PiPi 官方網站。支援的模型來源裡列了 Ollama。
同一堂課的上一篇:邊錄邊轉:每一小段先轉成文字,按停就幾乎做完。下一篇:第一次開 Codex:先叫它講繁體中文,再請它記住。
留言
CYC 看過才會公開。
還沒有公開的留言。