Node.js 如何分段上傳訓練素材,並管理儲存期限
大型訓練圖片上傳到一半中斷時,檔案可能已經存好,資料庫卻沒有紀錄,之後也難以確認何時該刪除。作者示範用 Node.js 分段上傳,先建立待處理紀錄,再儲存上傳編號,等檔案完成後才更新狀態;工作程式重新啟動後,也能依紀錄接著處理或放棄未完成的上傳。文章提醒,儲存期限和上傳工作期限是兩件事,必須分開管理;要定期找出並中止沒完成的上傳。
大型訓練圖片上傳到一半中斷時,檔案可能已經存好,資料庫卻沒有紀錄,之後也難以確認何時該刪除。作者示範用 Node.js 分段上傳,先建立待處理紀錄,再儲存上傳編號,等檔案完成後才更新狀態;工作程式重新啟動後,也能依紀錄接著處理或放棄未完成的上傳。文章提醒,儲存期限和上傳工作期限是兩件事,必須分開管理;要定期找出並中止沒完成的上傳。
金融服務儲存使用者的私密圖片時,光是把檔案上傳成功還不夠,還得避免未授權的人下載或新檔蓋掉舊檔。文章示範用 Node.js 和 Sharp 在上傳前縮小圖片並轉成 WebP,再以私有許可權和固定的重試識別碼寫入雲端;應用程式要先確認使用者有權檢視,再發出限時下載連結。作者也提醒,儲存服務不一定有版本還原、不可變更儲存或短於一天的期限設定;若這些功能是必要條件,就要選擇能提供它們的儲存服務。
AI 助理可能回答錯誤、花費過高或繞遠路,但一般監控顯示服務正常,團隊就不容易找到原因。Dynatrace 完成收購 Arize 後,文章整理 AI 可觀測性如何串起模型呼叫、資料檢索、工具使用、服務狀況與業務結果;文中也說明 Arize AX 和 Dynatrace 平臺仍分開提供,Phoenix 仍是開源專案,整合時程尚未公佈。實作上可從原型階段開始記錄追蹤資料,用 OpenTelemetry 建立評估,再把正式環境中答得不好的案例加入測試,持續檢查品質變化。
Node.js 能同時處理很多請求,但 JavaScript 通常仍在單一主執行緒上執行;如果這個執行緒忙著做大量計算,其他請求也可能卡住。文章用事件迴圈、libuv 和 async/await 說明背後的運作方式:等待檔案或網路回應時,主執行緒可以處理其他工作;await 會暫停目前的非同步函式,不會自動把同步計算移到別處。作者也用伺服器端點示範,CPU 密集工作執行時,連一般請求都會變慢,並介紹 Worker Threads、背景工作者及資料庫交易等處理方式。
設定檔看起來正確,網站實際送出的內容卻可能不同;作者用 curl 檢查自己的 Next.js 靜態網站,發現 Firebase Hosting 把頁面設成快取一小時,而圖片和圖示則可能被快取一年。另一個問題是網站地圖、結構化資料和 llms.txt 裡的文章網址少了結尾斜線,造訪時會先轉址。作者建議把網址格式集中在同一處管理,並在部署後檢查實際回應,確認設定真的生效。
寫文章時,有時會漏掉太長的句子或太難懂的字。這個免費 API 只要送出一次 HTTP GET,就會回傳 JSON 報告,列出文字的易讀程度、句子長度、較複雜或多餘的字,以及整體分數。像是把文章裡的「utilize」改成比較簡單的「use」,或縮短第 3 句;分數介於 0 到 100,也能用易讀程度等級和具體建議,幫忙檢查檔案、網頁文案或部落格草稿。
同一個工作交給不同模型,答案和費用可能差很多,光看基準分數不一定知道哪個適合自己的工作。作者整理 GPT-6.2 Astra 和 GPT-6.2 Sol 的價格與基準資料,並提供 .NET 10 範例,讓兩款模型用相同設定處理三種工作,再比較答案、花費和時間。文中轉述的測試顯示,Astra 在部分多步驟與資安相關基準較高;在一項程式開發基準中,兩者分數接近,但 Astra 每項工作估計花費較高。這些是廠商提供或轉述的測試結果,作者建議用自己的工作資料評估,再決定部署哪款模型。
LLM 聊天機器人有時第一個字等很久,有時同時使用的人一多,GPU 記憶體就不夠;這兩種情況的原因不同。文章說明,模型會先一次讀完提示詞,再一個 token 接一個 token 寫出答案,所以提示詞太長會拖慢第一個字,答案太長則會讓整段回覆等更久。為了不用每次都重讀前文,模型會把已讀內容的簡短記錄存進 GPU 記憶體;聊天越長、同時進行的聊天越多,記錄就越佔空間。作者用假設數字示範容量估算,並提醒這些數字不是實測;要減少等待或容納更多人,可縮短提示詞、答案或同時進行的聊天,也可使用記憶體較大的 GPU。
我原以為筆電的 8 GB VRAM 會先卡住本機生圖,實際測試時,16 GB 系統記憶體也成了限制。這次用 ComfyUI 跑了 126 次生圖,其中 13 次出錯;使用兩個 ControlNet 的流程曾當機,但原因還沒查清楚。部分慢速紀錄被認為可能和 Windows 把資料暫存到硬碟有關,現有資料卻無法證明是它造成延遲。 例如,使用 IPAdapter 和 OpenPose 的流程,中位數花了 51 秒,系統記憶體讀值達 16.0 GB。作者因此建議,這臺筆電每張流程圖最多用一個 ControlNet,並替系統記憶體留空間;這是這次實驗的實用做法,不代表其他電腦也一定跑不了更多。看 GPU 記憶體還不夠,也要留意整臺電腦的記憶體和工作負載。
使用者註冊 SaaS 後,如果得等電子郵件才能繼續,郵件延遲或寄不到就可能讓人以為產品壞了。作者分享一種做法:帳號建立後,先讓使用者在產品裡開始使用,再由佇列處理歡迎信、驗證信和提醒。系統分開記錄帳號已建立、產品功能已可使用,以及郵件已排入寄送等狀態;郵件寄出也不代表使用者已收到或讀過。遇到暫時性錯誤可以重試,地址無效等問題則不該一直重寄。這樣能避免重複寄信,也方便查明延遲原因。
把應用程式搬到新的 Kubernetes 叢集時,Pod 都顯示正常,使用者還是可能連不上服務,資料也可能沒跟著搬過去。作者分享把工作負載從 GKE 搬到 DigitalOcean Kubernetes 的經驗,建議先確認新叢集有足夠資源、儲存設定和入口路由,再用真實網域測試登入、資料庫操作等使用流程,最後才切換 DNS。DNS 更新後,舊叢集也要先留著;如果有資料要搬,還得先安排同步、備份或還原方式,並訂好出問題時如何回復。
正式環境的 Docker 容器若裝了編譯器、套件管理工具和除錯工具,映像檔會變大,也多了需要檢查與維護的專案。文章示範多階段建置:先在一個階段編譯程式,再把執行程式需要的檔案放進精簡映像檔,讓編譯工具和原始碼不留在最後的容器裡。作者也建議依程式選用較小的基礎映像檔、避免把不需要的工具放進正式環境,並將上傳檔案、資料庫檔案和記錄存到容器外。這些做法能減少映像檔內容,讓部署和維護更省事。
地圖程式通常要配合不同引擎修改,平面地圖和 3D 地球也常是兩套系統。退休工程師 Kenji Yoshida 做了 Ortho Earth,讓 MapLibre GL JS 和 CesiumJS 的程式只要更換匯入方式就能執行,地圖則一直保持球面;需要平面圖時,可切換成保留各國面積比例的 Equal Earth。作者比對官方範例,MapLibre GL JS 的 137 個範例都能執行,CesiumJS 的 304 個範例也都能執行,但部分畫面和答案與原引擎不同。Ortho Earth 以 WebGPU 繪圖,無法使用時會改用 WebGL2;它也提供 MCP 伺服器,讓 AI 助理查詢檔案與範例測試結果。
AI 助理能很快寫出第一版程式,但不同次產出的程式可能不一樣,也未必符合組織的開發標準,後續維護和交接就成了難題。Dongbum Lee 把解法稱為 SDLC Harness:先把組織的標準放進開發流程,再用檢查關卡確認每個階段都有照著做;工程師和 AI 助理累積的經驗,也會留下來供後續工作參考。這套開源工具涵蓋從需求到回顧的十個階段,若檢查未通過,工作會退回修正再檢查。作者認為,讓 AI 寫程式更容易融入組織,關鍵在於準備好自己的標準和流程。
單一資料中心的電力、散熱和空間可能不夠容納大型 AI 叢集,因此研究者提出 scale-across,讓不同建築、園區甚至不同地區的資料中心連在一起。它和機房內連線加速器、資料中心內連線機櫃的網路分工不同,目標是讓多個場址共同支援運算。Google 已提出面向整個園區的 Virgo 網路架構,Cisco 和 Marvell 也在開發相關技術。跨場址連線仍會遇到傳輸延遲、壅塞和封包遺失;AI 訓練需要加速器頻繁交換資料,延遲可能拖慢整個叢集,所以規劃時不能只看網路速度,也要一併考慮網路路徑和通訊方式。
測試雲端服務時,光確認 API 回應正常,還不代表資料真的有存進去或警示真的送出。作者用 NestJS 和 AWS Emulator 做了一套本機遙測 API:收到 CPU 與記憶體數值後,更新 DynamoDB 的最新狀態、把每筆資料存到 S3,並在 CPU 使用率達到 80% 時送出 SQS 警示。文章也說明如何啟動模擬服務、送出資料和檢查結果。自動化測試只驗證 API 的部分行為,沒有測到 AWS SDK 操作或警示門檻;這些整合流程是另外手動確認的。
房源狀態或價格改了,搜尋結果卻還留著舊資料,會讓找房的人看到已售出的房子,或漏掉降價資訊。作者分享一套增量更新做法:每筆房源都有版本,系統只接受較新的版本;重複送來的更新可以安全重做,定期比對也能找回漏掉的資料。房價改動時可只更新價格欄位,文字沒變就不必重算向量。至於一筆房源要切成多大的文欄位落,作者建議用實際查詢測試相關性和更新速度,再依目標選擇。
團隊變大後,大家不再能靠口頭聊一聊就同步,常會有人重複做同一件事,或不知道該由誰決定。文章建議把合作方式寫清楚:每個團隊要達成什麼、誰能做哪些決定、怎麼瞭解客戶需求,以及如何檢查成果。比方說,團隊定期一起看目標和客戶回饋,就能早點發現兩組人正在做相似的功能。公司可以依照團隊大小逐步補上這些做法,也不必照抄別家公司的模式;重點是讓每個人知道方向、看得到需要的資料,也清楚誰該負責。
Java 程式會累積不再需要的資料,清理時若暫停太久,使用者就可能遇到畫面卡住。G1 分批整理記憶體,停頓通常是幾十毫秒;ZGC 則趁程式繼續運作時搬動資料,把停頓壓到 1 毫秒以下,但會多花 CPU,也需要多留約 15% 到 30% 的記憶體空間。 例如,小型服務用 G1 通常就夠了;大型記憶體索引或不能忍受卡頓的結帳服務,可能更適合 ZGC。兩者都會清掉不需要的資料,差別在於:G1 偶爾停下來整理,ZGC 則讓程式一直多做一點事。
兩臺伺服器傳小訊息時,Kernel TCP 會讓資料經過作業系統,過程中需要複製資料,也會佔用 CPU;RDMA 則能讓網絡卡直接把資料寫進接收端的記憶體。文章比較這兩種傳法:快速區域網路上,Kernel TCP 傳一次來回通常要數十微秒,RDMA 寫入則可不到 2 微秒。 例如,儲存系統要處理大量小型讀取時,RDMA 能減少網路工作佔用的 CPU,讓延遲在忙碌時更穩定。不過它需要支援 RDMA 的網絡卡、設定妥當的網路裝置,以及不能被換出的記憶體;因此適合能掌控整個資料中心網路、而且訊息量很大的工作。一般用途則用 Kernel TCP 就好,等確認網路處理真的拖慢系統,再考慮改用 RDMA。
程式要放到伺服器上執行,可以用 Containers 打包作業系統和程式,也可以用 WebAssembly Components 打包編譯好的程式碼,並清楚列出它需要哪些功能。Containers 能讓舊程式少改一點就搬到新環境,但檔案通常比較大,啟動也較慢;WebAssembly Components 通常只有幾 KB 到幾 MB,能在不到 10 毫秒內啟動,不過只能使用主機明確提供的功能。 例如,從不熟悉的來源下載外掛時,WebAssembly Components 可以限制它讀取哪些資料,讓它比較不容易碰到其他程式的內容;但舊外掛可能得修改才能使用。若要搬動既有程式,Containers 通常比較方便;若能掌控程式碼,也想要快速啟動和明確的安全限制,WebAssembly Components 會更合適。
AI 客服有時會承諾公司沒答應的退款、引用不存在的規定,或把別人的訂單資料回給客人。作者整理出 6 個實際案例,發現多半是資料沒整理好、規則互相打架,或系統漏看了重要資訊。像是客服和客人來回談了 25 次,退款承諾藏在訊息中間,AI 沒找出來;後來先把對話整理成附有來源和日期的重點,輸入資料也從 37,604 個 tokens 減到 4,722 個,回覆才答對。 改善方法包括:資料沒有提到的內容就不要硬寫、提供目前日期、檢查訂單編號的辨識方式、每次回覆前先查常見問答,並針對最新一封信重新產生自動回覆。這些做法提醒我們,AI 答錯時,先找它缺了什麼資料或用了什麼錯誤規則,通常比只叫它「小心一點」更有用。
做新產品時,團隊常急著寫程式、加功能,結果花了好幾週做出來的畫面,使用者根本很少用。比較好的做法是先挑出一件最常卡住的工作,訂出怎樣才算真的有幫助,例如使用者能不能反覆完成任務,或能不能省下時間,再做出一小段完整流程給人試用。 試用後,觀察大家在哪裡停下來、改用手動處理,或常常來問問題,再先修最卡的地方。若流程有 AI,也要先想好它能處理哪些資料、沒把握時怎麼轉交給人。等確認大家真的需要這套流程,再投入更多時間做完整軟體;這樣比較不容易把力氣花在沒人需要的功能上。
llama.cpp 載入 Inkling2 模型時,會先複製專家層的資料,之後才載入額外的尺度資料,導致後續運算使用 NVFP4 專家層時少了每個專家需要的尺度資料。這次修改新增一個載入後的處理步驟,等尺度資料也載入後再分享專家層資料,讓後續運算拿得到完整資訊。
SaaS 報表如果存在應用程式伺服器上,大檔案同時被下載時,可能塞滿伺服器硬碟,還佔住處理網頁請求的資源。文章建議讓背景工作程式先產生報表、存進物件儲存,再提供限時簽名連結,讓瀏覽器直接下載。像是 900 MB 的報表,就不必一路經過應用程式伺服器;但連結本身不負責確認使用者能不能看報表,還是要由資料庫先檢查許可權。每份檔案也應有不同版本名稱,避免重做報表時蓋掉舊檔。這種做法能減少伺服器負擔,但檔案保留多久、何時刪除,以及資料存在哪個地區,仍要事先安排。
WordPress 網站常被機器人亂試密碼;如果等 WordPress 裡的安全外掛擋下來,PHP 和資料庫早已開始忙碌。這篇教學示範在 Hubfly space 的網站入口加上三道防護:先用登入限制保護還沒裝好的網站,再擋掉 WordPress 通常不需要公開的檔案,最後限制同一個 IP 短時間能送出的請求。 例如,擋住 xmlrpc.php 能堵住一次送出多次密碼猜測的路,但不能阻止機器人改打 wp-login.php,所以還要搭配每個 IP 的流量限制和登入防猜密碼外掛。設定完成後,擋下的請求會在送進 WordPress 前被回絕,減少網站白忙一場;不過,若網站有用 Jetpack 等依賴 xmlrpc.php 的工具,就得先確認是否會受影響。
想免費架一個完整網站,常遇到前端、API 和資料庫各要找不同服務,還可能突然睡著、用量提早用完,甚至把資料刪掉。這份指南整理各平臺的免費限制:像 Render 每個工作區每月有 750 小時,足夠讓一個服務整月運作;Neon Free 有 1 GB 空間,但運算時間用完就會停。Render 的免費 Postgres 則會在建立 30 天後到期,寬限期過後資料會被刪除。 如果網站只是作品集或小型專案,可以讓前端照常顯示,API 睡著時再等它醒來,資料則放在會暫停、但不會到期的資料庫。若服務必須整天馬上回應,就要準備每月約 $2–$5 的小型主機費用。選免費方案前,先算清楚每月能用多久,以及資料庫會暫停還是到期,才不會在有人來用時網站停擺。
同一個區域的模型端點出錯時,請求可能排隊或失敗;但只是回答變慢時,切換區域也不一定有幫助。SageMaker AI 推論路由器會檢視近期請求結果,遇到平臺故障、5xx 錯誤、流量限制或逾時,就逐步把新請求送往其他已登記的端點;單純回應慢則不會切換。Salesforce 的測試中,本地端點開始回報錯誤後,約 2 分鐘有請求轉到另一個區域,接著 1 分鐘內約 78% 的探測流量移過去。團隊仍須準備各區域的模型和容量,並設定接收流量上限,避免故障擴大。
網站憑證明明更新成功,Outlook 卻仍跳出警告,原因可能是郵件名稱沒有寫進憑證。作者追查後發現,郵件名稱直接連到伺服器,而防火牆只讓 Cloudflare 的流量通過;AutoSSL 用 HTTP 驗證時連不上郵件名稱,就會略過它,讓郵件服務改送不相符的憑證。作者示範先檢查郵件連線埠實際送出的憑證,再用 acme.sh 和 Cloudflare DNS 設定 DNS-01 驗證,並讓它負責續期與安裝。移交憑證後也要把相同名稱排除在 AutoSSL 管理範圍外,避免兩種工具互相覆蓋。
直播留言看起來像聊天室,但同一場直播可能有數百萬人同時觀看,讓每個人輪流詢問有沒有新留言會壓垮伺服器,全部推送也會讓留言快到根本看不完。文章帶讀者用面試常見的系統設計步驟,說明如何用 SSE 把留言推給觀眾,並把接收留言和推送留言的工作分開處理。當直播大到留言每秒湧入數千則,就改用抽樣和 CDN 快照,讓觀眾看到近期留言;這套設計也呈現了規模變大時,系統需求如何跟著改變。
不同 AWS 服務各自設定備份很麻煩,也可能忘了測試資料能不能還原。AWS Backup 把多種服務的備份集中管理,先建立備份計畫,設定排程、儲存期限和要備份的資源,再由系統定時執行並記錄成功或失敗。文章示範建立每天備份、保留 7 天的計畫,也提醒可以用標籤自動涵蓋新資源;還原時會建立一份新資源,不會蓋掉原本那份。定期測試還原、清掉不需要的備份,並把備份複製到其他區域或帳號,有助於控制費用並做好災難復原。
Project Zomboid 專用伺服器有時會卡在啟動或連線,常見原因是路由器或防火牆沒開對連線埠、記憶體不夠,或啟動方式不正確。可以先確認 UDP 16261 和 16262 都已開啟;如果伺服器因記憶體錯誤無法啟動,就把 StartServer64 的記憶體設定調低。伺服器要用 StartServer 批次檔或 Linux 的 start-server.sh 啟動,不能從 Steam 遊戲庫開啟。 例如,從 Build 41 換到 Build 42 後出現「Illegal termination」錯誤,可以檢查 steam_appid.txt 是否只有 108600,並備份想保留的檔案後,刪除 Zomboid 使用者資料夾。若自己也連不上伺服器,可在收藏清單填入對外的 IPv4 位址;如果角色掉進虛空,則可在新增伺服器時換一個帳號名稱。
金融科技新創上傳大型訓練檔案時,瀏覽器可能中途離開,讓檔案卡在未完成狀態,影響後續訓練。作者比較直接分段上傳、tus、託管式上傳工具與 Infrai:如果重視暫停和接續上傳,可考慮 tus 或託管工具;若重視私人存取和可替換的應用程式介面,則可用 presigned multipart,但團隊得自行管理上傳狀態、完成或取消作業。文章也提醒,multipart 暫存片段不會自動清除,應由應用程式定期檢查並處理逾期紀錄;若需要公開下載、物件版本控管或不可竄改儲存,這項儲存能力並不適合。
高密度資料中心需要大量電力與散熱裝置,電力轉換和冷卻系統也會佔用空間。作者根據 SemiAnalysis 走訪內蒙古 Galaxy 園區的報告,說明一座 5 MW 機房如何把電網的 10 kV 交流電直接轉成機櫃使用的 800 V 直流電,省去傳統機房中的低壓變壓器、不斷電系統和整流裝置。冷卻方面,液冷與氣冷伺服器共用一套水路,沒有中央冰水主機。這些設計已在當地實際運作,但能否用在其他地方,仍取決於氣候、備援需求和服務承諾;文章也提醒,內蒙古公佈的 25 GW 計畫容量不等於已建成容量。
大型檔案若都先傳到 Node.js,再轉存到物件儲存,應用程式會承受大量流量;若讓瀏覽器直接上傳,又得確保檔案屬於正確租戶並按規定保留。文章比較三種做法:由 Node.js 核准後讓瀏覽器分段直傳、用可續傳的閘道統一不同裝置的上傳方式,或先讓檔案經過應用程式檢查。作者也示範先記錄上傳物件、授權人和到期時間,再追蹤上傳、取消及保留期限確認等狀態。這樣能分清楚檔案是否傳完,以及保留規定是否真的落實。
想把模型搬到自己的雲端跑,費用會不會比用 API 便宜?文章用一家保險公司的理賠助理試算:每月用 800 million tokens 時,API 費用是 $1,600;自己架設則要付 GPU 和人力費,每月 $6,000。用量增加到十倍後,自架每月約 $10,000,API 則是 $16,000,帳面上可省約 $6,000。不過,理賠資料必須留在保險公司的雲端,這項規定也會影響選擇;流量忽高忽低、回答品質和輪班維護人力,都要一起考慮。作者提醒,先用每月用量、API 單價和固定成本試算,再小規模測量,才能判斷哪種方式適合。
語言模型的上下文視窗就像工作時能攤開來看的資料,近年變得越來越大,現在有模型一次能處理約 100 萬個 token,足以放進《戰爭與和平》這本小說。NVIDIA 研究團隊認為,視窗做得這麼大,常常既用不完又很花錢;在不少測試中,定期整理摘要、需要時再找相關資料,效果差不多。這表示模型要記住很多內容時,不一定得把所有資料一次塞進去。
AI 助理能快速寫程式、補測試,但工作變快後,檢查和決定「這功能到底有沒有幫上忙」反而容易塞車。這份白皮書提出 Agentic PDLC:把工作從一張張待辦事項,改成可以驗證的成果假設,讓人和 AI 助理一起從瞭解需求、設計、開發到上線後觀察。比如,團隊可以先假設「讓回來的顧客重用已確認的資料,能減少他們放棄設定帳號」,再檢查完成率有沒有提高、風險有沒有增加。AI 助理可以提出做法,但重要決定仍由負責的人把關;每一步都要留下證據,確認真的對顧客有幫助。
舊 PHP 系統改用 Laravel 時,最怕使用者突然全被登出,或登入後看到別人的帳號。作者整理一套逐步遷移方式:先把舊密碼雜湊包進 bcrypt,等使用者下次登入時再換成新格式;接著讓兩套程式共用 Redis 工作階段,透過橋接方式延續登入狀態,並換掉容易被冒用的舊式「記住我」Cookie。舊 Cookie 在遷移時只接受一次,再換發新權杖。文中也提醒,共用跨子網域的 Cookie 前,必須確認每個子網域都可信任。
交易機器人看起來還在運作,不代表收到的行情是新鮮的,也不代表訂單有成交或帳面損益正確。作者說明如何用 Prometheus 收集數值、Loki 儲存紀錄,再用 Grafana 檢視行情更新速度、訂單回覆時間、失敗比例、損益和風險部位。文中也提供 Rust 指標端點範例,並提醒要定期用交易所資料核對訂單與持倉;如果行情過期,儀錶板應清楚標示資料不可用。