跳到正文

#部署/工程

RSS
今日 56 則
11月17日週二
  1. Dev.to Top Tech49

    WordPress 三種快取怎麼分:頁面、資料和 PHP 程式碼

    WordPress 網站出問題時,常有人清了快取,畫面卻還是舊的,因為網站裡有三種不同快取。頁面快取儲存已做好的網頁,物件快取記住從資料庫查到的資料,OPcache 則儲存 PHP 程式碼,讓 PHP 不必每次重新讀取和整理程式。例如,換了外掛的 PHP 檔案卻看不出變化,可能是 OPcache 還在使用舊程式;wp cache flush 清的是物件快取,不會清掉 OPcache。先看是哪種畫面出問題,再一次檢查一種快取,比全部清除更容易找出原因,也能避免網站短時間變慢。

  2. Dev.to Top Tech57

    eBPF 教學第 8 篇:用 ring buffer 監看 Linux 程式結束事件

    想知道 Linux 程式何時結束,以及結束時的狀態,可以用 eBPF 監看相關事件。這篇教學示範如何用 ring buffer 把程式的 PID、結束程式碼和執行時間等資料送到使用者空間,再印出結果;範例也會略過單一執行緒結束,只記錄整個程式結束的事件。作者並比較 ring buffer 和 perf buffer,說明前者可改善記憶體使用與事件順序問題,並用 reserve 和 submit 直接填寫、送出資料。

  3. Dev.to Top Tech74

    llm-d v1.0 部署評估:先驗證 Kubernetes 快取路由,再考慮分離式推論

    多個模型副本分開處理請求時,可能重做已經算過的內容;只靠 Kubernetes Service 分流,也不一定能把工作分配好。作者評估 llm-d v1.0 如何依 KV 快取狀況挑選後端,並說明把提示處理和文字生成分開時,還得處理兩邊傳送快取資料的問題。文中沒有實際安裝或重跑效能測試,因此引用的速度和吞吐量提升都不是作者驗證出的結果。作者建議先在現有 vLLM 副本前測試快取路由,再另外評估分離式推論,並檢查版本、快取命中、取消請求和升級風險。

  4. Dev.to Top Tech68

    如何安全地儲存與傳送 AI 生成圖片

    AI 生成的圖片從暫存成果變成帳號附件或公開動態後,既要防止別人偷看,也要避免儲存和傳送費用失控。作者建議把圖片放在私人儲存空間,先用應用程式中的圖片編號確認使用者有權檢視,再產生短時間有效的下載連結;連結本身不能代替身分與許可權檢查。文章也說明要依圖片大小、保留時間、下載次數和傳送流量估算成本,並測試不同使用者互相讀取圖片、刪除資料後仍要求連結等情況。這套做法能協助團隊在選服務前,先確認隱私、速度和復原需求。

  5. Dev.to Top Tech58

    如何用 Ollama 比較適合本機執行的小型 LLM

    想在自己的電腦跑小型 LLM,模型大小、記憶體和工作內容都會影響能不能順利使用。文章建議先依輸入需求挑候選模型:Qwen3 4B 和 Phi-4-mini 可用於文字任務,Gemma 3 4B 也支援圖片輸入;實際表現仍要用自己的提示詞和標準測試。比較時可先用相同提示詞和 2 048 個 token 的短上下文,再測試工作真正需要的長度,並記錄記憶體、執行速度和失敗結果。用 Ollama 逐一執行模型,也能檢視它把工作分配給 CPU 還是 GPU,最後留下符合需求且較省記憶體的模型。

  6. Dev.to Top Tech54

    如何在自己的電腦挑選小型大型語言模型

    在自己的電腦執行大型語言模型時,模型要能完成工作,也不能佔用太多記憶體。這份指南建議先依任務挑選候選模型:Qwen3 4B 和 Phi-4-mini 可用來處理文字,Gemma 3 4B 也支援圖片輸入;再用 Ollama 逐一執行,保持提示詞和上下文長度一致,比較回覆速度與記憶體用量。文中也提醒,模型能在短上下文下執行,不代表換成較長上下文後仍放得下;用固定的實際任務檢查結果,才比較容易選出合用的最小模型。

  7. Dev.to Top Tech63

    如何在本機挑選並比較小型 LLM

    想在自己的電腦跑小型 LLM,光看模型大小還不夠,還要確認記憶體和實際任務是否合用。文章建議先挑支援所需輸入的模型,再用 Ollama 逐一測試;例如 Qwen3 4B 可作為文字模型,Gemma 3 4B 也支援圖片輸入。比較時要用相同提示詞和上下文長度,記下執行速度、記憶體用量,以及輸出是否符合要求。小上下文能跑,不代表換成工作真正需要的長度也跑得動。

  8. Dev.to Top Tech59

    如何在自己的電腦挑選小型 LLM:用 Ollama 比較 Qwen3、Gemma 3 和 Phi-4-mini

    小型 LLM 能不能在自己的電腦順利執行,除了模型大小,也會受上下文長度和其他工作佔用的記憶體影響。文章建議先依工作需求挑模型:文字任務可試 Qwen3 4B,需要處理圖片可試 Gemma 3 4B,數學或結構化任務可試 Phi-4-mini。接著用 Ollama 逐一載入模型,保持提示詞和上下文設定相同,再記下回應速度、記憶體用量,以及是否改由 CPU 處理。用同一組測試反覆比較,才容易找出適合自己電腦和工作的模型。

  9. Dev.to Top Tech57

    如何在自己的電腦挑選合適的小型語言模型

    想在自己的電腦跑小型語言模型,模型大小、記憶體和實際表現都得一起考慮。文章建議先依工作挑選候選模型:文字可試 Qwen3 4B,需要讀取圖片可試 Gemma 3 4B,數學或固定格式任務可試 Phi-4-mini;這些只是起點,表現仍要用自己的提示詞和語言測試。比較時要用相同提示詞與上下文,記下記憶體用量、等待時間和輸出速度,也要另外記錄失敗案例與最高記憶體用量。最後保留能通過需求、又最小的模型,並記下版本與設定,方便重做比較。

  10. Dev.to Top Tech57

    Qwen3 4B、Gemma 3 4B 和 Phi-4-mini 本機測試指南

    小型 LLM 能不能在自己的電腦上順利執行,會受到模型大小、上下文長度和工作內容影響。文章建議先依輸入需求挑選模型:文字可試 Qwen3 4B,需要讀取圖片可試 Gemma 3 4B,數學或格式固定的工作則可試 Phi-4-mini。接著用 Ollama 逐一執行,固定提示詞和上下文長度,再記錄記憶體用量、等待時間與是否改用 CPU。最後用一小組固定題目檢查摘要和 JSON 等結果,挑出最小且符合需求的模型,並記下模型版本與設定,方便日後重做比較。

  11. Dev.to Top Tech53

    如何用 Ollama 在本機挑選小型大型語言模型

    想在自己的電腦上跑小型大型語言模型,光看模型大小還不夠,記憶體和實際工作需求也會影響結果。文章建議先用 Qwen3 4B 測試文字任務,需要讀圖片時試 Gemma 3 4B,也可用 Phi-4-mini 比較數學或結構化任務。接著用 Ollama 逐一執行模型,固定提示詞和上下文,再記錄等待時間、輸出速度與記憶體使用情況。這樣比較能找出適合自己電腦、也能通過實際測試的最小模型。

  12. Dev.to Top Tech46

    Spring Boot 為什麼不能只靠系統記錄追查資料變更?

    查到帳戶已停用,系統記錄可能只寫著「更新成功」,卻看不出原本狀態、是誰要求變更,也不能證明資料真的存進資料庫;如果交易最後失敗,記錄甚至可能和實際資料不一樣。文章介紹 Hibernate Envers:替 Hibernate 管理的資料留下修改前後的版本紀錄,而且紀錄會跟資料更新一起完成或一起取消。像是查出帳戶從啟用變成暫停,再變成停用,就比翻找一堆系統記錄更容易看懂。若還想知道變更原因,仍得另外記下原因等背景資料;系統記錄則適合用來追查程式當時做了什麼。

  13. Dev.to Top Tech65

    PolyStrata 把 12 個大型模型拆開,讓一般電腦也能執行

    大型模型通常需要很多顯示卡記憶體,一般電腦不一定裝得下。PolyStrata 把模型分散到顯示卡、系統記憶體和 SSD,常用的部分放在顯示卡,其餘部分需要時再讀取。作者列出 12 個模型,其中一個使用 Strata 專案的引擎,其他模型則使用 PolyStrata 自己的引擎;部分模型已在配備 32 GB 顯示卡的電腦上執行,小型模型也能在 8 GB 筆電上執行。不過,最大型的 MoE 模型仍需要 32 GB 顯示卡和 72–96 GB 系統記憶體,實際需求會依模型大小而不同。

  14. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。

  15. Dev.to Top Tech67

    如何評估 LLM 路由器能否用在正式環境

    把請求改送較便宜的模型,可能省下費用,也可能讓某些工作做不好,還會改變快取命中情況。這篇指南建議先用接近正式流量的例子,比較基準模型、按任務分類的簡單路由方式,以及要採用的路由器,並分別記錄各類工作的品質、費用和延遲。文中也用 $100 的基準費用舉例,說明若可轉送的請求原本花 $50,改送後花 $20,在沒有額外路由成本等前提下可省 $30。上線時應逐類部署,保留切回基準模型的方式,也要盤點路由器能讀取的資料、憑證及記錄位置。

  16. Dev.to Top Tech67

    如何評估 LLM 路由器是否適合正式上線

    把不同請求分給不同模型,可能省下費用,但也可能讓某些工作答得不好。這份指南建議先挑選接近實際流量的例子,按工作型別檢查答案品質、費用和速度,再比較不同路由方式在相同品質門檻下的總花費。測試時也要用正式環境的模型和快取設定,並把重試、重複呼叫及改走備用路線的成本算進去。上線後可以一次開放一類工作,留下路由紀錄並保留手動切回參考模型的方式;部署前也要確認路由器會接觸哪些敏感提示詞和憑證,以及相關紀錄存在哪裡。

  17. Dev.to Top Tech69

    如何評估 LLM 路由器能不能用在正式服務

    把請求交給較便宜的模型,可能省下費用,卻也可能讓某些任務答錯或變慢。這份指南建議先用實際流量挑選測試案例,分任務比較原本模型、簡單路由表和候選路由器,並一起記錄品質、總成本、延遲、快取讀寫與重試。它也提醒,長對話的快取狀況會影響省下的費用;上線時應逐種任務慢慢切換,保留退回原模型的方式,並確認路由器會接觸哪些敏感提示詞、憑證和紀錄。

  18. Dev.to Top Tech67

    如何評估 LLM router 是否適合正式環境

    把請求分給不同模型,可能省下費用,也可能讓某些工作變得不可靠。這篇指南建議先用接近正式流量的例子,分別檢查摘要、工具呼叫等任務,再比較基礎模型、簡單路由表和準備採用的路由器。算費用時要把快取讀寫、重試和改走備用路徑都算進去,並在相同品質要求下比較;測試快取時也要使用實際模型和有效時間。上線時一次開放一種任務,持續看成功率、費用和延遲,也要確認敏感提示詞、登入憑證與日誌存放的位置。

  19. Dev.to Top Tech65

    如何評估 LLM 路由器,確認成本和回答品質是否符合需求

    把請求分給不同模型,可能省下費用,也可能讓某些工作答得更差。這篇指南建議先挑出接近實際流量的請求,用同一批例子比較原本的模型、按工作型別分流的簡單規則,以及待評估的路由器;除了費用,也要檢查答案品質、回覆時間、重試和快取狀況。文章還提醒,快取會影響實際成本,應按不同工作分開看結果,並記錄路由原因,方便工程師追查品質變差的情況。正式使用前,也要確認路由器能讀取哪些提示詞和憑證,以及紀錄與機密資料存放在哪裡。原文註明內容由 AI 助理撰寫,並經技術來源核對。

  20. Dev.to Top Tech52

    如何評估正式環境使用的 LLM 路由器

    把請求交給不同模型處理,可能省下費用,也可能讓某些工作答得更差。文章建議先用接近正式環境流量的請求做測試,依任務型別分開檢查品質、費用和延遲,再比較原本的模型、簡單的分流方式與路由器。測試時也要記錄快取讀寫、重試和切換備援模型造成的費用,因為只看模型價格可能算不準。上線後可以先逐類匯入,保留切回原模型的方式,並確認路由器如何保管提示詞、帳號憑證和記錄。

  21. Dev.to Top Tech63

    如何評估適合正式環境的 LLM 路由器

    把請求改送給較便宜的模型,不一定真的省錢,也可能讓某些任務更容易失敗。文章建議先用實際流量做測試,分開檢查摘要、工具呼叫等任務的品質,再比較達到相同品質時的總成本,並把快取讀寫、重試和延遲都算進去。舉例來說,基準成本是 100 美元,其中一半請求改用 20 美元處理,依文中的假設可省下 30 美元。部署時可先逐類任務上線,保留切回基準模型的方式,並檢查路由器會接觸哪些敏感提示詞或憑證,以及日誌存在哪裡。

  22. Dev.to Top Tech50

    如何評估正式環境用的 LLM 路由器

    LLM 路由器會替每個請求挑選模型,但便宜不一定代表划算:有些任務可能因此失敗,也可能因為重試或快取狀況而花更多錢。評估時,可以先用接近實際流量的請求,比較基準模型、簡單的分類路由和新路由器,並依任務檢查答案品質、費用與延遲。比如原本花 100 美元,其中 50 美元的請求改走較便宜的模型後只花 20 美元,假設沒有額外開銷,就省下 30 美元。上線時應一次處理一種任務,記錄路由選擇原因,並保留切回基準模型的選項。

  23. Dev.to Top Tech73

    如何用 kimi-k3-in-c 在 8 GB 記憶體的電腦上執行 Kimi K3

    大型模型通常比一般電腦的記憶體大得多,難以直接在家用電腦上執行。開發者 Fareed Khan 用 C99 寫了 kimi-k3-in-c,讓 Kimi K3 在 CPU 上運作;模型檔留在硬碟中,每次生成文字時,只把需要的部分載入記憶體。文章提到,測試使用 8 GB 記憶體的電腦,但還需要 1.7 TB 的 NVMe SSD,生成一個詞要花 10 到 32 秒。這展示了按需讀取資料的做法,也說明能執行不代表速度適合日常使用。

  24. Dev.to Top Tech66

    Nebula.NET 混淆名稱時,運算式樹可能讓資料庫欄位改名

    程式混淆後查詢還能正常執行,資料庫欄位名稱卻可能悄悄變成 a。原因是運算式樹會保留屬性的參照,程式執行時仍找得到屬性;但 ORM 等工具若從樹裡讀出屬性名稱,拿到的會是混淆後的新名稱。文章建議為資料庫欄位明確指定名稱,例如使用 HasColumnName("Total"),讓外部欄位名稱不再跟著程式屬性改變。也可以把需要維持原名的屬性排除在 Nebula.NET 的混淆範圍外。

  25. Dev.to Top Tech57

    Marketplace 頭像上傳如何保留舊檔回復,並按期限刪除簽署檔案

    替換頭像時直接蓋掉舊檔,可能讓人無法回復;如果同一套儲存空間也放著有保留期限的簽署檔案,刪除時還得確認期限和法律保留要求。作者建議每次上傳都存成新的檔案,確認內容和資料正確後,再更新資料庫指向的新檔;舊檔等回復期限和保留規則都允許後才刪除。刪除前也要檢查是否有爭議或保留要求,並記錄刪除原因。頭像和簽署檔案應採用不同的讀取許可權,避免為瞭解決傳送問題而意外公開檔案。

  26. Dev.to Top Tech58

    Striim 教你把 Oracle 即時異動資料串流到 ClickHouse

    把 Oracle 的資料即時同步到 ClickHouse,除了接通資料來源,也得選對方式處理新增、修改和刪除。Striim 的 ClickHouseWriter 可透過 JDBC 直接傳送資料;文章用 Oracle 的訂單資料示範整套流程,並比較不同 ClickHouse 引擎的做法。像 ReplacingMergeTree 寫入速度較快,但背景合併前,查詢可能看到重複或已刪除的資料;MergeTree 則會先刪除舊資料再寫入新資料,寫入成本較高。文章也整理如何設定批次大小、檢視同步進度,以及遇到連線錯誤時的重試方式。

  27. Dev.to Top Tech52

    大型圖片怎麼安全上傳?物流檔案的分段上傳與縮圖流程

    網路不穩時,大型圖片可能傳到一半失敗;簽收檔案又不能隨便公開或弄丟。作者整理一套 Node.js 做法:先把原始圖片分段上傳,確認整份檔案完成後,再用 Sharp 製作不同尺寸的縮圖,並把原圖和縮圖分開儲存。下載時才產生有時效的私人連結;失敗重試要能安全重跑,未完成的上傳也要記錄並清除。文章也提醒,Infrai 沒有物件版本或不可修改的保留功能;若檔案必須符合不可更改的儲存要求,應選有相應功能的儲存服務。

  28. NVIDIA Newsroom Press Releases72

    NVIDIA 推出 DGX Spark Developer Kit,讓研究人員在桌邊使用四臺系統

    研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。

    推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。

  29. Together AI41

    兩週前,我們宣佈推出 Together Compiler:可依據你的模型、晶片和流量調校推論的 AI 助理,吞吐量最高可提升 2.6 倍。 今天,我們分享背後的開發歷程:挑戰我們對 megakernels 假設的實驗、Torch Compile 出乎意料的優勢,以及促成我們開發新一代推論最佳化系統的經驗。 感謝 @dylan__lim @reyna_abhyankar @simran_s_arora 和團隊! 閱讀更多:https://t.co/9Yb1toI5jq

  30. Dev.to Top Tech36

    Kubernetes 模組化雲端資源怎麼選?比較 Crossplane、kro 和其他工具

    在 Kubernetes 裡管理雲端資源,常要煩惱怎麼把資料庫、網路等東西組合起來,也要決定由誰檢查雲端設定有沒有被改掉。Crossplane 能把一組資源包成一個自訂功能,讓 AI 助理或開發者提出需求,再由控制程式持續檢查並調整;kro 適合簡單地把資源排好順序,AWS、Azure 和 Google 也各有自家工具。舉例來說,已經有很多 Terraform 模組的團隊,可以用 tofu-controller 或 Pulumi Kubernetes Operator 在 Kubernetes 裡管理它們。怎麼選要看團隊使用幾種雲端、手上已有什麼工具,以及想讓系統自動修改,還是先讓人檢查計畫。

  31. Together AI Official Blog64

    Together AI 推出 Together Compiler,用 AI 助理加快模型推論

    模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。

    推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。

  32. AWS Machine Learning Blog69

    AWS 說明多個 AI 助理如何分工,以及製造業常見的設計錯誤

    多個 AI 助理一起工作,步驟變多後,出錯和花費也可能跟著增加。AWS 把分工方式分成兩大類:一類是先排好固定流程,另一類是讓模型在工作中決定下一步;文章建議先用固定流程,只有工作步驟無法事先確定時,再考慮讓模型自行安排。文章也提醒,重試要設上限、不同助理交接時要用清楚的資料格式,會影響裝置或客戶的動作則應經過檢查與人工核准。在製造現場,還要把延遲、安全和裝置端資料納入設計。

    推薦理由:文章用製造現場的延遲、安全與資料限制,說明如何從固定流程開始,再判斷何時需要讓 AI 助理自行安排工作。

  33. Microsoft ONNX Runtime Releases55

    ONNX Runtime WebGPU Plugin EP v0.6.0 擴充模型支援並改善效能

    使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。

  34. Dev.to Top Tech54

    Brewlet 如何讓 Kubernetes 應用程式不用自帶執行環境

    Python、Node.js、JVM 或 .NET 需要安全更新時,團隊常得重建應用程式映像檔,即使程式本身沒變。Brewlet 是 Microsoft 團隊正在開發的開源專案,讓開發者發布應用程式,平臺團隊則在 Kubernetes 節點管理核准過的執行環境;更新執行環境後,不必重建應用程式,但執行中的工作仍要重新啟動,應用程式依賴套件也要另外更新。文章比較了 Brewlet 與 Kubernetes 原生的映像檔磁碟區,並提醒 Brewlet 尚未正式推出,且需要具備較高許可權的節點整合,應在可丟棄的環境評估,不要用於正式叢集。

  35. Dev.to Top Tech44

    Apium Cloud OS 如何把多種 VPN 連線方式整合到同一套系統

    公司要讓員工、辦公室路由器和手機都能連上私人網路時,常得架好幾套工具,還要用指令碼管理帳號和流量。Apium Cloud OS 把 4 種連線方式和使用者資料、流量額度放進同一套可自行架設的系統;例如,Windows 員工只要貼上管理頁提供的 PowerShell 指令,就能自動設定 VPN。系統也能把流量接力轉到不同地區的伺服器,並在連線故障時自動換路線;還能限制 BitTorrent 流量、停用過期帳號的連線,並透過 API 批次建立帳號。這讓管理多種連線和使用者變得更集中。

  36. Dev.to Top Tech50

    Python API 如何用 Docker 同時準備本機開發與正式環境

    Python API 在自己的電腦上跑得動,搬到正式環境時卻可能遇到映像檔太大、每次改程式都重灌套件,或程式用最高許可權執行等問題。這篇實作指南用多階段 Dockerfile,把安裝工具和套件的步驟留在建置階段,正式執行時只帶必要的套件和程式碼,並改用一般使用者執行;複製套件清單後才複製程式碼,也能讓只改程式時不用重灌套件。本機開發則掛載程式碼並開啟自動過載,正式環境使用建好的映像檔,不掛載程式碼也不開自動過載。這樣能讓同一個 API 從本機走到正式環境,映像檔更精簡,部署方式也更一致。

  37. Dev.to Top Tech46

    客戶管理金鑰和零營運人員存取:Lit Protocol 如何保護使用中的資料

    客戶管理金鑰讓你決定誰能使用金鑰,也能停用金鑰;但服務商處理資料時,仍會先解密,所以服務商的系統看得到資料原文。Lit Protocol 採用另一種做法:讓資料在硬體隔離的環境裡處理,並先確認裡面執行的是核准程式碼,才交出金鑰。像是隻有你自己的錢包能修改核准名單,Lit 的人就不能單獨把新程式加進去。不過,Lit 的 Safe 仍能核准程式更新;如果你希望由自己的團隊掌管這些決定,也可以自行部署。

  38. Vercel Blog72

    Vercel AI Gateway 支援連線團隊的私有模型

    企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。

    推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。

  39. AWS What's New55

    Amazon ECR 會將映像刪除和移除標籤同步到其他區域與帳戶

    在多個區域或帳戶使用容器映像時,刪除來源映像後,其他位置還得另外清理。Amazon ECR 現在會把映像刪除和移除標籤的操作,傳到複製規則設定的目標位置;直接刪除或透過生命週期政策刪除都適用。每次複製的刪除操作也會發出 EventBridge 事件,並記錄在 CloudTrail,方便檢視。這項功能已在所有提供 Amazon ECR 的 AWS 區域推出,可在 ECR 控制台或 AWS CLI 更新複製設定,無需額外付費。

  40. Dev.to Top Tech56

    Masterly.NightShift 為 .NET 背景工作提供排程與流程管理

    應用程式重新啟動或外部服務出錯時,背景工作可能中斷,也可能重複執行。Masterly.NightShift 是給 .NET 8 以上使用的開源背景工作工具,能儲存工作、安排執行時間,並把有先後順序或可同時進行的工作串在一起;工作失敗時也能設定重試。文章以訂單處理為例,說明如何在背景處理發票、寄信和同步資料,並提到它可搭配多種儲存方式與監控工具。作者列出的 .NET 10 測試中,NightShift 在幾項工作速度和記憶體用量上優於 Hangfire 1.8.25;實際結果會依環境和工作內容而不同。NightShift 1.0 仍屬早期版本,作者提醒使用前要確認相容性和正式環境需求。