跳到正文

#部署/工程

RSS
今日 0 則
11月22日週日
  1. Dev.to Top Tech46

    AI 助理讓寫程式變快後,軟體團隊該怎麼重新安排工作?

    AI 助理能快速寫程式、補測試,但工作變快後,檢查和決定「這功能到底有沒有幫上忙」反而容易塞車。這份白皮書提出 Agentic PDLC:把工作從一張張待辦事項,改成可以驗證的成果假設,讓人和 AI 助理一起從瞭解需求、設計、開發到上線後觀察。比如,團隊可以先假設「讓回來的顧客重用已確認的資料,能減少他們放棄設定帳號」,再檢查完成率有沒有提高、風險有沒有增加。AI 助理可以提出做法,但重要決定仍由負責的人把關;每一步都要留下證據,確認真的對顧客有幫助。

11月21日週六
  1. Dev.to Top Tech48

    Harness-S 如何藉助不同執行方式訓練出能回到原本環境工作的 AI 助理

    AI 助理在某種執行環境裡做不好任務時,換一種執行方式有時能幫它找到解法,但這些解法未必能帶回原本的環境。Harness-S 會讓同一個 AI 助理在 AppWorld、SWE-Gym 和 DBBench 裡,嘗試幾種不同的執行方式來完成原本失敗的任務,再把學到的做法帶回原本的 H0 環境。就像練習時換不同方法解題,考試時仍要回到原本的規則。 研究在 Qwen3.5-4B 和 Qwen3.5-9B 上測試,結果顯示,回到 H0 評估時,Harness-S 的表現勝過只訓練 AI 助理本身;但提供的內容沒有列出實際分數。這項做法的重點,是讓 AI 助理學會能帶回原本環境使用的技巧,而不是隻讓某種執行方式變得更好。

11月19日週四
  1. Hugging Face Blog62

    Hugging Face 團隊用 272 次微調紀錄預測 GPU 工作時間

    共享 GPU 叢集很難排工作:微調任務若提早或延後結束,都會影響其他工作,單靠運算量公式也常估不準。Hugging Face 團隊整理 272 次實際監督式微調紀錄,用工作設定和模型資料訓練 CatBoost,預測任務從取得 GPU 到完成所需的時間。交叉驗證中,平均誤差約 1.71 小時;工作時間在 60 小時以內時,誤差通常較小,超過 60 小時的少數任務則較難預測。這套模型使用 H200 資料訓練,不能直接當成其他 GPU 的時間估算。

    推薦理由:文章比較公式估算與機器學習預測,呈現評估和檢查點設定如何影響 GPU 工作時間,也指出長時間任務的誤差較大。

11月17日週二
  1. elvis53

    自動改進 harness 時,如果換了模型或測試資料,原本有效的修改可能不再有用。Google 的研究提出一套記憶系統,會替每次修改記下原因、預期結果、實際結果和測試情境,讓系統在提出或挑選新修改前先參考。研究指出,這套方法在 4 種領域的跨資料集與 Opus 到 Gemini 測試中,都比只沿用原本的 harness 表現好;10 次程式測試平均增加 2.36 分。研究也舉例,一套為 Opus 調整的 harness 換到 Gemini 後,分數低於未調整的版本。

  2. Lobste.rs (Engineering Discussion)57

    PAW 把自然語言規格變成可離線執行的小型程式

    像是挑出重要的日誌、修補格式錯亂的 JSON,這些工作很難只靠固定規則做好,交給大型語言模型 API 又會花錢,也得連網。這篇研究提出 PAW:先把自然語言寫的工作規格編譯成小型模型配件,再交給較小的模型執行。研究中的 0.6B Qwen3 執行 PAW 程式時,表現可媲美直接提示 Qwen3-32B,推論記憶體約少 50 倍,並能在 MacBook M3 上以每秒 30 個 token 執行。這種做法讓大型模型先負責建立工具,之後反覆使用時可以離線執行。

11月16日週一
  1. Dev.to Top Tech49

    SPECTRA 如何壓縮大型 AI 模型,讓它們在筆電 GPU 上執行

    一般筆電的 GPU 記憶體有限,裝進大型 AI 模型後,可能連產生答案時要用的空間都不夠。SPECTRA 會把模型中較重要的資料原樣保留,再用較省空間的方式儲存其他資料,載入時直接送進 GPU。作者在一張 NVIDIA GeForce RTX 3050 Ti Laptop GPU 上測試 6 種模型,模型檔案縮小了 64.3% 到 69.8%;例如 DeepSeek-R1-Distill-1.5B 在特定設定下每秒可產生約 82 個 token。這讓記憶體有限的裝置也有機會執行大型模型,但實測速度會隨執行方式和裝置狀況改變。

11月15日週日
  1. Hacker News (official RSS)68

    研究提出降低 MoE 長上下文訓練記憶體尖峰的方法

    MoE 模型在長上下文或大批次訓練時,只要有一個步驟用掉太多 GPU 記憶體,整個訓練就會停下來。這篇研究分別調整專家分流、詞彙投影、檢查點資料和最佳化器更新時的資料處理方式,讓 GPU 一次需要存放的資料量保持固定,並稱不會改變模型的損失與梯度。組合使用後,研究者讓引數量為 120B 到 667B 的 MoE 模型以 1M 上下文長度訓練;相較調整過的 FSDP2 基準,涵蓋範圍達 8–32 倍,速度最高達 10.4 倍。

11月14日週六
  1. Rohan Paul74

    從預訓練模型到建置服務引擎,AI 助理能不能完成整套工作?卡內基美隆大學的新論文用 Singularity-Bench 測試 6 種端到端任務,並在相同 GPU 上拿成果和 SGLang 等生產工具比較。Opus 5.5 的 Singularity-Index 是 1.25,人類基準為 1;另外 10 個 AI 助理平均是 0.58。它建置的服務引擎每 GPU 小時賺取 11.52 USD,SGLang 則是 8.18 USD。

    推薦理由:這項基準把 AI 助理完成訓練、推論與叢集管理工作的成果,和同 GPU 上的生產工具比較,可瞭解它們在端到端工程任務上的表現。

11月13日週五
  1. Dev.to Top Tech43

    LoopVQ 子位元 KV cache 量化讓服務吞吐量最高提升 6.1 倍

    LoopVQ 將迴圈式 Transformer 的 KV cache 壓縮至每個元素低於 1 bit,並整合至 SGLang serving stack;無須重新訓練模型,即可降低長上下文解碼延遲並提升服務吞吐量。 效能:在 0.5 bits per element 下,長上下文解碼延遲減半;在 32K tokens 時,延遲約為 BF16 的一半。相較 BF16 基準,1.4B 與 2.6B Ouro 模型的尖峰服務吞吐量最高分別提升 4.3 倍與 6.1 倍;常見 batch size 下,整體每秒請求量約提升 2 倍。 品質與適用範圍:作者表示,推理與檢索效能損失極小,在 chain-of-thought 基準上可達到全精度結果。評估主要使用 Ouro 與 Huginn 模型;套用至其他架構可能需要專屬校準。0.25-bit 設定需搭配 TaSQ,才能保留「大部分」BF16 準確度。

11月12日週四
11月11日週三
11月7日週六
  1. Hacker News (official RSS)79

    GPU 加速權重傳送技術

    本研究提出一套 GPU 端權重同步方案,稱為 Weight Teleportation,能將 RL 訓練中的權重更新時間縮短至 0.23 秒以下。 - 技術核心:利用 delta weight sync 搭配 LZ4 + Zstd 雙重壓縮,並在 Blackwell 的 DE 硬體上完成 GPU 直流解碼,實現 4 秒以下的 end‑to‑end 同步。

11月6日週五
11月5日週四
11月4日週三
11月2日週一
11月1日週日
10月31日週六
10月25日週日
  1. LMSYS Org Blog66

    miniTE 技術報告:用 NVFP4 加速強化學習,並處理訓練不穩問題

    大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。

    推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。

10月1日週四
9月14日週一
8月27日週四
  1. LMSYS Org Blog74

    SGLang Diffusion 如何加速 MiniMax-H3 影片生成,最快達 6.24 倍

    生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。

    推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。

7月29日週三
  1. Berkeley AI Research77

    從 CUDA 到 MLX:K-Search 如何將數十年 GPU 核心最佳化知識帶到 Apple Silicon

    K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層,成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon,達到接近專家水平的效能。

    推薦理由:本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon,為跨平臺 GPU 核心開發提供可落地方法。

6月30日週二
  1. Together AI Official Blog77

    Together AI 於 ICML 2026:全棧前沿研究

    Together AI 在 ICML 2026 展示了九篇跨層研究,從代理到 GPU 核心,涵蓋模型、演算法、系統與硬體最佳化。 - 代理層:DSGym 1,000+ 任務、10+ 領域;ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。

    推薦理由:Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究,讀者可洞悉跨層最佳化的實際效能與落地策略,並展示多層協同效益與實際部署案例。

5月28日週四
  1. Google Research59

    零信任聚合實現私有分析

    Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。

4月8日週一
  1. Davis Summarizes Papers73

    DBRX:132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5

    DBRX 是一款 132B 引數的 MoE LLM,經 12T tokens 訓練後,效能已超越 GPT-3.5。 - 模型規格 132B 引數、4-of-16 MoE、RoPE 位置編碼、LION 最佳化器、LayerNorm 取代 RMSNorm。

    推薦理由:DBRX 132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5,展示了 MoE 與資料品質對 LLM 成效的關鍵作用。