跳到正文

#開源生態

RSS
今日 21 則
11月11日週三
  1. Hacker News (official RSS)79

    Modelplane 發布開放式推論工程指南,涵蓋模型服務部署與維運

    Modelplane 推出一份面向平臺工程師的開放式推論工程指南,從模型與 GPU 記憶體配置談到正式環境部署、效能調校和職涯發展。 - 部署與維運:說明推論引擎、控制平面與閘道的分工,並整理 GPU 配置、身分驗證、逾時、監控、自動擴縮及版本發布等實務。

    推薦理由:內容以平臺工程師熟悉的 Kubernetes、SRE 與容量規劃為起點,串連 GPU 記憶體、引擎調校及正式環境維運,呈現推論服務的實務脈絡。

  2. aihot76

    NVIDIA 在 CoRL 發布 GR00T 2 世界動作模型與 Isaac Lab 3.0 等開放機器人技術

    NVIDIA 在 CoRL 發布開放世界動作模型 GR00T 2、模擬工具與機器人評估技術,涵蓋模型訓練、技能評估和AI 助理工作流程。 - GR00T 2:以 NVIDIA Cosmos 為基礎,使用 100,000 小時人類第一人稱視角資料訓練;在 50 項評估任務中至少完成過 40 項。

    推薦理由:GR00T 2 的多組任務成功率與 Isaac Lab 3.0 的訓練吞吐資料,呈現開放模型和模擬工具如何支援機器人精細操作訓練。

  3. Meta Engineering81

    Meta 如何打造 TLX,讓工程師更容易安排 GPU 工作

    GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。

    推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。

  4. Phoronix (Linux HW & Benchmarks)88

    AMD EPYC 9996 基準測試:256 個 Zen 6C 核心展現效能

    Phoronix 實測 AMD EPYC 9996 雙路配置,評估其在多種 Linux 工作負載下的效能與每瓦效能。 - 測試配置:每顆處理器有 256 核心、512 執行緒;雙路合計 512 核心、1024 執行緒。

    推薦理由:文章以 Phoronix 的實測比較 EPYC 9996 雙路配置與前代 EPYC、Intel Xeon 旗艦處理器,呈現 512 核心平臺在多種 Linux 工作負載下的效能與每瓦效能。

  5. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

  6. Hacker News (official RSS)76

    Spencer Kittleson 分享智慧家庭自動化十多年經驗與離線設計原則

    Spencer Kittleson 分享十多年智慧家庭自動化經驗,主張核心裝置在網路中斷時仍須運作,並以自有硬體上的 Tasmota、MQTT 與 Node-RED 管理家中自動化。

    推薦理由:作者以十多年自動化實作整理離線運作、維持傳統操作方式與集中管理等原則,並展示多人共住後如何擴充系統。

  7. ComfyUI Blog76

    MiniMax H3 Image 在 ComfyUI 原生支援

    MiniMax H3 Image 現已在 ComfyUI 原生支援,可用同一模型進行文字生成圖片與參考圖片編輯。 - 生成規格:每次取樣固定為 6 步;最高可原生輸出 6272×2688,圖片是在該尺寸生成,並非放大而來。

    推薦理由:同一模型可依是否連線參考圖片切換文字生成與圖片編輯,並支援本機權重和 Partner Nodes,呈現兩種使用方式。

  8. LMSYS Org Blog82

    SGLang 推出統一記憶體,讓混合模型按需求共用 GPU 空間

    混合模型會同時使用不同型別的記憶體,流量一變,原本分好的空間可能一邊用光、一邊閒置。SGLang 新增統一記憶體功能,讓各類資料共用一塊 GPU 空間,系統會依需求重新安排;即使資料大小和格式不同,也能一起管理。文章中的測試顯示,在 GPT-OSS-20B 的一種工作負載下,統一記憶體可同時處理約 1,000 個請求,原本的分池方式是 618 個,吞吐量也高 14%。這項功能目前仍屬實驗性,且有部分模型與功能限制。

    推薦理由:文章比較共用記憶體與固定分池在不同流量下的表現,並說明統一配置如何減少容量閒置與請求退回。

11月10日週二
  1. Hugging Face Blog74

    Hugging Face 解說決策模型及其統一介面

    Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。

    推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。

  2. Phoronix (Linux HW & Benchmarks)58

    Linux 長期開發者因 AI 生成補丁潮卸下部分審查職務

    Lorenzo Stoakes 因 AI 生成的 Linux 核心補丁增加、審查負擔加重,將卸下記憶體管理、核心、misc 與 Rust 領域的審查職務。 他自 2014 年起參與 Linux 核心開發,仍會繼續維護自己負責的核心領域。 他表示,因補丁數量增加,已無法普遍提供這些領域的審查,並將相關補丁分配給其他維護者處理。

  3. O'Reilly Radar61

    Tim O’Reilly 探討如何以人類專業與制度設計塑造 AI 經濟

    Tim O’Reilly 主張,AI 的能力需要人類專業提供焦點,也需要新的制度機制,讓人們能參與並分享 AI 經濟創造的價值。 - 專家知識的作用:O’Reilly Media 的研究助理原先建議團隊增聘人手;加入 O’Reilly Expert Intelligence 的專家知識視角後,分析轉向檢視工作負擔與進行 toil audit。