跳到正文

#程式開發

RSS
今日 0 則
10月16日週五
  1. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四
  1. Hacker News (official RSS)83

    OpenCode 2.0 全新服務模式與 API 重新定義開發者與AI 助理互動

    OpenCode 2.0 以全新服務模式與豐富 API 重新定義開發者與AI 助理互動。 - 服務模式:單一背景程序自動啟動,TUI、網頁介面、桌面應用皆共用同一中央程序。

    推薦理由:OpenCode 2.0 以全新服務模式與豐富 API 重新定義開發者與AI 助理互動,讀者可快速評估其在工作流程中的實際效能。

  2. LMSYS Org Blog76

    SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

    大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

    推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

10月14日週三
  1. FlashAttention Releases44

    FlashAttention 2 v2.8.3.post2 維護更新,修補兩項安全問題與一項計算錯誤

    FlashAttention 2 這次推出維護更新,沒有新增核心功能。更新包含兩項安全修補:載入模型權重時採用較安全的方式,也修正瞭解開 tar 檔案的安全問題;另外,還修正一個可能讓程式讀錯記憶體,或產生 NaN 梯度的計算錯誤。這個錯誤會在特定資料量太大、超過 2^31 時發生。使用 CUDA 13 的 PyTorch,也會改為要求提供預先編譯好的套件。

10月13日週二
10月12日週一
10月11日週日
10月10日週六
  1. Hacker News (official RSS)76

    智慧合約:在 v1 版先裝備降落傘

    智慧合約在 v1 版常缺少升級與災難恢復功能,導致多起高額損失。 - 重大案例:Parity 2017 造成 513,774 ETH凍結;DAO 2016 失 3.6 M ETH;Audius 2022 失 18.56 M AUDIO;Moonwell 2026 失 1.78 M USD;Kinto 2025 失 1.55 M USD。