跳到正文

#DeepSeek

RSS
今日 3 則
10月23日週五
10月22日週四
  1. PyTorch Blog77

    TorchTitan 更新:支援新 SOTA 模型、擴充套件大規模訓練效能與 TitanRL 功能

    TorchTitan 以 PyTorch 原生實現,提供 SOTA 模型支援與大規模訓練效能,讓研究者與產業可在同一框架下快速落地。 - 新模型支援:Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3、DeepSeek-V4 全訓練堆疊整合,並可透過 5D 並行化調整硬體。

    推薦理由:TorchTitan 以 PyTorch 原生實現,提供 SOTA 模型支援與大規模訓練效能,讓研究者與產業可在同一框架下快速落地。

  2. LMSYS Org Blog55

    SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout

    長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。

10月21日週三
  1. Nathan Lambert (Interconnects)69

    最新開源成果 (#25):DeepSeek V4.1 Flash 1017、美國製造模型與美中新監管控制

    美國與中國政府近期針對開源 AI 模型推出新監管措施,同時 DeepSeek 公佈高效推理堆疊 DeepInfer,為開放模型生態帶來成本與合規挑戰。 - 美中監管動態:中國商務部提出前沿 AI 模型需預審,並設自動批准機制;美國國土安全部發布禁令,限制 DeepSeek 作為聯邦供應商。

10月20日週二
  1. Thom Wolf (@Thom_Wolf)82

    DeepInfer 全面開源,成為 DeepSeek‑V4.1‑Flash 的推理核心,提供高吞吐量與低延遲。 核心特性:內部推理框架,支援大規模部署,吞吐量提升、延遲降低。 對社群的影響:公開生產堆疊,降低計算成本與能源使用,促進 AI 更易於使用。 可用性:已在 Hugging Face 上發布,開發者可即時使用。

    推薦理由:開源的 DeepInfer 可幫助開發者降低推理成本與能源消耗,提升大模型部署效率。

  2. Hacker News (official RSS)77

    Cairn:開啟 AI 驅動網路攻擊的視窗

    Cairn 是一個 AI 驅動的駭客系統,NorForge 發現超過 20 個公開的控制面板被惡意使用,並揭示其對目標的選擇、代理排程與漏洞利用流程。 - 曝光面板:>20 個 Cairn 控制台,許多未加密,暴露目標資訊、漏洞細節、憑證與 API 金鑰。

10月19日週一
  1. SGLang Releases78

    SGLang v0.5.22 釋出多模型支援與效能提升

    SGLang v0.5.22 釋出,新增多模型支援、效能最佳化與跨平臺功能。 - 新模型:DeepSeek‑V4.1、Qwen3.8‑Flash‑Next、GLM‑5.3‑Flash、MiMo‑V2.6‑Pro、EmbeddingGemma 2、LLaDA2.2、HunyuanImage‑3.0‑Instruct 等。

    推薦理由:本次更新大幅提升多平臺推理吞吐量並加入多模型支援,開發者可直接使用新功能加速多模態應用,並在多種硬體上獲得顯著效能提升。

  2. Thom Wolf (@Thom_Wolf)73

    Meta、NVIDIA、Alibaba、DeepSeek、Moonshot、Mistral 等 30+ 實驗室共分享近 10 億美元訓練算力於 Hugging Face Hub,免費供下載。 算力總量:近 $1B 美元的訓練算力已上傳至 Hugging Face Hub。 免費下載:所有模型與資料集皆可在 Hugging Face Hub 直接下載,無需付費。 社群影響:此舉凸顯開源社群在 AI 訓練資源共享與成本透明化方面的進步。

10月18日週日
10月17日週六