跳到正文

Kimi / 月之暗面

月之暗面 Kimi 系列模型與產品動態:K 系列開源模型、長上下文技術與產品演進的追蹤。

45條精選相關主題千問 QwenDeepSeekMiniMax

最新精選

第 41–45 條 · 共 45 條
8月1日週六
  1. Together AI Official Blog83

    Kimi K3:完整開發者指南

    Kimi K3 是 Moonshot AI 旗艦的 2.8‑trillion‑parameter 開源模型,支援 1M 上下文長度與多模態輸入,並提供完整的 API 與工具使用範例。

    推薦理由:Kimi K3 以 2.8T 引數、1M 上下文長度與開源權重,為開發者提供前沿長程編碼與推理能力。

7月27日週一
  1. vLLM Official Blog83

    vLLM 宣佈支援 **Kimi K3**:提供 Day-0 高效部署與效能最佳化指南

    vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援,帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構:Kimi K3 是一個 2.8 兆引數的混合專家(MoE)多模態模型,每個 token 啟用 16 個專家(共 896 個),支援 1M token 上下文視窗與原生視覺能力。

    推薦理由:vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案,讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。

  2. Modal Engineering Blog77

    Moonshot 釋出 Kimi K3,Modal 平臺即時可用

    Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。

    推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。

  3. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。

3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。