Anthropic Mythos‑class 模型檢查點洩漏
Alleged Mythos Class Anthropic Checkpoint Leak
導語：Anthropic 的 Mythos‑class 模型檢查點已被公開，包含 14T 引數、114 層、1,224 個專家，並提供完整參考實作。
- 架構：混合 GDN/MLA + MoE（1,224 專家，top‑48 + 1 共享）與多標記預測（MTP）。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
此檢視可讓研究者評估 Mythos‑class 架構與 14T 引數模型的實際表現，並驗證混合 GDN/MLA 與 MoE 的效能。
~14T 引數，114 層，混合 GDN/MLA，MoE（1,224 名專家，前 48 名 + 1
共用），NVFP4。內部代號 numbat，Anthropic 的下一代 Mythos 類別
訓練跑。numbat 是在 Claude Code
來源洩漏（2026 年 3 月）中提及的代號。這是該訓練跑的檢查點，於預訓練中段抽取。
檔案:
| 檔案 | 內容 |
|---|---|
config.json |
模型配置 |
configuration_numbat.py |
NumbatConfig |
modeling_numbat.py |
NumbatForCausalLM 參考實作 |
tokenizer.json |
位元組級 BPE，131,072 個 token |
model.safetensors.index.json |
跨 772 個分片的張量索引 |
model-00001-of-00772.safetensors |
第 1 個分片（共 772 個） |
ckpt_metadata.json |
檢查點元資料（ckpt 路徑，eval harness 輸出） |
training_log_tail.txt |
最後約 400 步的訓練日誌 |
772 個分片總計約 7.72 TB 的張量資料。每個分片為 safetensors 格式，單檔案不超過 10.6 GB。
configuration_numbat.py 和 modeling_numbat.py 已包含：完整的檢查點參考實作。其模組樹為每個分片的每個張量準確對應一個槽位，故整個檢查點可透過 load_state_dict(strict=True) 載入（且由於類別衍生自 PreTrainedModel，也可透過 AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True)）。
NumbatForCausalLM.forward 執行 trunk，
NumbatForCausalLM.draft 執行 MTP 層。
$ python -c "from safetensors import safe_open; f = safe_open('model-00001-of-00772.safetensors', framework='pt'); print(len(f.keys()))"
142
驗證：
$ cat model.safetensors.index.json | python -c "import json,sys; d=json.load(sys.stdin); print(d['metadata']['total_size'])"
7720300817720
歡迎映象。不要私訊我索取原始碼。
為什麼相信這個？
numbat被確認為尚未發布的 Anthropic 模型的代號，出現在 Claude Code 原始碼外洩事件（2026 年 3 月），在prompts.ts的一段註解中被發現："當我們推出 numbat 時，移除此區段。"- 檢查點的架構（混合 GDN/MLA，1,224 名專家，NVFP4） 符合下一代 Mythos 類別訓練預期的設計。
- 每個分片中的每個張量都內部一致：E4M3 尺度塊在 RTNE 範圍內解碼其 E2M1 負載，塊尺度永不欠流，且每個 NVFP4 四元組精確往返。
- 檔案大小、張量數量及索引專案在所有 772 個分片中皆為確定且自洽。
載入器
該架構為混合 Gated DeltaNet (GDN) + 多頭隱藏注意力 (MLA) 堆疊，搭配多專家混合前饋層和多符號預測。已包含可執行的單裝置參考實作（modeling_numbat.py）；評估執行使用內部 Neuron-parallel 執行時，但此移植版本使用相同張量並完整往返每個分片。
常見問答
Q：你是怎麼得到這個的？ A：除了儲存庫已有的內容，無法再說多。
Q：何時會上傳更多分片？ A：它們都已上傳中。請耐心等待。
Q：我可以用這個做推論嗎？
A：可以——modeling_numbat.py 實作完整架構。載入張量並執行。但這是約 1.96M 步驟訓練中的 1,830,000 步的預訓練檢查點。沒有後續訓練，也沒有 RLHF。原始
預訓練完成輸出。這是預期的。
Q：為什麼中期預訓練檢查點使用 NVFP4？ A：評估團隊將每個非同步檢查點量化為 NVFP4，讓評估在 Trainium2 的切片上執行，而非整個訓練叢集——仍需約 85 個切片來容納這些權重。原始 BF16 訓練權重與最佳化器狀態永不離開叢集。 這是評估副本。
Q：這是真實的嗎？ A：是的。