跳到正文
hackernews100(aleph-alpha.com)· bastitx·· 2026-10-03品質評分73

Kolibri:主權開源權重模型

Kolibri: A Sovereign Open-Weight Model

重點導讀

核心事件:Aleph Alpha 發布 Kolibri,一款擁有 78B 引數、1M 上下文長度的英德雙語 Mixture‑of‑Experts 模型,並以 Apache 2.0 授權公開完整權重,方便企業在本地化與合規環境中部署。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

正文 · 中文翻譯

Green gradient with the white Kolibri hummingbird logo and wordmark in the centre, framed by thin stepped outlines on the left and right

研究

Aleph Alpha

03/10/2026

在德國統一日,我們將發布新模型:Kolibri。

Kolibri 是一個英德混合專家 Transformer,擁有 78B 個總引數,其中 3B 為活躍引數。它支援長達 1M 個 token 的上下文長度。模型可在 Hugging Face 下載完整權重,並以 Apache 2.0 授權條款使用。

Kolibri 是我們模型訓練工作不斷迭代的結果。我們首先構建了 模型訓練流程,並透過構建 Kolibri Origin(30B 總引數、3B 活躍引數、較短的 65k token 上下文視窗)來驗證。Kolibri 也經過相同流程:從資料採集與整理、進行消融、預訓練、後訓練,到最終評估。這使我們能夠執行數百次消融實驗,並實現穩定的預訓練,即使硬體失效或資料連線中斷也不需要人工介入。我們持續監控訓練指標,並為自訂基準建立標準化監控。投入此流程的時間是一項寶貴的投資。我們從 Kolibri 相較 Kolibri Origin 更優秀的表現,以及兩者發布時間的短差距中看到了這一點。

Kolibri 是一個專為主權任務關鍵工作設計的語言模型,應用於包括公共行政、工業與航空航天等受監管領域。我們將 Kolibri 特化為德語、推理、數學、代理行為等功能,並增強客戶在生產環境中所需的其他能力。此特化的目標是最佳化客戶特定使用案例的表現。透過特化,客戶能在 AI 作業中獲得語境化的表現,並可監測其經濟影響,確保投資報酬率(ROI)可量化且隨時間成長。

單靠特化還不夠,主權同樣重要。對我們來說,主權結合兩個維度:我們如何構建模型,以及模型如何轉移給客戶。我們提供完整供應鏈完整性,並追蹤每一個決策,從資料採集、預訓練與後訓練,到最終評估。我們提供透明度。客戶擁有完整的部署自由和智慧財產權安全,合規性因此成為模型的固有屬性。

閱讀我們的 技術報告 以瞭解完整細節。

Kolibri 所帶來的價值

我們針對廣泛產業最佳化 Kolibri 的效能,考慮其特定領域語言、法規與程式實際情況。其小巧且高效的規模為客戶提供在本地環境高效執行的彈性,無需將內部資料傳送至第三方推論服務。本節的重點將先介紹模型的能力,然後在第 如何以高速方式構建 Kolibri 一節中進一步說明。

企業與政府的基礎能力

使用 Kolibri,我們在模型能力與部署成本之間進行最佳化,採用 78B 個總引數中 3B 個活躍引數。Kolibri 在英語與德語的品質與服務成本 Pareto 前沿上。Pareto 前沿是經濟學概念,標示兩個目標最佳可達組合,提升一方必須犧牲另一方。相比之下,其他模型無法在相同服務成本下提供更高品質,亦無法以更低成本提供相同品質。

平均基準分數 [%]

英語

德語

  • Kolibri
  • Kolibri Origin
  • 其他已訓練模型
  • 帕累托前沿
Post-trained 模型在英語(左)與德語(右)的效能與吞吐量對比。指標顯示未加權平均基準分數,對比每秒解碼文字與 GPU。越高、越往右越好。

在數學、程式碼、基礎知識及長上下文任務上,Kolibri 的表現與活躍引數數量高達四倍的模型相當,例如 Nemotron 3 Super。

Show the numbers
基準KolibriKolibri OriginQwen3.6-35B-A3BNemotron 3 Super 120B-A12BMistral Small 4 119B-A6B
AIME 202596.981.984.691.779.8
AIME 2025 (DE)87.573.582.985.672.3
AIME 202696.081.591.090.483.1
AIME 2026 (DE)90.075.284.487.578.5
GPQA (diamond)84.368.183.478.074.7
GPQA (diamond, DE)81.358.580.676.672.9
AA-Omniscience Index-32.8-64.0-15.3-36.5-24.0
BrowseComp29.44.426.929.1–
τ³-bench banking38.15.710.615.55.7
τ²-bench retail69.958.571.667.562.9
τ²-bench airline76.758.770.772.740.0
τ²-bench telecom94.767.599.168.141.5
BFCL v4 overall61.436.467.261.058.0
LiveCodeBench v685.959.282.582.071.2
HumanEval+92.776.892.894.792.8
LongBench Pro64.5–70.862.956.4
AA-LCR68.3–69.767.052.3
Kolibri 的基礎能力。 Kolibri 是一個平衡的多面向模型,在數學、程式碼、長文本、代理能力與知識方面表現競爭。基準分數以共用的 0–100 分量表顯示,分數越高越好。

Contextualized performance for real-world applications

公共基準未能捕捉專業領域需求,因此我們為客戶關心的垂直領域(例如德國公共部門、航空、製造和汽車產業)開發了自己的內部評估套件。每套套件都映象這些領域所需的技能、工作流程和邊緣案例,並配合合成訓練環境讓我們在不使用客戶資料的情況下提升 Kolibri 在這些評估上的表現。更多資訊請參閱 Contextualized performance 章節。

內部客戶代理基準分數

  • Automotive supplier 0.72 → 0.99
  • Semiconductors 0.35 → 0.80
  • German public sector 0.54 → 0.75
  • Industrial drive technology 0.31 → 0.60
  • Aerospace 0.14 → 0.59
  • one checkpoint, one eval
  • mean of that day
  • Kolibri Origin
  • Kolibri
情境化表現跨越後續訓練執行,針對內部客戶代理基準。點代表單一訓練檢查點的評估,線代表每日評估的平均值。表現於五大垂直領域皆提升,分數越高越好。

回答根據您提供的檔案。我們使用放棄(abstention)資料和 Merlin‑Arthur 協議訓練 Kolibri。因此,當答案不在上下文中時,它會說「我不知道」。客戶重視並要求此功能,我們持續追蹤並驗證放棄準確度。更多細節請見 Grounding 章節。

原生德語與英語模型。 我們開發了雙語德語/英語分詞器 並在模型訓練過程中專注於納入有機德語資料,因此預訓練代幣中有 21.3% 為德語。 我們僅少量使用翻譯(總量 6%),因為翻譯文本往往帶有其來源語言的文化 指紋。結果是一個設計上即為雙語的模型,而非 閱讀過少量德語的英語模型。更多資訊請參閱德語預訓練資料與專業分詞器。

設計即控制與合規:維護客戶主權

我們從頭開始構建 Kolibri,考慮到歐盟 AI 法案、通用 AI 行為準則與 GDPR,並以著作權法為重點,以打造可信賴的技術。

我們對模型權重以及訓練資料的策劃保持透明,以便開發背後的決策可見。透過其推理痕跡,模型能可解釋其得出特定答案的過程。憑藉Merlin‑Arthur 協議,模型確立可信度:Kolibri 在上下文不支援答案時會選擇不回覆。

我們的團隊在德國構建模型,並於德國與芬蘭的基礎設施下訓練,遵循歐洲及德國法律,且沒有外國控制。我們掌握整個流程,從資料策劃、預訓練與後訓練,到在 Model Factory 內的最佳化。此端到端流程的控制支撐了模型的主權。控制權亦轉交給客戶,而 Kolibri 的小規模則讓他們在部署上擁有完整自由,並支援可控的推理投入,以在成本與延遲與答案品質之間做取捨。

我們如何以高速打造 Kolibri

我們的 Model Factory:兩個模型,三個月間隔

我們的 Model Factory 是對迭代速度的回應,將從瞭解模型錯誤到訓練更好模型所需時間降至最低。我們將訓練流程實作為程式碼,讓團隊的經驗能以一個版本化的訓練配方呈現,而非零散的指令碼與筆記。以下是 Kolibri Origin 與 Kolibri 之間的實際流程。

工作在一月開始。經過五個月和數百次消融測試,Kolibri Origin 在 6 月 11 日完成了目標規模的預訓練。Kolibri 在 9 月 11 日完成。這兩個日期之間的三個月,我們將引數從 30B 提升到 78B,將 65k-token 的上下文視窗擴大到最多 1M,並將訓練 token 從 7.5T 增加到 20T。為了得到這 20T,管線處理了超過 200T 個原始資料 token,進行過濾、去重並精選,最終得到我們實際訓練的資料。 我們改進了注意力設計,將專家數量增至三倍,提升了稀疏度,替換了路由演算法,改進了後訓練資料,將環境任務數量翻倍以上,並教導模型在四個不同努力層級下推理。兩個模型每個 token 的活躍引數數量相近,但 Kolibri 每個 token 的訓練速度比 Kolibri Origin 更快,這得益於我們效率團隊的工作。

Kolibri Origin Kolibri
完成預訓練11 June 202611 September 2026
釋出未公開釋出3 October 2026
推理模式是(僅一種模式)是(無、低、中、高)
總引數30.6B78.1B
每 token 活躍引數3.27B3.46B
預訓練 token7.51T20T
層數50(2 個密集 + 48 個 MoE,1 個共享專家)50(全為 MoE,1 個共享專家)
預訓練上下文長度8,192 (8k)16,384 (16k)
最大訓練長度65,536 (64k)262,144 (256k)
分詞器詞彙表96,000128,000
模型維度2,0482,560
注意力頭(查詢 / KV)32 / 448 / 4
專家(總數 / 活躍數)128 / 8384 / 6
專家隱藏維度768512
注意力模式全注意力,所有層滑動視窗(512)+ 每 5 層一次全注意力
知識截止EN: 1 Sept 2024, DE: 1 Aug 2025EN/DE: 18 Jun 2026

使這一切成為可能的是我們的訓練管線,將研究級模型開發轉化為一個完全自動化、可投入生產的基礎設施,用於設計和訓練大型語言模型。我們的管執行緒式碼庫由所有人共享。每一次提出的程式碼變更都會觸發一個小型的端到端模型執行;訓練、評估,以便在幾分鐘內發現是否出錯。我們的執行是 GitHub Actions 工作流程,重現一次即意味著檢出一個提交。我們使用管線進行主訓練以及數百次消融測試,以制定我們的架構和資料混合決策。

訓練檢查點大約每小時一次,管線會自動對其進行英語和德語知識、數學、程式碼、指令跟隨、工具使用、長上下文、安全、避免幻覺和基礎定位等評估。我們可以每天觀察能力的出現,而不是等到結束後才知道模型表現如何。整個執行的表現比預期更好。在 Kolibri 的 21 天預訓練期間,我們遇到 38 次未計畫的中斷,約每 10,000 GPU 小時一次,原因是硬體故障或連線逾時。這些都由管線自動處理,無需人工介入。叢集會自動在不同節點上重新啟動訓練工作,並且訓練會從大約 250 步前的檢查點繼續。

能夠接觸整個流程,且所有人都能存取檢查點,意味著任何團隊都能從頭到尾擁有一項完整的能力,而不是僅僅負責組裝線上的某個階段。某個團隊將 Kolibri 的基礎能力作為一個整體進行訓練與評估,並順利整合進整體模型。

然而,達成這一步並非一條直線。我們跌倒了。當發現一個逃脫測試的資料洗牌 bug 後,我們在使用了幾兆個 token 之後停止了 Kolibri Origin 的預訓練,並從頭開始重新啟動。 我們進行了消融實驗、做出決策,卻在之後發現配置中還有 bug 或錯誤,迫使我們重新跑一些實驗。除了自身經驗,我們還追蹤了最先進的架構、最佳實踐以及 LLM 最新研究進展。這些累積的學習促成了流程改進與管線安全防護的提升。

觀察 Kolibri Origin 與 Kolibri 的差異,改進顯著,但這也是一個較易的方向:更多引數、更多資料、已熟悉的架構族群,且仍處於小規模。當我們考慮擴大規模時,我們樂於面對基礎上的挑戰。但今年我們最持久的成果並非管線,而是一支已證實具備從原始資料快速構建、後訓練並交付 LLM 的團隊。

架構與預訓練

Kolibri 擁有 78B 總引數,較 Kolibri Origin 多 2.5 倍,約 3B 為活躍引數。在實驗中,將模型大小從 32B 擴大至 123B 使表現持續提升。然而,較大的規模帶來更高的訓練與部署成本。後者促成了決策:123B 只能在兩張 H100 上同時處理 3 個長上下文 256k-token 的使用者查詢,而 78B 能同時處理 18 個請求,且解碼速度快 28%。我們採用 384 個較小的專家而非較少的寬專家,因為它們在測試中表現更佳。我們將同樣的效率優先邏輯應用於注意力機制。在 50 層總層數中,僅有 10 層處理完整上下文,其餘 40 層使用緊湊的 512-token 專注視窗。這使得在這些層中無論上下文長度如何,解碼計算與記憶體都保持受限。效率提升同時有利於模型部署與後訓練 RL 的訓練,後者依賴大量推理。

我們在三個階段使用 768 B200 GPUs 訓練 Kolibri:21 天內以 16k 序列長度進行 20T 令牌的預訓練,64k 序列長度的 3.44T 令牌中訓練,以及 256k 序列長度的 200B 令牌長上下文適配。總計近 24T 令牌,約為 Kolibri Origin 的三倍。德語佔預訓練混合的五分之一以上,大約 4.3T 令牌,英語約 62%,程式碼 14%。相較於預訓練,中訓練資料是更具挑選性的精心策劃資料集,偏重推理、問題解決、程式碼和代理資料。對於長上下文,我們不僅僅訓練長檔案,因為這會削弱先前獲得的技能,而是將長檔案與上一階段的高品質中訓練資料交錯。對於長上下文混合,我們移除了合成長檔案,以避免像 RULER 這樣的基準測試被人工膨脹。

我們使用 Muon 進行最佳化,與 Kolibri Origin 相同。特別著重於訓練穩定性,從而在兩個模型的訓練過程中都沒有任何損失峰值。對於 Kolibri,在訓練期間進行專家路由時,我們引入了精確分位數平衡。分位數平衡在 Kimi K3 中首次提出,當時全球分位數是從直方圖估計的,因為精確計算被認為太昂貴而難以傳輸;我們證明它可以以固定成本、與批次大小無關的方式精確計算,且精確度同時提升了負載平衡與模型質量。

大規模後訓練

後訓練分為兩個階段;第一步是監督式微調,教導模型核心推理能力以及如何在聊天中互動,隨後進行大規模強化學習,使模型能在多樣化的長期任務中推理。我們為這兩個步驟構建了管道,從而能對模型行為進行細粒度控制。

對於 SFT,我們生成了總計 174B 令牌的合成資料,並對其進行品質篩選,與授權寬鬆的開源資料集經過篩選後結合,得到 268B 令牌的高品質訓練混合。對於強化學習,我們在包含超過 120 萬個精心策劃任務、涵蓋程式碼 & 數學推理、代理任務、指令跟隨、問答、工具呼叫等多樣領域的廣泛環境中進行訓練。我們優化了內部訓練程式碼庫以提升效能,並採用非同步訓練:在同時使用目前模型生成環境中的訓練資料,並在已生成資料上訓練模型。

在兩個階段中,我們教導模型以不同努力程度(無、低、中、高)推理,意味著使用者可以控制模型為解決當前任務投入多少計算資源。這使得客戶能在成本與推理速度與最終答案品質之間進行權衡。

德語預訓練資料

根據我們對小型代理模型的實驗,我們發現使用約 20% 的德語資料進行訓練能達到最佳效果,這意味著我們需要收集 4T 的德語 tokens 以在 20T 的預訓練規模下訓練模型。開放的德語資料集雖然有幫助,但遠不足以滿足需求:在去重與過濾後,我們僅剩下 390B 的德語 tokens,遠低於目標。正如我們在 Sauerkraut, Not Burgers 所主張的,德語能力必須來自高品質的德語文本;過度依賴機器翻譯會因微妙的翻譯錯誤和缺乏真實的德語文化背景而導致結果不佳。我們以三種不同方式填補了 tokens 的缺口。

第一種做法是自行從 Common Crawl 針對性地整理德語資料。我們建立了一套專門處理德語資料的管線。德語並非英語,且德語資料無法像英語資料那樣進行過濾:我們必須為德語重新調整過濾引數。語言資料管線中常見的一種過濾方式是移除包含過多長詞的檔案,但德國行政文書的平均詞長常常超過英語的上限,導致標準設定悄悄地把公共行政所使用的語體剔除。調整後,我們的德語管線為我們提供了 1.3T 個獨特的德語網路原生 tokens。

第二種做法是重新表述我們已經擁有的德語檔案。LLM 會將原始德語檔案重新寫成百科條目、問答對話或文本段落的風格,並保留其內容。這樣可以讓模型以多種表面形式學習相同的事實,並在稀缺資料中放大資訊量,且這與翻譯是不同的操作:來源仍是德語,因此主題與文化親和力保持德語化——總理,而非總統。它並未加入太多新知識,而是將已存在於語料庫中的知識用新的表述方式呈現。重新表述為我們提供了約 1T 的獨特 tokens,成為模型中最大的德語來源。

第三種做法是翻譯,我們僅在 Kolibri Origin 中採用此方法。將英語翻譯成德語在模型、提示語和分塊方式選擇得當時會奏效,但它存在兩個問題。輸出仍可能呈現翻譯腔,即字面化的成語翻譯:"Drive safe!" 變成 "Fahre sicher!",而非 "Komm gut an!"。更重要的是,文化語境無法被翻譯。由英語翻譯而成的語料庫會繼承英語網路的地理、人口與機構分佈,因此在此基礎上訓練的模型會用德語談論一個看似美式的世界。

最終,德語以 2.4T 個獨特 tokens 的規模進入 Kolibri,其中 80% 由我們策劃或生成,20% 來自開放資料集,模型在預訓練 tokens 的 21.3% 內接觸到它,約 4.3T 的 tokens 經過上取樣後覆蓋 20T 的訓練。每個德語 token 平均被見到 1.8 次,遠低於四個 epoch 的上限,超過此數值後重複不再帶來收益。模型閱讀的德語中約 85% 為網路文本,無論是原始還是從原始文本重新表述的。其餘則是策劃檔案——議會紀錄、法律文本以及其他公共領域資料——以及那少量的翻譯份額。

專為英德雙語設計的分詞器

我們建立了一個英德雙語分詞器,並在每個模型的預訓練資料集上進行訓練與專門化。 由於資料中德語佔比達 21%,它在壓縮德語方面優於其他最先進模型。 這使推理更高效(較少 tokens),降低成本並縮短回應時間。 我們提出一種新的分詞器訓練方式 UniBPE,能更好地尊重語言形態學,特別是德語的複合結構,而不犧牲英語 token 的效率。

德語網路 (FineWeb-2)

  • Kolibri 128,000 詞彙 4.90
  • Kolibri Origin 96,000 詞彙 4.69
  • Plain BPE 128k 128,000 詞彙 4.89
  • GPT-5 200,019 詞彙 4.35
  • DeepSeek V4 129,280 詞彙 3.72
  • Kimi K3 163,586 詞彙 3.28
  • GLM 5.3 154,856 詞彙 3.93
  • Qwen3-Next 151,669 詞彙 3.59
  • Qwen3.5-3.8 248,077 詞彙 4.17
  • Gemini 262,144 詞彙 4.13
  • EuroLLM 128,000 詞彙 4.08
  • Tekken (Mistral, Nemotron, Apertus) 131,072 詞彙 4.03

English web (FineWeb)

  • Kolibri 128,000 詞彙 4.58
  • Kolibri Origin 96,000 詞彙 4.50
  • Plain BPE 128k 128,000 vocab 4.59
  • GPT-5 200,019 vocab 4.67
  • DeepSeek V4 129,280 vocab 4.59
  • Kimi K3 163,586 vocab 4.62
  • GLM 5.3 154,856 vocab 4.61
  • Qwen3-Next 151,669 vocab 4.52
  • Qwen3.5-3.8 248,077 vocab 4.47
  • Gemini 262,144 vocab 4.49
  • EuroLLM 128,000 詞彙 4.16
  • Tekken (Mistral, Nemotron, Apertus) 131,072 詞彙 4.45
Tokenizer 在德文與英文網頁文本上的平均每個 token 壓縮位元組數。Kolibri 在此比較中達到最佳德文壓縮效果。Plain BPE 128k 是在相同資料與相同設定下訓練的標準 BPE,與 Kolibri 的訓練方法隔離開來。每個 token 的文字越多,任務所需 token 越少——越高越好。

訓練 tokenizer 的兩大主流方法是 BPE 與 Unigram。我們結合兩者,保留 BPE 的自下而上方法,並使用 Unigram 的訓練目標來選擇加入詞彙表的 merge。在我們的英德資料集上訓練的 128k 詞彙表中,這大幅提升了 tokenization。

Bundessozialgerichtes Federal Social Court(所有格)

  • Kolibri Bundes sozial gericht es
  • GPT-5 Bund ess oz ial gericht es
  • Qwen3.8 Bund ess oz ial gericht es
  • Gemini Bundessozialgerichtes
  • Mistral Medium 3.5 · Nemotron 3 Nano Bundessozialgerichtes

蠶蛹

  • Kolibri 絲綢蛹
  • GPT-5 silkworm
  • Qwen3.8 silkworm
  • Gemini silkworm
  • Mistral Medium 3.5 · Nemotron 3 Nano silkworm

日誌資料 日誌資料

  • Kolibri 協議資料
  • GPT-5 Pro tok ol ld aten
  • Qwen3.8 Protokol ld aten
  • Gemini Protok ol ld aten
  • Mistral Medium 3.5 · Nemotron 3 Nano Pro tok ol ld aten

共處理器

  • Kolibri 共 處理器
  • GPT-5 共 處理 器
  • Qwen3.8 共 處理 器
  • Gemini 共 處理 器
  • Mistral Medium 3.5 · Nemotron 3 Nano 共 處理 器
不同分詞器如何拆分相同的單字。Kolibri 分詞器遵循語言的形態學。英語和德語單字會拆成有意義的單位,而競爭對手則跨越詞素邊界切割。越低越好:每個單字拆分越少、越乾淨,代表 token 數量越少。

Grounding:降低幻覺

常見的 LLM 訓練與評估會獎勵猜測:猜測有機會得到正確答案,而不回答則沒有機會。因此,模型會學會用它所擁有的任何資訊回覆,即使輸入並未提供足夠資訊以支援回覆。要求模型提供引用往往因同樣原因適得其反:模型只需幻覺出看似可信的來源以佐證未根據的答案。

對於受監管的客戶而言,知道何時不回答的模型是試點與正式部署的分水嶺。我們將「我不知道」視為重要的模型能力,並 (1) 研發並追蹤專門的依據與防幻覺措施,(2) 採用並開發專門的訓練程式以提升此不回答能力。

訓練時,我們使用正確答案為「我不知道」的訓練資料樣本。雖然針對不回答的微調正在業界普及,高品質的負樣本仍難以取得,尤其是在客戶需求高、資料稀缺的窄領域。因此,我們也使用自家開發並在Merlin-Arthur程式中詳細說明的blog post,該程式透過在每個訓練步驟自動利用模型弱點,並從現有檔案生成合成負樣本,解決資料稀缺問題。此訓練變成三人遊戲。Arthur 是我們訓練並交付的模型。Merlin 取一個現有檔案上下文,生成一個能提升 Arthur 正確回答機率的新上下文。Morgana 則透過剔除檔案中相關證據,產生新的資料點,試圖誘使 Arthur 幻覺。Arthur 不知道自己面對的是哪一個,因而其正確策略是仔細閱讀問題與上下文,能在 Merlin 的上下文中回答,同時意識到對於 Morgana 的刪減上下文,唯一正確答案是放棄——任何猜測,即使幸運,也會錯誤。

為衡量幻覺放棄,我們使用已建立的基準並結合自訂的代理指標,這些代理來自客戶使用案例。我們亦開發了自己的「M/A 依據分數」,該分數源自 Merlin‑Arthur 設定,代表答案中可證明來自檔案的最低比例。

Kolibri 的幻覺遠低於 Kolibri Origin:在 AA-Omniscience 專案中,Kolibri 以 44% 的比例放棄回答錯誤(Origin 為 15%),而在 RGB 上則更頻繁地保留回覆(86% vs 74%),並且產生的虛假陳述較少(87% vs 76%)。在我們自己的 M/A 依據分數(該分數證實而非估算答案來自檔案的比例)中,Kolibri 取得 0.23,而 Kolibri Origin 以及其他部分模型則為 0。

Show the numbers
基準KolibriKolibri OriginQwen3.6-35B-A3BQwen3-Next 80B-A3BNemotron 3 Super 120B-A12BMistral Small 4 119B-A6B
AA-Omniscience 非幻覺率44.014.856.712.313.934.7
RGB:停滯85.673.979.681.374.682.3
RGB:不創造任何東西87.375.684.383.986.087.0
FRAMES71.265.774.768.974.971.9
M/A 基礎分數0.230.000.120.000.000.06

Contextualized performance

大部分公開基準測試未能捕捉專業領域需求。為衡量上下文化表現——即模型對特定產業獨特工作流程與領域知識的處理能力——我們需要在對客戶重要的專業垂直領域中測量表現,如德國公共部門、法律、硬體、消費電子及汽車。

為此,我們首先構建了領域專屬的評估套件,模擬關鍵行業所需的技能、工具呼叫、工作流程與邊緣案例,從而捕捉上下文化表現。完成後,我們透過生成高品質的專業合成資料來建立訓練環境,捕捉所需技能。為提升模型在實際任務中的魯棒性,我們還在具體細節(工具、配置、硬體)周圍隨機化環境。

這些共同構成了一個迭代引擎,使我們能夠提升模型的代理式 RAG 能力、領域特定邏輯與功能,並在未曾使用客戶資料訓練的情況下提升上下文化評估。

這些評估套件會自動執行於我們的流程中:每個檢查點落地時都會在其上進行評分。Kolibri 與競爭對手的開源權重模型相比,表現良好。在代理式 RAG 基準 Honeypot 上,Kolibri 超越所有比較模型,甚至比更大型的 Nemotron 3 Super 與 Mistral Small 4 更優。於清理版代理式 RAG 基準 MuSiQue 上,Kolibri 只落後於更大型的 Nemotron 3 Super,且遠超其餘模型。在五個客戶應用中,Kolibri 在四個案例中領先或與最佳模型相當。這些結果說明我們能處理多種資料與硬體設定,跨用例運作,而對手模型則對這些細節敏感。

這些衡量上下文化表現的評估存在的原因是客戶告訴我們其應用的不足。每一項都編碼了我們從對話中學到的內容:哪些檔案重要、模型應該使用哪些工具、哪些問題難以回答、部署系統在哪些地方讓使用者感到沮喪。這使得交流在雙向上都具體化。客戶展示失敗案例時,我們會將其轉化為基準,所有未來的檢查點都以此為衡量,且我們能在不使用客戶資料或冒過擬合風險的情況下提升目標。

Show the numbers
BenchmarkKolibriKolibri OriginQwen3-Next 80B-A3BQwen3.6-35B-A3BNemotron 3 Super 120B-A12BMistral Small 4 119B-A6B
MuSiQue (cleaned)77.342.750.561.279.166.8
Honeypot80.825.313.574.368.868.1
半導體80.435.341.279.469.662.7
德國公共部門75.054.029.572.078.050.0
航空航天58.914.148.159.054.947.0
汽車供應商99.072.484.292.691.087.1
工業驅動技術60.031.432.759.537.356.8

基準測試

基準測試使用我們自己的 own harnesses 執行,並且在適用時所有模型都使用最高的推理努力。

型別 MoE MoE MoE Dense
主動引數 3B 4–6B 12B 27B · 70B
基準測試 Kolibri Kolibri Origin GLM-4.7 Flash 30B-A3B Nemotron 3 Nano 30B-A3B Qwen3.5 35B-A3B Qwen3.6 35B-A3B Qwen3-Next 80B-A3B Thinking Gemma 4 26B-A4B IT GPT-OSS 120B Mistral Small 4 119B-A6B GLM-4.5 Air 106B-A12B Nemotron 3 Super 120B-A12B Qwen3.8 27B Apertus 70B Instruct
總體 (EN) 75.5 54.1 64.7 65.6 74.7 71.4 62.4 71.9 72.3 63.1 64.4 73.0 80.2 –
總體 (DE) 70.8 46.4 50.4 59.3 69.8 67.3 58.0 66.3 70.2 61.4 64.8 67.9 79.9 –
知識
平均 (EN) 50.1 39.7 45.5 46.0 52.7 52.1 48.4 51.4 50.0 47.5 45.7 52.0 56.8 –
平均 (DE) 57.6 44.9 46.5 41.2 61.3 61.0 55.7 61.5 58.0 51.4 52.2 59.5 69.2 –
GPQA Diamond (EN) 84.3 68.1 73.1 73.9 83.8 83.4 76.1 81.1 76.4 74.7 73.2 78.0 89.2 29.5
GPQA Diamond (DE) 81.3 58.5 59.8 49.6 84.2 80.6 72.2 80.1 76.0 72.9 71.1 76.6 88.1 31.4
Humanity's Last Exam (EN) 21.5 9.4 15.4 12.1 20.4 21.1 11.6 19.2 19.4 9.7 8.7 20.6 35.6 5.2
Humanity's Last Exam (DE) 15.9 10.4 9.1 13.1 18.1 20.5 15.6 23.4 20.7 10.5 10.5 22.3 37.2 5.7
AA-Omniscience Accuracy (public set) 14.8 11.3 17.0 19.5 22.0 19.5 24.2 20.7 23.3 25.0 20.0 26.7 17.5 13.5
AA-Omniscience Index (public set) −32.8 −64.0 −62.8 −45.7 −47.3 −15.3 −42.3 −47.3 −35.2 −24.0 −28.8 −36.5 −9.5 –
MMLU-Pro CoT (EN) 80.0 70.1 76.5 78.3 84.6 84.3 81.7 84.5 80.8 80.4 80.9 82.7 85.0 43.0
MMLU-ProX CoT (DE) 75.5 65.7 70.7 61.0 81.7 81.9 79.4 81.1 77.2 70.7 74.9 79.7 82.4 37.3
數學
平均 (EN) 96.5 81.7 88.8 88.8 90.1 87.8 86.3 87.4 90.7 81.4 82.8 91.1 97.8 –
平均 (DE) 88.8 74.3 45.2 84.3 79.6 83.7 83.7 88.1 90.8 75.4 80.6 86.5 96.7 –
AIME 2025 (EN) 96.9 81.9 89.4 89.6 88.1 84.6 84.2 87.3 90.6 79.8 81.9 91.7 97.9 0.6
AIME 2025 (DE) 87.5 73.5 43.8 84.4 76.7 82.9 80.6 88.1 90.6 72.3 80.6 85.6 96.5 0.2
AIME 2026 (EN) 96.0 81.5 88.3 87.9 92.1 91.0 88.5 87.5 90.8 83.1 83.8 90.4 97.7 0.6
AIME 2026 (DE) 90.0 75.2 46.7 84.2 82.5 84.4 86.7 88.1 91.0 78.5 80.6 87.5 96.9 0.0
代理
平均 (EN) 63.4 41.6 58.9 46.4 63.4 62.1 46.3 54.6 54.0 40.7 53.5 54.9 66.7 –
TerminalBench 2.1 27.7 – 20.2 9.7 39.7 – 8.6 – 29.2 21.0 – 39.7 76.8 –
Tau2-Bench (Telecom) 94.7 67.5 95.9 45.9 97.7 99.1 43.9 45.3 73.1 41.5 53.8 68.1 82.5 10.8
Tau2-Bench (Retail) 69.9 58.5 57.9 64.9 70.8 71.6 60.8 71.3 60.5 62.9 61.4 67.5 68.7 9.6
Tau2-Bench (Airline) 76.7 58.7 68.7 52.7 76.0 70.7 65.3 73.3 72.7 40.0 70.7 72.7 83.3 40.0
Tau3-Bench (Banking) 38.1 5.7 7.2 5.7 11.3 10.6 5.4 16.0 14.7 5.7 6.4 15.5 50.0 2.1
BFCL v3 (multi-turn) 39.8 22.8 58.2 47.9 54.0 53.5 51.4 53.4 45.6 36.2 61.6 44.6 42.5 0.6
BFCL v4 (overall) 61.4 36.4 65.4 61.5 70.5 67.2 51.0 68.2 57.3 58.0 67.2 61.0 73.2 –
BFCL v4 (non-live AST) 79.1 78.1 83.3 85.0 85.8 88.2 83.6 83.7 35.8 83.6 85.5 45.0 85.3 –
BFCL v4 (live) 78.9 73.7 78.3 78.8 80.2 81.4 82.5 80.2 70.4 78.4 78.2 77.6 79.9 –
BFCL v4 (multi-turn) 47.5 27.5 62.7 53.5 59.9 58.1 56.0 61.4 55.4 40.4 65.2 51.7 55.5 –
BFCL v4 (memory) 62.8 19.4 41.5 39.1 62.6 53.8 35.3 52.9 50.7 39.1 43.4 59.6 79.6 –
BFCL v4 (web search) 62.5 10.5 69.0 66.0 75.0 68.5 12.5 75.0 57.0 69.0 71.0 71.5 82.0 –
BrowseComp 29.4 4.4 – 14.5 36.5 26.9 2.8 25.5 31.2 – – 29.1 46.4 –
Code
Average (EN) 89.3 68.0 67.8 81.8 85.0 87.7 83.6 89.0 90.8 82.0 79.8 88.3 94.2 –
LiveCodeBench v6 85.9 59.2 46.5 71.3 77.8 82.5 73.9 82.3 87.5 71.2 67.8 82.0 93.8 8.7
HumanEval+ 92.7 76.8 89.0 92.4 92.2 92.8 93.3 95.7 94.1 92.8 91.8 94.7 94.7 41.6
SWE-Bench Verified 66.4 – 51.0 38.6 71.6 73.8 – 57.8 – 60.8 11.6 60.2 72.6 –
Instruction Following
Average (EN) 78.1 62.5 64.5 73.2 72.7 66.1 60.7 79.9 71.1 49.8 38.2 73.7 81.9 –
IFBench (loose-prompt) 78.1 62.5 64.5 73.2 72.7 66.1 60.7 79.9 71.1 49.8 38.2 73.7 81.9 25.5

開始使用

我們的模型以 Apache 2.0 授權公開於 Hugging Face。

Kolibri 需要 aleph-alpha-inference 套件,該套件提供 Kolibri 的 vLLM 外掛。您可以使用提供的容器映像 ghcr.io/aleph-alpha/aleph-alpha-inference,或從 Aleph-Alpha/aleph-alpha-inference 安裝該套件,該套件同時安裝其支援的 vLLM 版本:

pip install "aleph-alpha-inference>=1.0"

啟用推理與工具呼叫功能來服務模型。

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

若要服務超過 262,144 個 token 的上下文,請加入 --max-model-len 1048576 --hf-overrides '{"max_position_embeddings": 1048576}'。建議的取樣引數為 temperature=1.0、top_p=0.97 與 top_k=128。

聯絡我們進行部署與專業化

我們的團隊很樂意協助您進行企業部署與專業化選項:contact sales。

來源: hackernews100 (aleph-alpha.com)
開啟原文

讀者討論

理性交流 · 即時討論