跳到正文
hackernews100(tej.as)· tejaskumar__·· 2026-10-03品質評分69

Aleph Alpha 推出 Kolibri:開源多語言 LLM 支援德語與英語

Kolibri is an open-weight LLM from Aleph Alpha for German and English

重點導讀

Kolibri 是 Aleph Alpha 於 2026 年 10 月 3 日發布的開源多語言 LLM,擁有 78.1 B 引數,單個 token 只活躍約 3.46 B,支援德語與英語,並可在 1 M token 上下文中執行。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

正文 · 中文翻譯

Kolibri 是來自 Aleph Alpha 的開源權重大型語言模型(LLM),支援德文與英文:由 78 億引數的專家混合模型組成,對於每個讀寫的 token 只使用約 3.5 億個引數。 它於 2026 年 10 月 3 日以 Apache 2.0 授權釋出,權重位於 Hugging Face,並且在德國與芬蘭的基礎設施上從零開始訓練。 (Kolibri 是德語中「蜂鳥」的意思,對於一個整體以輕量為賣點的模型來說,這個名字很可愛。)

我住在德國,並且在 2024 年於 SmashingConf New York 時,我告訴聽眾我在美國聽到的話,說到我的所在地時:『你管制,你不創新。』聽起來很痛苦,我在那個舞臺上所期盼的是中間點,『在資料隱私、資料管理、環境限制與能源需求等方面,創新與管制之間的正確平衡。』Kolibri 正是對此的直接回應:一個德國團隊以 EU AI Act 為基礎「從頭開始」構建它,並且在 Aleph Alpha 自己的評估中,它在兩種語言的同等規模模型中都表現優於所有比較模型。

向 Aleph Alpha 所有參與建置的人送上熱烈祝賀,我的好友 Michael Hofmann 也不例外!

本文將說明 Kolibri 的運作方式、優勢與不足、如何部署,以及何時選擇它。所有內容皆來自 Aleph Alpha 的 189 頁技術報告、模型卡 和 釋出貼文,以及我對其分詞器進行的一項實驗。

Kolibri 是什麼?

Kolibri 1
引數 總計 78.1 億個引數,每個 token 只使用 3.46 億個(佔 4.4%)
語言 德文與英文
上下文 原生 262,144 個 token,已測試至 1,048,576 個
授權 權重與設定檔採用 Apache 2.0 授權(Aleph Alpha 保留其訓練程式碼與方法的權利)
記憶體 約 78 GB 的 8 位元浮點(FP8)權重
推論 4 個層級:無、低、中、高
工具呼叫 是
知識截止日期 2026 年 6 月 18 日
訓練 約 24 兆個 token,其中超過五分之一為德文,使用 768 臺 NVIDIA B200 GPU 進行訓練

Aleph Alpha 稱 Kolibri 為主權型,在他們的釋出貼中這意味著兩件事。 第一個是它的構建方式:‘團隊在德國建模,使用德國和芬蘭的基礎設施訓練,遵循歐盟和德國法律,且無任何外國控制。’ 第二個是客戶獲得的權益:‘完全的部署自由和智慧財產權安全,因此合規性成為一種繼承屬性。’ 簡而言之,政府部門或汽車供應商可以在自己的伺服器上執行它,資料永不離開建築,且無人能在其控制下更改或關閉模型。Aleph Alpha 亦已簽署 European Union 的 General-Purpose AI (GPAI) Code of Practice.

主權並不意味著沒有任何來自歐洲以外的內容進入,模型卡本身也說明了這一點:英文網頁文本使用 Google 的 Gemma 4 進行改寫,德文文本使用 Mistral‑NeMo,並使用 Qwen3‑32B 標記資料進行質量過濾。他們隨後對訓練資料進行政治偏見過濾,這是模型可能存在的偏見,他們已經在 中文開源模型 自身測量過。

Kolibri 的工作原理

Kolibri 由 6 個理念層疊而成,每個理念都旨在使德文更便宜、更長或更誠實。

1. 384 位專家,每個 token 看到 6

在正常(密集)模型中,每個 token 都會經過所有引數。在 混合專家(MoE) 中,每一層都有一群稱為專家的小子網路,還有一個路由器為每個 token 選擇其中幾個。Kolibri 有 50 層,每層有 384 個專家再加上一個所有 token 都會通過的共享專家,路由器會將每個 token 送到 384 個專家中的 6 個。這樣 78.1 億引數就被轉換成每個 token 3.46 億的實際工作量。

2024 年,我做了一場題為 小型語言模型是未來 的講座,並主張「更小的語言模型擁有更少的引數,且錯誤發生的可能性更低,所需算力也更少。」我的比喻是:一位閱讀過全世界所有醫學書籍的醫生,與血液科專家相比:若遇到血液問題,專家可能因為知識太多而搞錯。混合專家模型就像把一間醫院裡的所有專家都放進一個模型,路由器則是接待員,把每個 token 送到正確的 6 位專家。

不過這個比喻在兩點上失效。專家並非像「德國法律」這樣整齊的主題:當研究人員 檢視 MoE 模型 時,他們大多發現的是針對 token 模式的專家,例如標點符號或專有名詞,而不是人們會挑選的學科。且醫院必須保留所有 384 位專家,即使你只會見到其中 6 位,所以 Kolibri 的計算效能相當於 3.5 億引數模型,但仍需 78 億引數模型的記憶體。 模型卡明確說明:「即使只使用其中一部分,完整模型仍必須載入記憶體。」

2. 一個能讀取長德文單字的 tokenizer

模型不是閱讀字母或單詞,而是閱讀 token:從固定詞彙表中挑選的文字片段,這些片段在 tokenizer 訓練時確定。德文將單字連在一起形成長複合詞,而大多從英文學習的 tokenizer 會把它們切成片段。以下是 聯邦憲法法院 的德文名稱,由 GPT-4o 以及 GPT-5 所用的 tokenizer(o200k_base,透過 OpenAI 的 tiktoken)分割,以及 Kolibri 的 tokenizer 分割:

o200k_base (GPT-5):  Bund | es | ver | fass | ungs | gericht     6 tokens
Kolibri:             Bundes | verfassungsgericht                 2 tokens

Kolibri 的 tokenizer 擁有 128,000 個 token,使用 Aleph Alpha 所稱的 UniBPE 新演算法訓練:它保留了自底向上的 位元組對編碼(BPE) 合併,並以不同的評分規則(Unigram 目標)選擇每一次合併,符合德文組詞方式。報告指出,對於德文文本,它比 GPT-5 的 tokenizer 少用了 11.2% 的 token,且在測試的 9 個其他 tokenizer 中表現最佳。

我想親自驗證,於是我對整本 德意志聯邦共和國基本法(德國憲法,185 KB 的純德文法律文本)以及其 官方英文翻譯 進行了 6 個 tokenizer 的測試:

Tokenizer 德文 token 超過 Kolibri English tokens More than Kolibri
Kolibri 1 35,190 39,875
o200k_base (GPT-4o, GPT-5, GPT-OSS) 41,482 17.9% 39,737 -0.3%
Qwen3.5 35B-A3B 42,907 21.9% 41,650 4.5%
Mistral Small 4 43,478 23.6% 41,301 3.6%
Gemma 4 43,850 24.6% 41,564 4.2%

在法律德語方面,Kolibri 需要的 tokens 比 GPT-5 的 tokenizer 少 15%,甚至比 Aleph Alpha 自己的 11.2% 還少,在英語上則與之持平。真是驚人。較少的 tokens 意味著閱讀或寫入相同德語文本的步驟更少,並且在同一個上下文視窗中可以容納更多德語文本。(我用自己的 tokenizer.json 透過 Hugging Face 的 tokenizers 函式庫計算每個,除非 o200k_base,我用 tiktoken 計算。)

3. 大部分層只關注附近

Kolibri 的 50 層中有 40 層使用滑動視窗注意力:每個 token 只會參考前 512 個 token。每第五層會參考所有之前的 token。這就像閱讀長篇合約時,主要注意目前所在的句子,並且每隔幾頁停下來思考整篇內容,這種機制讓 100 萬 token 的上下文能夠負擔得起。

這裡還有一個巧妙的細節。只有滑動視窗層知道 token 的位置(透過 rotary position embeddings),而全注意力層則不知道,因而上下文可以延伸至 262,144 個 token 之外,且不需要額外的位置資訊技巧。Aleph Alpha 已驗證至 1,048,576。

在我的演講 Unlocking Value with AI Today 中,我將有限上下文視為生成式 AI 的「三大問題」之一,與幻覺(hallucination)以及知識截止(knowledge cutoff)並列,Kolibri 將同時解決這三項。以 1 百萬 token 為例,在 RULER 長上下文測試中,Kolibri 的基礎模型得分 63.2,Qwen3.5 35B-A3B 的基礎模型則為 57.5。

4. 它以德語思考

推理模型會先思考再回答,即使在德語提示下,它們大多仍以英語思考。Aleph Alpha 發布了相關資訊,並於 9 月 24 日以 Through the Valley of Tears 為題撰寫,內容指出他們生成了約 80 萬個德語推理範例,發現少量德語推理資料比沒有還差。其模型的德語數學分數由 70.2 降至 48.3,因為其德語思考不斷迴圈而未完成,只有在加入更多德語資料後才回升至 67.3。

Kolibri 則大幅提升。它在德語提示下以德語推理,其德語數學分數在約 30 億個引數的模型中名列前茅:在 American Invitational Mathematics Examination (AIME) 2025 的德語測試中達 87.5,遠高於僅次之的 NVIDIA Nemotron 3 Nano 的 84.4。

5. 它已訓練說「我不知道」

幻覺是我三大問題中的第一項,而在那場演講中提出的解決方案是 Retrieval Augmented Generation (RAG):先搜尋可靠、權威的資訊並將其加入提示。RAG 只能在模型承認檔案中無答案時才有效,而 Aleph Alpha 正是用他們自己的方法——Merlin‑Arthur protocol——進行訓練。

它的運作方式像一場三人遊戲。Arthur 是模型,他收到一個問題,且支援檔案的部分被隱藏。Merlin 隱藏部分內容,使正確答案更易被找出,Arthur 也被訓練去回答這些。Morgana 隱藏答案所依賴的證據,而 Arthur 則被訓練說他不知道。Arthur 無法知道自己面對的是哪一種情況,因此唯一能贏的方法是實際檢查前方的證據是否支援答案。

這點有證據。於 Artificial Analysis’s Omniscience test 中,當 Kolibri 不知道答案時,它會說「不知道」(或給出部分答案)44% 的時間,而不是編造答案。Qwen3.5 35B-A3B 這個比例為 11.1%,GPT-OSS 120B 為 23.7%。在 Aleph Alpha 所比較的所有混合專家模型中,僅有 Qwen3.6 35B-A3B 的表現更好,達 56.7%。

6. 你可以選擇它思考的難度

每一次請求都可以設定 reasoning_effort、none、low、medium 或 high,因此快速查詢即時回覆,而難題則會讓模型進行長時間思考,皆由同一模型在同一伺服器上完成。

Kolibri 擅長的領域

以下列出 Kolibri 在 Aleph Alpha 評估中領先同等規模開源模型的專案,該評估以相同設定與製作者建議的抽樣引數測試每個模型:

什麼 Kolibri 最接近的模型,約 3B 活躍引數
整體分數(英文) 75.5 74.7 (Qwen3.5 35B-A3B)
整體分數(德文) 70.8 69.8 (Qwen3.5 35B-A3B)
AIME 2025(英文) 96.9 89.6 (Nemotron 3 Nano)
AIME 2025(德文) 87.5 84.4 (Nemotron 3 Nano)
未見公司檔案相關問題(英文) 89.7 87.0 (Qwen3.5 35B-A3B)
長語境(1 百萬 token,基礎模型) 63.2 58.5 (Nemotron 3 Nano)

數學題目是其亮點:在 AIME 2025 與 2026(英文)中,它擊敗了比較中所有 MoE 模型,甚至包括擁有 12 億活躍引數的模型;唯一分數更高的是稠密模型 Qwen3.8 27B。公司檔案相關專案是 Aleph Alpha 以半導體、德國公共部門、航空航天、汽車供應商與工業驅動等客戶類似工作為基礎設計的 5 個測試,涵蓋模型從未在訓練中見過的檔案與問題。

Kolibri 的弱點

Aleph Alpha 在模型卡中將最弱專案與最佳專案並列呈現,以下列出:

  • 它從記憶中學到的較少。 它在封閉式測驗中排名 12 個模型之末(Retrieval-Augmented Generation Benchmark 的無檔案問題,分數 51.0),正確回答 Omniscience 題目僅 14.8%,而 Qwen3.5 35B-A3B 為 22.2%。它能辨識自己不知道,這很好,但同時也記得較少:在提示中加入檔案時表現尚可,作為小知識問答機器人則表現不佳。
  • 多輪工具呼叫表現較弱。 在 Berkeley Function Calling Leaderboard 的多輪測試中得分 39.8,GLM-4.7 Flash 為 58.2,Qwen3.5 35B-A3B 為 54.0。
  • 它不是最佳編碼代理。 在 Terminal-Bench 2.1 上得分 27.7,Qwen3.5 35B-A3B 為 39.7;在 SWE-bench Verified 上得分 66.4,Qwen3.6 35B-A3B 為 73.8。
  • 長語境中段表現下滑。 在 RULER 上 128,000 token 時,Qwen3.5 基礎模型得分 89.9,Kolibri 只有 67.9;Kolibri 只在極長段才超越。
  • 記憶體。 78 GB 的權重代表需要一到兩塊資料中心 GPU,絕非筆電,哪怕 35 億引數也如此。
  • 基礎設施較新。 它需要 Aleph Alpha 的 vLLM plugin,一次只能支援一個 vLLM 版本(今日為 0.29),且在發布日尚無託管服務商提供。
  • 僅支援兩種語言。 這是有意為之:模型卡稱其為「深度優於廣度的有意選擇」。
  • 更大的稠密模型更勝一籌。 Qwen3.8 27B 在英文得分 80.2,德文 79.9,但每個 token 需要近 8 倍引數,這正是 Kolibri 所取的折衷。

如何執行 Kolibri

你需要約 78 GB 的 GPU 記憶體:至少兩塊 NVIDIA A100 或 H100(每塊 80 GB),或單一 H200、B200 或 B300。由於它需要資料中心 GPU,且目前尚無託管服務,故此資訊直接取自模型卡。首先是外掛,會安裝它所支援的 vLLM 版本:

pip install 'aleph-alpha-inference>=1'

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

這會產生一個 OpenAI 相容的伺服器,任何 OpenAI 客戶端皆可連線,推理流程則透過聊天範本執行:

# from the Kolibri model card (trimmed)
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="Aleph-Alpha/Kolibri-1",
    messages=[{"role": "user", "content": "Erkläre kurz, was ein Mixture-of-Experts-Modell ist."}],
    extra_body={"chat_template_kwargs": {"reasoning_effort": "high", "enable_thinking": True}},
)
print(response.choices[0].message.content)

模型卡建議 temperature=1.0、top_p=0.97 與 top_k=128,並且對於任何對延遲敏感的應用,最多可使用 262,144 個 token 的上下文。若要使用完整的百萬 token,請再加上兩個旗標:

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
  --max-model-len 1048576 \
  --hf-overrides '{"max_position_embeddings": 1048576}'

何時使用 Kolibri

當德文文本與自家硬體同時重要時,Kolibri 是最佳選擇:公共機關、銀行、製造商或航空航天供應商,若必須保留檔案於內部、想要以德文回答並推理,且寧願聽到「我不知道」而非自信錯誤的答案。對長篇德文檔案(法律、合約、手冊)的 RAG 適用於上述所有優勢:分詞器、百萬 token 上下文與迴避功能。

這正是我目前正在進行的專案,與 Prof. Dr. Heinrich Audebert 合作,他負責 Campus Benjamin Franklin 的神經科學,是柏林 Charité 醫院之一。今天,帶著神經學症狀的病患會前往其全科醫師(GP)就診,而 GP 必須親自看診,對於忙碌的診所來說相當耗費。在我們正在開發的系統中,病患會在 GP 診所的電腦前坐下,AI 化身會帶領他們完成一系列測試,並評估症狀的緊急程度:立即轉診至專科醫師,或可以稍作等待。對話以德文進行,主題關於個人健康,模型必須在我們可控的環境中執行,因此我們考慮使用 Kolibri。

這不是為程式編寫代理的正確選擇,因為 Qwen3.6 35B-A3B 更適合,且模型需要從記憶中回答問題,適用於除德文與英語之外的任何語言,以及無法使用 78 GB GPU 記憶體的人。對於最後這種情況,我在 2024 年主張的小型專用模型仍是答案:在我的播客搜尋中,我 在 Apple silicon 筆電上微調了 Mistral 7B,而不是付費使用 GPT-4o。

對於您自己的檔案,Kolibri 這類專家型醫院還是為單一工作訓練的小型模型哪個更好,只有在您同時在自己的資料上測試兩者時才會顯現。將代理下的模型進行替換而不破壞它,正是 我關於可靠 AI 代理的工作坊 所涵蓋的內容:不論底層模型為何,都能運作的安全牆與重試機制。

來源: hackernews100 (tej.as)
開啟原文

讀者討論

理性交流 · 即時討論