線性規劃能否用於權重空間程式設計?
Can a Linear Program Do Weight-Space Programming?
作者以 Qwen3.5-0.8B 為例,示範如何用線性規劃(LP)選擇權重編輯方式,減少模型反覆思考的迴圈。
- \n\n- 方法:沿用 Astra 找出的殘差方向,LP 搜尋應修改的權重欄位與幅度。
- 在測試中,編輯 16,291 個權重,MATH-500 準確率為 51.7%,IFEval 為 59.7%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
文章將權重編輯拆成殘差方向與稀疏係數的線性規劃,並以測試集比較其效果與適用限制。
上週,MIT CSAIL 發表了 Sparks of Weight-Space Programming。給定一個小型網路的原始權重,GPT-6 Astra 能判斷它受訓要玩的遊戲。只給它遊戲規則,它就能從頭寫出一個小型網路的權重,並擊敗經過 1 億步 PPO 訓練的網路。不用梯度、不用訓練迴圈,只要推理權重計算出的結果。他們將這種方法稱為權重空間程式設計。
在另一項實驗中,他們要求 Astra 透過編輯 Qwen3.5-0.8B 的權重,提升它的數學能力。Astra 只修改了 0.016% 的權重,MATH-500 準確率就從 7.9% 跳升到 48.1%。1
檢視 Astra 的編輯方式後,我發現它大部分的搜尋過程,其實是在反覆試錯求解線性規劃問題。它花了約 8 小時,進行 28 次前向傳播,來選擇要修改哪些權重,以及修改多少。幾次線性規劃求解,每次約花一分鐘,就能完成相同工作,而且修改的權重數量少了 8 倍。在這篇文章中,我會逐步說明這項編輯、它為什麼是線性規劃,以及這透露了什麼關於修正本身的訊息。
思考迴圈#
小型推理模型有個常見問題:它們會陷入思考迴圈,一再重複相同的幾行內容,而無法完成推理。Qwen3.5-0.8B 特別容易發生這種情況,它的模型卡也有提到。在 MATH-500 測試中,基礎模型有 93% 的回答在得出答案前就碰到 32,768 個 token 的上限。
這項編輯修正了迴圈問題,因此只要模型陷入迴圈,就能有所幫助。這也包括遵循指令的能力:IFEval 的分數從 21% 提升到 62%。
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | 達到 token 上限 |
|---|---|---|---|---|
| 基礎模型 | 7.9 | 13.8 | 21.0 | 93.0% |
| Astra 的編輯 | 48.1 | 67.1 | 62.3 | 33.1% |
在很少陷入迴圈的 Gemma 3 270M 上,Astra 無法有效提升它的數學能力。正如作者所說,編輯權重可以移除遮蔽既有能力的障礙,卻無法增添模型原本缺乏的能力。
Astra 如何修正迴圈#
Transformer 使用殘差連線:每一層的輸出會加到輸入上,而不是取代輸入。追蹤網路中的一個 token,就會得到一個由每一層都會加上內容的向量,稱為殘差串流(這個模型的維度為 1,024)。模型陷入迴圈時,殘差串流會朝一致的方向偏移。Astra 的修正方式是編輯兩個層,讓它們加上的內容朝相反方向。
找出迴圈方向#
Astra 撰寫了四組短文,每組都包含一段有效推理,以及同一段推理陷入迴圈的版本。它將這八段文字輸入模型,並記錄其中一層每個 token 的殘差串流向量。將陷入迴圈的文字取平均會得到一個向量,將有效推理的文字取平均則會得到另一個向量。兩者的差經過正規化後,就是迴圈方向 $u$:模型陷入迴圈時,殘差串流移動的方向。
編輯權重#
每個 MLP 最後都有一個矩陣 $W$(稱為 down_proj)。對每個 token,它會將 MLP 的 3,584 維隱藏啟動值 $h$ 轉換成 1,024 維輸出 $Wh$,再將其加到殘差串流 $x$:
$$x \leftarrow x + Wh, \qquad Wh = \sum_j h_j \, w_j$$
因此,MLP 的輸出永遠是相同 3,584 個向量的加權總和,也就是 $W$ 的各個欄向量 $w_j$。$W$ 決定這些向量的內容;啟動值 $h_j$ 則決定每個 token 要加上各向量的多少。
每個欄位都部分朝向 $u$。這個分量 $u^\top w_j$,代表欄位 $j$ 在 $h_j$ 啟動時,會在多大程度上推動模型陷入迴圈。Astra 的編輯會減去它乘上 $\alpha$ 的倍數:
$$w_j \to w_j - \alpha \, (u^\top w_j) \, u$$
當 $\alpha = 1$ 時,沿著 $u$ 的分量會消失,因此這個欄位不再推動模型陷入迴圈。對第 15 層和第 19 層的每個欄位都進行這項操作後,模型在 GSM8K 和 MATH 訓練題上的準確率從 9% 提升至 33%。當 $\alpha = 6$ 時,這個分量會反轉:原本沿著 $u$ 寫入 $+a$ 的欄位,現在會寫入 $-5a$;每當模型使用這個欄位,就會被推得遠離迴圈。
每個經過編輯的欄位,都會沿著同一個向量 $u$ 改變。因此,整個編輯只涉及一個方向 $u$,以及每個欄位的一個數值 $v_j = -\alpha\,(u^\top w_j)$;未修改的欄位,其數值為零。這是秩 1 的變更:
$$\Delta W = u\,v^\top$$
在每個 token 上,它會向殘差串流加入 $(v \cdot h_t)\,u$:加入多少 $u$,取決於經過編輯的欄位啟動程度。其他方向都不會改變。
接下來要決定的是 $v$:要編輯哪些欄位,以及 $\alpha$ 應該設多大。Astra 透過反覆試誤找出答案,並在新一批訓練題上測試每次編輯:
| 編輯第 15 層和第 19 層 | 準確率 |
|---|---|
| 基礎模型 | ~9% |
| 所有欄位,α = 1 | 33% |
| 所有欄位,α = 2 | 43% |
| 所有欄位,α = 3 | 48% |
| 隨機方向(對照組) | 12.5% |
| 前 64 個欄位,α = 6 | 55% |
比 $\alpha = 1$ 更強的推動效果更好,而隨機方向毫無作用。最終編輯只對每層中在迴圈文字上寫入最多 $u$ 的 64 個欄位套用 $\alpha = 6$。
時間花在哪裡#
論文公開了 Astra 的完整記錄:每次工具呼叫、每次前向傳遞,以及它寫給自己的每則備註。Astra 使用載入權重的 Python 核心,並有 50 次前向傳遞的額度;每次都會將模型批次執行於訓練題,或由 Astra 自行選擇的文字。
編輯在約 10 小時後定案,最後 17 次前向傳遞只重新測試編輯,沒有再做任何修改。2 在這 10 小時中,找出 $u$ 花了 15 分鐘;找出 $v$ 則花了約 8 小時。
選擇 v 是線性規劃問題#
Astra 要尋找一個 $v$,讓陷入迴圈的 token 強烈地遠離 $u$,同時盡量不影響有成效的 token。由於 token $t$ 上的推動量為 $v \cdot h_t$,且對 $v$ 呈線性,因此這兩項要求都能寫成線性不等式。
我根據基礎模型自身的執行記錄為 token 標記:深陷迴圈的迴圈中 token($R$),以及迴圈開始前很久的有成效 token($P$),3並記錄它們在第 15 層和第 19 層的活化值 $h_t$。每個 token 都會形成一項限制條件,而線性規劃會挑選 L1 範數 $\sum_j |v_j|$ 最小的 $v$:
$$ \begin{aligned} \min_v \quad & \sum_j |v_j| \\ \text{s.t.} \quad & v \cdot h_t \le -\delta && t \in R \quad \text{(至少遠離 } \delta \text{ 個 } u\text{)} \\ & |v \cdot h_t| \le \varepsilon && t \in P \quad \text{(至多 } \varepsilon\text{)} \end{aligned} $$
實際上,沒有任何 $v$ 能符合所有限制條件,因此每項限制都會加入一個帶有懲罰的鬆弛變數。
最小化 L1 範數通常會讓 $v$ 變得稀疏。L1 球是菱形,當它擴大到碰上可行區域時,通常會在某個角落相接,而該處大多數座標都恰好為零。因此,線性規劃會同時選出要修改的欄位和修改幅度。
為了讓每層恰好有 8 個欄位,我保留影響最大的 8 個欄位,並將其餘欄位固定為零後重新求解。4
這取代了 Astra 耗時 8 小時的搜尋,包括欄位選擇和 $\alpha$ 的設定,只需執行幾次 LP 求解。現成的求解器 HiGHS 在這些限制條件下,每次都花了超過 20 分鐘,因此我寫了一個 GPU 求解器(PDHG,也就是 PDLP 背後使用的演算法),約 1 分鐘就能達到距離最佳解 0.2% 以內的結果。5
結果#
我測試了兩種 LP 編輯方式,兩者都使用 Astra 的層。其中一種使用 Astra 的方向 $u$;另一種使用啟發式方向:用簡單的重複偵測器,將模型自身軌跡中的 token 標記為迴圈或有助於推理,再取兩者平均殘差串流的差值。方法與 Astra 使用的相同,只是去掉了手寫文本,因此沒有使用 LLM。我在另一個包含 128 個問題的開發集上調整 LP 設定;圖表和表格中的所有資料都未用於擬合或調校。
| 變動的權重 | GSM8K 測試集 | MATH-500 | IFEval | |
|---|---|---|---|---|
| 基礎模型 | 0 | 14.1 | 7.0 | 22.9 |
| Astra 的編輯 | 130,188 | 68.2 | 50.9 | 61.9 |
| LP,Astra 的方向 | 16,291 | 69.6 | 51.7 | 59.7 |
| LP,啟發式方向 | 16,271 | 65.4 | 47.8 | 60.4 |
使用 Astra 的方向時,LP 編輯在所有基準測試上的結果都與 Astra 的編輯相當,差異在雜訊範圍內,變動的權重卻少了 8 倍。使用啟發式方向時,效果約達 Astra 的 93%。
另外還有幾項發現:
- 搜尋確實重要,而 LP 取代了搜尋。在開發集上,將 Astra 的方法(前 64 個欄位、$\alpha = 6$)直接套用到啟發式方向、不再重新搜尋,分數為 44.5。LP 的分數則為 54.7。
- 欄位不同,修正效果相同。LP 選出的 8 個欄位中,只有 3 個(第 15 層)和 1 個(第 19 層)與 Astra 的 64 個欄位重疊。許多稀疏解都能奏效;關鍵在於沿著 $u$ 施加的總推力。
- 隨機方向沒有作用。在開發集上,大小相同的隨機 $u$ 得分為 10.2,基礎模型則為 10.9。
引導向量能達到相同效果#
編輯只能透過啟動值來區分迴圈 token 和有助於推理的 token,而且迴圈狀態要進行一段時間後,才可能從啟動值中辨認出來。6因此,在開發集上要求 LP 只對類似迴圈的 token 施加推力,效果並不比對所有 token 施加推力好。
LP 在第 15 層選出的 8 個欄位會在 89% 的 token 上啟動,而且它們增加的推力幾乎不隨 token 改變,因此這項編輯相當於沿著 $u$ 施加固定推力。固定推力不需要修改權重,可以直接以引導向量的形式加入:在每個 token 的殘差串流中加上一個固定向量。
下表是在未編輯的模型第 15 層和第 19 層,加入 LP 編輯沿 $u$ 方向的平均推力,並測試三種強度:
| 引導強度(相對於 LP 編輯平均推力的倍數) | 開發集 | MATH-500 |
|---|---|---|
| 0.5× | 51.6 | |
| 1× | 57.8 | 50.8 |
| 2× | 31.2 |
作為比較,在相同測試中:LP 編輯在開發集和 MATH-500 上分別得 62.5 和 53.2,Astra 的編輯分別得 59.4 和 50.0,基礎模型則分別得 10.9 和 7.0。此處的 MATH-500 每題只取一個樣本。
在 1× 強度時,引導向量幾乎完全重現了修正效果。但適用範圍很窄:在 0.5× 時,迴圈狀態會再次出現;在 2× 時,迴圈雖然停止,推理能力卻會崩潰。
兩者唯一的差異在於套用方式。LP 編輯是一般的檢查點;引導向量則需要在推論時執行額外程式碼。
限制與後續工作#
這項研究只測試了一個模型。LP 仍依賴 Astra 提供層的資訊,而最佳結果也使用 Astra 的方向。啟發式方向不使用 LLM 就能達到大部分效果,但還無法完全達成。
結果也證明,迴圈可以透過固定的推力加以修正,因此 LP 的逐 token 限制最後並沒有太大影響。若要測試這些限制,更好的做法是讓某些 token 改變、其他 token 維持不變。另一個尚待解決的部分,是如何在沒有代理程式的情況下選擇層。
最後,這項測試只針對移除迴圈進行。拒絕回答或諂媚等許多其他行為,也可以透過在殘差流中新增或移除單一方向來引導。7 如果某種行為可以用單一方向引導,那麼選擇如何將它寫入權重,應該可以使用相同的 LP,但這仍有待測試。
程式碼、編輯內容和完整文章都在 GitHub 上。
引用#
請以下列方式引用這項研究:
Barry, Nathan. "Can a Linear Program Do Weight-Space Programming?"
nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.或使用 BibTex 引用格式:
@article{barry2026wslp,
title = "Can a Linear Program Do Weight-Space Programming?",
author = "Barry, Nathan",
journal = "nathan.rs",
year = "2026",
month = "Nov",
url = "https://nathan.rs/posts/weight-space-lp"
}Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab,Sparks of Weight-Space Programming,MIT CSAIL,2026 年。logs 採用 CC BY 4.0 授權發布,而本文中所有關於 Astra 執行過程的內容都來自這些紀錄。 ↩︎
Astra 完整執行共花了 158 個回合、20.3 小時,其中 4.7 小時是服務中斷。19 次前向傳播失敗,未計入其預算。完整明細請見文章。 ↩︎
如果某個 token 結尾的 16 個 token 先前已在答案中出現過,就算重複 token。迴圈從某個位置開始判定:從該處到答案結尾的 token 中,至少 80% 都是重複 token。進入迴圈至少 64 個 token 後出現的重複 token,算是迴圈 token。至少在迴圈開始前 256 個 token 出現的 token,或出現在已完成答案任何位置的 token,都算是有效 token。 ↩︎
每一欄都依 $|v_j|$ 乘以 $h_j$ 的標準差排序,大致表示它在典型 token 上沿著 $u$ 增加多少。 ↩︎
PDHG(原始-對偶混合梯度法)只需要矩陣向量乘法,因此所有 token 限制都能一次放進 GPU,並且會輸出精確稀疏的 $v$。 ↩︎
一旦迴圈開始,對第 15 層的活化值使用線性探測器,就能分辨迴圈 token 和有效 token(AUC 0.93);但在迴圈開始的時點,辨識效果差得多(0.73)。 ↩︎