跳到正文
Hacker News (official RSS)(nathan.rs)·· 11 天前精選品質評分76

線性規劃能否用於權重空間程式設計?

Can a Linear Program Do Weight-Space Programming?

重點導讀

作者以 Qwen3.5-0.8B 為例,示範如何用線性規劃(LP)選擇權重編輯方式,減少模型反覆思考的迴圈。

  • \n\n- 方法:沿用 Astra 找出的殘差方向,LP 搜尋應修改的權重欄位與幅度。
  • 在測試中,編輯 16,291 個權重,MATH-500 準確率為 51.7%,IFEval 為 59.7%。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章將權重編輯拆成殘差方向與稀疏係數的線性規劃,並以測試集比較其效果與適用限制。

正文 · 中文翻譯

上週,MIT CSAIL 發表了 Sparks of Weight-Space Programming。給定一個小型網路的原始權重,GPT-6 Astra 能判斷它受訓要玩的遊戲。只給它遊戲規則,它就能從頭寫出一個小型網路的權重,並擊敗經過 1 億步 PPO 訓練的網路。不用梯度、不用訓練迴圈,只要推理權重計算出的結果。他們將這種方法稱為權重空間程式設計。

在另一項實驗中,他們要求 Astra 透過編輯 Qwen3.5-0.8B 的權重,提升它的數學能力。Astra 只修改了 0.016% 的權重,MATH-500 準確率就從 7.9% 跳升到 48.1%。1

檢視 Astra 的編輯方式後,我發現它大部分的搜尋過程,其實是在反覆試錯求解線性規劃問題。它花了約 8 小時,進行 28 次前向傳播,來選擇要修改哪些權重,以及修改多少。幾次線性規劃求解,每次約花一分鐘,就能完成相同工作,而且修改的權重數量少了 8 倍。在這篇文章中,我會逐步說明這項編輯、它為什麼是線性規劃,以及這透露了什麼關於修正本身的訊息。

思考迴圈#

小型推理模型有個常見問題:它們會陷入思考迴圈,一再重複相同的幾行內容,而無法完成推理。Qwen3.5-0.8B 特別容易發生這種情況,它的模型卡也有提到。在 MATH-500 測試中,基礎模型有 93% 的回答在得出答案前就碰到 32,768 個 token 的上限。

這項編輯修正了迴圈問題,因此只要模型陷入迴圈,就能有所幫助。這也包括遵循指令的能力:IFEval 的分數從 21% 提升到 62%。

Qwen3.5-0.8BMATH-500GSM8KIFEval達到 token 上限
基礎模型7.913.821.093.0%
Astra 的編輯48.167.162.333.1%

在很少陷入迴圈的 Gemma 3 270M 上,Astra 無法有效提升它的數學能力。正如作者所說,編輯權重可以移除遮蔽既有能力的障礙,卻無法增添模型原本缺乏的能力。

Astra 如何修正迴圈#

Transformer 使用殘差連線:每一層的輸出會加到輸入上,而不是取代輸入。追蹤網路中的一個 token,就會得到一個由每一層都會加上內容的向量,稱為殘差串流(這個模型的維度為 1,024)。模型陷入迴圈時,殘差串流會朝一致的方向偏移。Astra 的修正方式是編輯兩個層,讓它們加上的內容朝相反方向。

找出迴圈方向#

Astra 撰寫了四組短文,每組都包含一段有效推理,以及同一段推理陷入迴圈的版本。它將這八段文字輸入模型,並記錄其中一層每個 token 的殘差串流向量。將陷入迴圈的文字取平均會得到一個向量,將有效推理的文字取平均則會得到另一個向量。兩者的差經過正規化後,就是迴圈方向 $u$:模型陷入迴圈時,殘差串流移動的方向。

編輯權重#

每個 MLP 最後都有一個矩陣 $W$(稱為 down_proj)。對每個 token,它會將 MLP 的 3,584 維隱藏啟動值 $h$ 轉換成 1,024 維輸出 $Wh$,再將其加到殘差串流 $x$:

$$x \leftarrow x + Wh, \qquad Wh = \sum_j h_j \, w_j$$

因此,MLP 的輸出永遠是相同 3,584 個向量的加權總和,也就是 $W$ 的各個欄向量 $w_j$。$W$ 決定這些向量的內容;啟動值 $h_j$ 則決定每個 token 要加上各向量的多少。

每個欄位都部分朝向 $u$。這個分量 $u^\top w_j$,代表欄位 $j$ 在 $h_j$ 啟動時,會在多大程度上推動模型陷入迴圈。Astra 的編輯會減去它乘上 $\alpha$ 的倍數:

$$w_j \to w_j - \alpha \, (u^\top w_j) \, u$$

當 $\alpha = 1$ 時,沿著 $u$ 的分量會消失,因此這個欄位不再推動模型陷入迴圈。對第 15 層和第 19 層的每個欄位都進行這項操作後,模型在 GSM8K 和 MATH 訓練題上的準確率從 9% 提升至 33%。當 $\alpha = 6$ 時,這個分量會反轉:原本沿著 $u$ 寫入 $+a$ 的欄位,現在會寫入 $-5a$;每當模型使用這個欄位,就會被推得遠離迴圈。

每個經過編輯的欄位,都會沿著同一個向量 $u$ 改變。因此,整個編輯只涉及一個方向 $u$,以及每個欄位的一個數值 $v_j = -\alpha\,(u^\top w_j)$;未修改的欄位,其數值為零。這是秩 1 的變更:

$$\Delta W = u\,v^\top$$

在每個 token 上,它會向殘差串流加入 $(v \cdot h_t)\,u$:加入多少 $u$,取決於經過編輯的欄位啟動程度。其他方向都不會改變。

接下來要決定的是 $v$:要編輯哪些欄位,以及 $\alpha$ 應該設多大。Astra 透過反覆試誤找出答案,並在新一批訓練題上測試每次編輯:

編輯第 15 層和第 19 層準確率
基礎模型~9%
所有欄位,α = 133%
所有欄位,α = 243%
所有欄位,α = 348%
隨機方向(對照組)12.5%
前 64 個欄位,α = 655%

比 $\alpha = 1$ 更強的推動效果更好,而隨機方向毫無作用。最終編輯只對每層中在迴圈文字上寫入最多 $u$ 的 64 個欄位套用 $\alpha = 6$。

時間花在哪裡#

論文公開了 Astra 的完整記錄:每次工具呼叫、每次前向傳遞,以及它寫給自己的每則備註。Astra 使用載入權重的 Python 核心,並有 50 次前向傳遞的額度;每次都會將模型批次執行於訓練題,或由 Astra 自行選擇的文字。

編輯在約 10 小時後定案,最後 17 次前向傳遞只重新測試編輯,沒有再做任何修改。2 在這 10 小時中,找出 $u$ 花了 15 分鐘;找出 $v$ 則花了約 8 小時。

選擇 v 是線性規劃問題#

Astra 要尋找一個 $v$,讓陷入迴圈的 token 強烈地遠離 $u$,同時盡量不影響有成效的 token。由於 token $t$ 上的推動量為 $v \cdot h_t$,且對 $v$ 呈線性,因此這兩項要求都能寫成線性不等式。

我根據基礎模型自身的執行記錄為 token 標記:深陷迴圈的迴圈中 token($R$),以及迴圈開始前很久的有成效 token($P$),3並記錄它們在第 15 層和第 19 層的活化值 $h_t$。每個 token 都會形成一項限制條件,而線性規劃會挑選 L1 範數 $\sum_j |v_j|$ 最小的 $v$:

$$ \begin{aligned} \min_v \quad & \sum_j |v_j| \\ \text{s.t.} \quad & v \cdot h_t \le -\delta && t \in R \quad \text{(至少遠離 } \delta \text{ 個 } u\text{)} \\ & |v \cdot h_t| \le \varepsilon && t \in P \quad \text{(至多 } \varepsilon\text{)} \end{aligned} $$

實際上,沒有任何 $v$ 能符合所有限制條件,因此每項限制都會加入一個帶有懲罰的鬆弛變數。

最小化 L1 範數通常會讓 $v$ 變得稀疏。L1 球是菱形,當它擴大到碰上可行區域時,通常會在某個角落相接,而該處大多數座標都恰好為零。因此,線性規劃會同時選出要修改的欄位和修改幅度。

為了讓每層恰好有 8 個欄位,我保留影響最大的 8 個欄位,並將其餘欄位固定為零後重新求解。4

這取代了 Astra 耗時 8 小時的搜尋,包括欄位選擇和 $\alpha$ 的設定,只需執行幾次 LP 求解。現成的求解器 HiGHS 在這些限制條件下,每次都花了超過 20 分鐘,因此我寫了一個 GPU 求解器(PDHG,也就是 PDLP 背後使用的演算法),約 1 分鐘就能達到距離最佳解 0.2% 以內的結果。5

結果#

我測試了兩種 LP 編輯方式,兩者都使用 Astra 的層。其中一種使用 Astra 的方向 $u$;另一種使用啟發式方向:用簡單的重複偵測器,將模型自身軌跡中的 token 標記為迴圈或有助於推理,再取兩者平均殘差串流的差值。方法與 Astra 使用的相同,只是去掉了手寫文本,因此沒有使用 LLM。我在另一個包含 128 個問題的開發集上調整 LP 設定;圖表和表格中的所有資料都未用於擬合或調校。

變動的權重GSM8K 測試集MATH-500IFEval
基礎模型014.17.022.9
Astra 的編輯130,18868.250.961.9
LP,Astra 的方向16,29169.651.759.7
LP,啟發式方向16,27165.447.860.4

使用 Astra 的方向時,LP 編輯在所有基準測試上的結果都與 Astra 的編輯相當,差異在雜訊範圍內,變動的權重卻少了 8 倍。使用啟發式方向時,效果約達 Astra 的 93%。

另外還有幾項發現:

  • 搜尋確實重要,而 LP 取代了搜尋。在開發集上,將 Astra 的方法(前 64 個欄位、$\alpha = 6$)直接套用到啟發式方向、不再重新搜尋,分數為 44.5。LP 的分數則為 54.7。
  • 欄位不同,修正效果相同。LP 選出的 8 個欄位中,只有 3 個(第 15 層)和 1 個(第 19 層)與 Astra 的 64 個欄位重疊。許多稀疏解都能奏效;關鍵在於沿著 $u$ 施加的總推力。
  • 隨機方向沒有作用。在開發集上,大小相同的隨機 $u$ 得分為 10.2,基礎模型則為 10.9。

引導向量能達到相同效果#

編輯只能透過啟動值來區分迴圈 token 和有助於推理的 token,而且迴圈狀態要進行一段時間後,才可能從啟動值中辨認出來。6因此,在開發集上要求 LP 只對類似迴圈的 token 施加推力,效果並不比對所有 token 施加推力好。

LP 在第 15 層選出的 8 個欄位會在 89% 的 token 上啟動,而且它們增加的推力幾乎不隨 token 改變,因此這項編輯相當於沿著 $u$ 施加固定推力。固定推力不需要修改權重,可以直接以引導向量的形式加入:在每個 token 的殘差串流中加上一個固定向量。

下表是在未編輯的模型第 15 層和第 19 層,加入 LP 編輯沿 $u$ 方向的平均推力,並測試三種強度:

引導強度(相對於 LP 編輯平均推力的倍數)開發集MATH-500
0.5×51.6
1×57.850.8
2×31.2

作為比較,在相同測試中:LP 編輯在開發集和 MATH-500 上分別得 62.5 和 53.2,Astra 的編輯分別得 59.4 和 50.0,基礎模型則分別得 10.9 和 7.0。此處的 MATH-500 每題只取一個樣本。

在 1× 強度時,引導向量幾乎完全重現了修正效果。但適用範圍很窄:在 0.5× 時,迴圈狀態會再次出現;在 2× 時,迴圈雖然停止,推理能力卻會崩潰。

兩者唯一的差異在於套用方式。LP 編輯是一般的檢查點;引導向量則需要在推論時執行額外程式碼。

限制與後續工作#

這項研究只測試了一個模型。LP 仍依賴 Astra 提供層的資訊,而最佳結果也使用 Astra 的方向。啟發式方向不使用 LLM 就能達到大部分效果,但還無法完全達成。

結果也證明,迴圈可以透過固定的推力加以修正,因此 LP 的逐 token 限制最後並沒有太大影響。若要測試這些限制,更好的做法是讓某些 token 改變、其他 token 維持不變。另一個尚待解決的部分,是如何在沒有代理程式的情況下選擇層。

最後,這項測試只針對移除迴圈進行。拒絕回答或諂媚等許多其他行為,也可以透過在殘差流中新增或移除單一方向來引導。7 如果某種行為可以用單一方向引導,那麼選擇如何將它寫入權重,應該可以使用相同的 LP,但這仍有待測試。

程式碼、編輯內容和完整文章都在 GitHub 上。

引用#

請以下列方式引用這項研究:

Barry, Nathan. "Can a Linear Program Do Weight-Space Programming?"
nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.

或使用 BibTex 引用格式:

@article{barry2026wslp,
  title   = "Can a Linear Program Do Weight-Space Programming?",
  author  = "Barry, Nathan",
  journal = "nathan.rs",
  year    = "2026",
  month   = "Nov",
  url     = "https://nathan.rs/posts/weight-space-lp"
}

  1. Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab,Sparks of Weight-Space Programming,MIT CSAIL,2026 年。logs 採用 CC BY 4.0 授權發布,而本文中所有關於 Astra 執行過程的內容都來自這些紀錄。 ↩︎

  2. Astra 完整執行共花了 158 個回合、20.3 小時,其中 4.7 小時是服務中斷。19 次前向傳播失敗,未計入其預算。完整明細請見文章。 ↩︎

  3. 如果某個 token 結尾的 16 個 token 先前已在答案中出現過,就算重複 token。迴圈從某個位置開始判定:從該處到答案結尾的 token 中,至少 80% 都是重複 token。進入迴圈至少 64 個 token 後出現的重複 token,算是迴圈 token。至少在迴圈開始前 256 個 token 出現的 token,或出現在已完成答案任何位置的 token,都算是有效 token。 ↩︎

  4. 每一欄都依 $|v_j|$ 乘以 $h_j$ 的標準差排序,大致表示它在典型 token 上沿著 $u$ 增加多少。 ↩︎

  5. PDHG(原始-對偶混合梯度法)只需要矩陣向量乘法,因此所有 token 限制都能一次放進 GPU,並且會輸出精確稀疏的 $v$。 ↩︎

  6. 一旦迴圈開始,對第 15 層的活化值使用線性探測器,就能分辨迴圈 token 和有效 token(AUC 0.93);但在迴圈開始的時點,辨識效果差得多(0.73)。 ↩︎

  7. 或者,能不能讓它聽起來像她。 ↩︎

讀者討論

理性交流 · 即時討論