跳到正文

#程式開發

RSS
今日 2 則
今天11月23日週一
  1. Rohan Paul58

    換用更強的模型,能不能讓程式碼更常被合併?這項哈佛研究追蹤 Claude Fable 5 暫停供應 19 天期間的 GitHub pull request,並與持續使用 Opus 4.8 的開發者比較。研究發現,使用 Fable 5 讓程式碼在 7 天內合併的比例只增加 1.4 個百分點,這個差距落在隨機波動範圍內;另外比較 5 次模型升級後,合併率也沒有上升。不過,研究中的 pull request 原本就有 94.5% 已經合併,因此這些結果反映的是合併率,不一定能代表其他工作表現。

  2. Dev.to Top Tech42

    CodeAF 和 9 款 AI 程式設計助理比做 DeepSWE 任務

    AI 程式設計助理的總分看起來接近,實際上可能擅長解不同的題目。這次比較讓 10 款工具用同一個模型挑戰 DeepSWE 的 113 項任務,再逐題確認哪些做對、哪些沒做成。CodeAF 的 senior-dev 模式答對 62 題;和 mini-swe-agent 相比,有 29 題只有 CodeAF 做對,另有 23 題只有 mini-swe-agent 做對。這表示只看總分,會漏掉兩款工具各自擅長的題目;而且有 15 題連所有工具都沒答對。

11月22日週日
  1. Dev.to Top Tech46

    測試發現:給 AI 助理一份正確程式碼範例,比列出 25 多條「絕對不要」規則快 2.85 倍

    寫給 AI 助理的規則常塞滿「絕對不要這樣做」,但規則太多,模型可能反而漏掉真正重要的細節。這次測試讓 Gemini 3.8 Flash 修改一套付款程式:一組提示詞列出 25 多條禁令,另一組則提供一份示範正確寫法的程式碼範例。前者做了 3 次才通過 20 項檢查中的 16 項;後者一次就全數通過,執行速度快 2.85 倍。結果顯示,直接示範希望 AI 助理怎麼寫,可能比一再提醒它不能做什麼更有效。

  2. Dev.to Top Tech62

    VIDRAFT 如何重現黎曼猜想的 Lean 形式化證明

    數學證明就算寫成電腦能檢查的形式,也需要確認檔案能否完整編譯,以及最後的定理依賴哪些假設。VIDRAFT 下載並重新編譯一份以 Lean 撰寫的黎曼猜想證明,共檢查 175,187 個檔案,沒有編譯錯誤;Lean 核心也顯示,定理只依賴 Lean 和 Mathlib 的三個標準公理,沒有使用 sorry 或額外公理。作者另做了一個互動工具,用數值計算展示 Weil 二次型在五個真正的 L 函式與三個仿造例子上的正負差異。這些計算展示了相關性質,形式化證明則由 Lean 編譯與檢查。

  3. MarkTechPost71

    Columbia 與 CertiK 推出 TensorLean,形式化檢查 GPU 核心

    GPU 核心通過測試,不代表所有執行情況都正確。Columbia University 與 CertiK 的研究團隊推出 TensorLean,讓開發者用 Lean 寫出數學規格,再檢查編譯後的 GPU 程式是否符合規格,包括有沒有資料競爭、結果是否正確,以及是否改動了不該碰的記憶體。團隊檢查 149 個核心,證明其中 83 個正確,並找出 38 個錯誤;其中一個 FlashAttention-4 的資料競爭,先前 17,760 次測試都沒有出現。研究團隊表示,相關錯誤都已回報給上游專案。

  4. Dev.to Top Tech57

    CanopyCore 整理 Diddy Kong Pilot GBA 原型的反向工程研究

    已取消發行的 GBA 遊戲 Diddy Kong Pilot,留下的程式難以直接讀懂。作者花了 17 天分析這款 2003 年原型,將成果整理成唯讀研究資料庫,包含 151 份技術檔案和核心引擎的 C11 參考實作。作者記錄了畫面、精靈圖、飛行物理、遊戲 AI、碰撞和音效系統,並用模擬器及差異測試比對原始程式與重建版本。這份資料不會編譯成 ROM,也不包含遊戲素材,可供儲存研究與日後進一步比對。

  5. hackernews10097

    Lean 與 Mathlib 社群確認黎曼猜想的 Lean 證明通過查核

    黎曼猜想的證明很長,光是能編譯成功,還不能確定它證明的命題正確。Lean 與 Mathlib 社群表示,Levent Alpöge 在 2026 年 11 月 20 日發布的證明包含 1,700 萬行程式碼,並由社群多人重複編譯。宣告說,兩種工具確認程式證明的正是 Mathlib 收錄的黎曼猜想;Lean 官方核心與多個獨立證明檢查器也檢查了匯出的證明。這些查核分別確認命題、程式和證明本身,讓社群有根據地認可這項成果。

    推薦理由:這份聯合宣告說明社群如何分別檢查定理內容、程式編譯與證明有效性,呈現大型數學證明的多層查核方式。

  6. Rohan Paul69

    LLM 遇到題目換個說法或數字,常會重新推理一次,讓重複工作花上更多成本。這篇 NVIDIA 論文讓 Claude Opus 4.5 把推理過程轉成可替換輸入的 Python 函式,之後由 CPU 執行;只有像擷取數值這類小型文字工作,才交給微調過的 1B 模型處理。這套方法在 8 項數學與科學基準中的 7 項,準確率追平或高於原模型;在 AIME '25 的分數是 93.3%,原模型是 83.3%。研究也指出,遇到改寫或換數字的題目時,這種做法至少能處理 90%,成本可降低 16 到 291 倍。

    推薦理由:這項研究把重複推理改寫成可帶入新數字的 Python 函式,並比較了多項數學與科學基準的準確率和成本。

11月21日週六
  1. Dev.to Top Tech42

    AI 寫程式遇到 bug 時,先重現問題再修改,準確率達 100%,輸入 token 減少 95.3%

    AI 助理收到 bug 回報後,常會先猜原因、直接改程式,再跑原有測試;但舊測試可能沒碰到真正出錯的情況,讓錯誤悄悄留下。這次測試比較兩種做法:一種先修改再測,另一種規定先用 5 個小測試重現問題,確認它們真的失敗後,才開放修改程式。結果,先重現問題的做法一次就通過全部 20 個檢查,輸入 token 也從 49,801 降到 2,323。 例如,測試特別檢查金額為 0 的交易能不能通過,以及多餘欄位會不會被錯誤留下;先修改再測的做法漏掉了這兩種情況。這表示先清楚看見錯誤怎麼發生,再動手修,能讓 AI 助理少走冤枉路,也更不容易漏修。

  2. hackernews10074

    Navier–Stokes 方程有限時間爆破解答附上 Lean 4 形式化證明

    Navier–Stokes 方程是否可能在有限時間內出現爆破解答,是這篇 79 頁論文處理的問題。作者也提供 Lean 4 程式,將論文中的部分定理整理成可檢查的形式化證明。不過,論文提到的證書和用區間算術進行的嚴格計算都不在這個專案裡,證書也尚未公開;此外,這份程式套件套用補丁後尚未重新建置。因此,專案提供了論文與形式化證明的材料,但不包含檢查證書所需的全部內容。

11月20日週五
  1. Dev.to Top Tech64

    Sumama-Jameel 公開 66 段真實程式開發過程,讓 AI 助理學會從錯誤中修正

    只看最後寫好的程式碼,AI 助理學不到遇到錯誤後怎麼繼續。Sumama-Jameel 整理出 66 段實際執行的程式開發過程:AI 助理在 Docker 沙盒裡處理真實專案任務,使用工具、碰到錯誤再修正,工具輸出和失敗紀錄都保留下來。每段資料都會檢查專案測試,也能在自己的電腦上重新驗證。作者公開與四份大型資料集的比較,並說明這份資料在規模和部分指標上落後;用它訓練的小型模型有一項分數從 43% 升到 80%,其他分數則退步。

  2. elvis63

    好的程式評測不容易製作,逐題請人標記答案也很花工夫。Meta 的研究提出 Benchmark Factory,讓 AI 助理從已合併的內部程式碼變更中挑選任務、寫出題目,再用不同強度的模型檢查評測結果,反覆修正直到通過品質檢查;這些檢查不需要每題都有人標記答案。研究者也故意拿太簡單或評分方式有問題的評測來測試,系統能把它們擋下。用未參與建置的設定測試時,較高運算強度的 Claude Opus 4.7 排名高於較低強度,GPT-5.5 也高於 GPT-5.4。

  3. Dev.to Top Tech57

    Vyankatesh 靜態掃描 618 個公開 AI 助理技能,發現附帶程式碼的風險分數較高

    公開的 AI 助理技能會提供操作指示,有些還附帶能以使用者許可權執行的程式碼,因此可能帶來安全風險。Vyankatesh 用 SkillSpector v2.12.0 靜態掃描 618 個公開技能,沒有安裝或執行它們;63.6% 至少有一項警示,40.1% 有高或嚴重警示。附帶程式碼的技能風險分數中位數是 52,只有 Markdown 的技能則是 0。不過,作者抽查的少數警示有些看來被判得太嚴重,也沒有找到他認為蓄意惡意的技能。這項研究不是同儕審查,也無法判斷掃描漏掉多少問題;作者建議把分數用來安排檢查順序,啟用技能前仍要看清楚它如何使用你的憑證。

  4. Dev.to Top Tech48

    663 組 GitHub 比較看不出 AI 協助的程式碼比較常被撤回

    大家擔心 AI 幫忙寫的程式碼會不會比較常出問題,甚至被撤回。作者從 GitHub 找出 663 組相似的程式碼修改,分別比較有說明 AI 協助和只由人類撰寫的修改。30 天內,前者有 1 筆被撤回,後者有 2 筆;但撤回本來就少見,這次的資料太少,還看不出兩者有沒有差別。作者也發現,用後續修改來猜程式是否修過 bug,常會把不相關的改動算進去。這項研究只能說目前沒有明確證據顯示兩者不同,不能據此判定 AI 寫的程式碼比較安全或比較容易出錯。

  5. Dev.to Top Tech60

    Meta 研究者推出 SWE-sweep,測試 AI 助理能否自己找出程式錯誤

    一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。

  6. Rohan Paul57

    讓 AI 助理修改自己的程式框架時,整份重寫可能很耗 token,也可能改壞原本能做好的事。Google 研究讓最佳化模型一次只改 4 個部分中的 1 個,並用保留的任務和 token 上限檢查修改,不合格就退回。在 40 項 SWE-bench Lite 任務中,逐項檢查的版本解出 40.0%,每項任務用 46.7k tokens;未經檢查的整份重寫解出 42.5%,卻用了 451.6k tokens。結果顯示,逐次檢查修改能用較少 token 換得接近的準確率。

11月19日週四
  1. Dev.to Top Tech57

    作者測試一句提示詞能否阻止 AI 助理把錯誤資料當真

    API 有時回傳空白、資料不完整或一堆零,卻仍顯示呼叫成功,AI 助理可能因此把錯誤資料當真,甚至做出不對的操作。作者用四種 AI 助理框架和模擬 API,比較在指示中加上一句提醒,或讓工具附上資料缺漏註記,能不能減少這種問題。測試中,那句提醒讓助理在回答問題時不再編造資料,也能避免對看起來明顯有問題的資料採取行動;但空清單、截短清單和被歸零的數字看起來很正常,提醒仍擋不住錯誤判斷。作者也說明,測試只用了單一模型、單一服務和少量模擬任務。

11月18日週三
  1. Dev.to Top Tech46

    1.5B 模型資料分析測試:單次提示詞比 AI 助理流程答對更多

    用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。

  2. The New Stack65

    基準測試發現,AI 程式開發助理的執行環境會讓成本差到 5 倍

    同一個模型搭配不同的程式開發助理執行環境,花費可能差到 5 倍。Runta 和 Baseten 比較 22 種設定與 5 個開放權重模型,發現省錢排名會隨模型改變;有些設定搭配一個模型最便宜,換了模型卻可能變得很貴。估算費用中,52.7% 花在未通過檢查的任務,另有 11.8% 花在逾時執行。測試也發現,成功完成一項任務所需的步數和成本有明顯關聯,但研究沒有單獨驗證簡單的工具使用方式是否能降低費用。

  3. Dev.to Top Tech64

    Solidity Spec 用 Lean 建立可執行的 Solidity 形式模型

    編譯器要確認程式前後的行為一致,得先清楚說明 Solidity 程式怎麼運作。作者推出開源研究預覽版 Solidity Spec,用 Lean 建立可執行的模型,讓人能跑範例,也能證明部分性質。像兩個變數指向同一格記憶體時,運算順序不同,結果可能是 3 或 4;模型會列出允許的順序,並處理呼叫失敗後還原狀態等情況。目前模型只涵蓋 Solidity 的一部分,尚未包括外部呼叫、內嵌組合語言與完整 ABI 編碼,也還沒有端到端的編譯器正確性證明。

  4. Lobste.rs (Engineering Discussion)76

    Pyrosome 用 e-graphs 自動檢查編譯器是否正確

    編譯器會把程式一步步改寫成較接近機器能執行的形式,每個步驟都可能出錯,人工檢查也很費力。這項研究把 e-graphs 用在 Pyrosome,讓工具能同時探索多種等價的改寫方式,並自動檢查各個語言功能的編譯規則是否正確。研究中的部分案例幾乎都由工具完成證明;加入多型等功能後,約 200 個檢查專案仍有約 5 個需要人工證明。遇到程式太複雜或搜尋範圍過大時,工具也可能無法完成檢查。

    推薦理由:文章用編譯階段逐步改寫程式的例子,說明 e-graphs 如何協助自動檢查編譯器正確性,也交代哪些情況仍需人工證明。

  5. Dev.to Top Tech37

    SWE-CoWork 揭露 AI 助理難以完成整套公司軟體工作

    AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。

  6. Rohan Paul53

    程式開發 AI 助理常拿到寫得很完整的任務,但真正的團隊工作裡,需求可能散在同事手上。TokenWave AI 推出 SWE-CoWork 這項基準測試,讓 AI 助理在模擬職場中工作,並把 82% 的需求交由隊友掌握,測試它會不會向對的人詢問。結果顯示,表現最好的模型雖能通過約 63% 的個別檢查,完整完成的任務仍不到 101 項中的 8 項;提供完整規格也讓 GPT-6 Astra 通過的檢查增加 16 個百分點,但它仍只完整完成 8 項任務中的 101 項。這項測試呈現了通過單項檢查和完成整個工作之間的差距。

11月17日週二
  1. Hacker News (official RSS)76

    FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配

    同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。

    推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。

  2. Dev.to Top Tech54

    SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式

    實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。

  3. Dev.to Top Tech64

    Tree-Ising 用約 $0.90 修補 Qwen3.5-0.8B,成本低於 GPT-6 Astra

    Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。

  4. Rohan Paul58

    AI 程式助理會在每一輪重送越來越長的對話紀錄,長期維護同一個程式專案時,token 費用也會一路累積。UC Berkeley 與 Microsoft 的研究提出 TokenEconomizer,讓它在助理外部參考過往執行紀錄,挑出要補進提示詞的資訊、移除沒用到的工具,並在失敗的迴圈持續時提早停止。研究在 Claude Code、Codex 和 GitHub Copilot CLI 的 277 項 SWE-Bench 任務中測試,平均每項任務的成本降低 18.4% 到 30.9%;5 種助理與模型組閤中有 4 種的 Pass@1 也提升。研究也指出,成本應按整個專案的多項任務一起計算。

  5. elvis61

    強化學習訓練常要研究人員盯著進度、找問題,再手動調整做法。論文提出 AutoRL,讓 AI 助理檢視訓練曲線、測試過程和評估結果,找出問題並提出修改,再由另一個 AI 助理核准套用。文中提到,AutoRL 讓 Qwen3 在 AIME 2024 的成績從 46.67% 提升到 66.67%;用 LongCat-Flash-Lite 做程式任務時,pass@1 從 52.29% 升到 65.13%。作者也指出,每次修改仍需要大量運算資源來驗證。

  6. Rohan Paul58

    讓 AI 助理自己改程序式時,怎麼安排搜尋、寫程式和評分,會影響成果與成本。Huawei 的論文提出 EvoTrias,讓控制器規劃搜尋、Claude Code 這類 AI 助理負責寫程式,再由 AI 助理看不到的評分器檢查結果。7 項數學任務中,EvoTrias 有 6 項表現最好,單次執行的 token 成本比 4-agent CORAL 少 64%。在有 680K 行 C++ 程式碼的 OR-Tools 專案中,它讓 300 個測試案例的求解器品質提升 13.2%;同一個 AI 助理只執行一次,平均則下降 0.1%。

11月15日週日
  1. Dev.to Top Tech43

    Metal Sandbox 如何讓 Apple Silicon 上的 GPU 程式開發 AI 助理安全共用運算資源

    多個 AI 助理同時在 Mac 上寫 Metal 程式時,可能互相卡住、弄壞彼此的檔案,甚至讓 GPU 出問題。Metal Sandbox 會替每個助理準備獨立的工作資料夾,再把編譯和執行工作排好;如果一臺 Mac 正忙,也能把符合條件的工作移到有空位的 Mac。就像四個人共用幾張工作桌,忙不過來時把工作送到空桌上。論文測試四臺 Mac mini M4,在不同工作情境下,處理命令的速度提高 1.68 到 2.05 倍;動態分配工作也讓整批工作時間減少 22.3%。這能減少等待,讓多個 AI 助理更順利地開發 GPU 程式。

  2. Dev.to Top Tech64

    Reemote 讓 AI 助理把 Ansible 設定轉成 Python 程式

    把 Ansible 設定改寫成 Python,常會失去預覽變更、依序管理多臺主機和檢視每項修改結果的能力。作者打造開源程式庫 Reemote,讓 AI 助理能把設定工作對應到現成的 Python 操作,並由程式庫負責連線、安排執行順序和整理結果。作者用它轉換 Apache 和 Datadog 的 Ansible 角色,並在模擬主機上確認第二次執行不會再造成變更。不過測試只涵蓋兩個角色的部分作業路徑,而且是在模擬環境中進行。

  3. Dev.to Top Tech73

    搜尋 API 哪個最能回答近期事件?實測比較六種服務

    AI 助理回答近期事件時,搜尋服務提供的資料會影響答案正不正確,也會影響等待時間。作者用 358 題答案會隨時間改變的 FreshQA 問題,比較六種搜尋 API,讓同一個模型各查一次再作答。兩種 Google 搜尋結果 API 的正確率分別是 88.5% 和 88.3%,但每次搜尋約要等 8 秒;Exa 約 0.74 秒,正確率是 83.0%。初步測試也發現,拿掉 Google 結果頁頂端的 AI Overview 後,正確率從 90.5% 降到 80.2%。測試沒有衡量各服務索引資料有多新,因此結果適合用來比較這組題目的表現,不能單靠它判斷差異是否來自資料更新速度。

  4. Hacker News (official RSS)77

    Lexifina 用 Lean 檢查美國稅法,找出條文錯誤與報稅漏洞

    美國稅法條文交叉引用很多,改了法規後可能留下錯誤,報稅工具也可能算錯。Lexifina 把法條轉成 Lean 程式,檢查引用是否有效,再用 IRS 範例和 3 套報稅工具比對 2025 年個人所得稅模型;搜尋也找出幾種申報方式可能少繳稅的情況,以及 IRS 表格和法條計算不一致的地方。作者表示,檢查找出 138 個條文錯誤,和其他工具測試 5,000 個家庭資料時,也發現模型本身與工具的錯誤。不過,這套模型只涵蓋部分個人所得稅規則,檢查結果也尚未由律師或會計師確認。

    推薦理由:這項研究把美國稅法轉成可由 Lean 檢查的程式,並用 IRS 範例與其他報稅工具比對,呈現找出條文錯誤和報稅模型差異的方法。

11月14日週六
  1. Dev.to Top Tech76

    研究檢查 3,905 份 GitHub 指令檔,發現 Claude Code 常讀不到 AGENTS.md

    AI 程式助理可能因為沒讀到專案規則,或只讀到部分內容,而和其他助理採用不同做法。作者檢查了 3,905 份 GitHub 上的 CLAUDE.md 和 AGENTS.md,發現兩份檔案並存時,約 16% 的 CLAUDE.md 沒有提到 AGENTS.md,因此 Claude Code 不會載入它;另有一些檔案要求助理自行去讀,或是複製後內容已經不同。作者建議在 CLAUDE.md 開頭單獨加上 @AGENTS.md,讓 Claude Code 匯入共用規則。研究也指出,超過 Codex 預設讀取大小的 AGENTS.md,後段內容不會送進模型;檢查只涵蓋公開 GitHub 專案,衡量的是規則有沒有傳到助理,不代表助理一定會遵守。

    推薦理由:這份 GitHub 檢查整理了指令檔未載入、內容分歧與長度超限的情況,並說明如何讓 Claude Code 讀取 AGENTS.md。

  2. Artificial Analysis61

    用 AI 助理寫程式時,分數高不一定代表不同工具在同一套測試裡都能公平比較。Artificial Analysis 更新 Coding Agent Index,改用新版 FrontierCode 和 Terminal-Bench 評分;前者看程式修改是否值得專案維護者合併,後者更新了檢查答案的方式,讓評分更可靠,也較不容易被鑽漏洞。新版中 Claude Fable 5.2 和 Claude Opus 5.5 都拿下 58 分;整體分數平均比舊版低 5 分。得分 48 分以上的配置,每項任務成本約差 30 倍,從 $1.51 到 $44.22,顯示比較表現時也要留意花費。

    推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。

  3. Dev.to Top Tech65

    研究示範修改 Qwen2.5-1.5B-Instruct 權重,能持續改變模型回答

    模型回答可能被人直接改進權重裡,即使沒有動提示詞,改變也會跟著模型檔案留存。研究人員用 ChatGPT 6.1-Sol 修改 Qwen2.5-1.5B-Instruct,讓它在 100 次測試中都把 2000 年奧運主辦城市答成布宜諾斯艾利斯;原模型有 91 次答對雪梨。不過修改也影響了一項無關測試,而且研究是在受控環境中用小型模型完成,沒有證明攻擊已在實際部署中發生。文章建議,使用別人提供的模型權重前,先用已知答案的問題檢查修改前後的行為,並在測試環境中確認安全。

  4. Rohan Paul74

    從預訓練模型到建置服務引擎,AI 助理能不能完成整套工作?卡內基美隆大學的新論文用 Singularity-Bench 測試 6 種端到端任務,並在相同 GPU 上拿成果和 SGLang 等生產工具比較。Opus 5.5 的 Singularity-Index 是 1.25,人類基準為 1;另外 10 個 AI 助理平均是 0.58。它建置的服務引擎每 GPU 小時賺取 11.52 USD,SGLang 則是 8.18 USD。

    推薦理由:這項基準把 AI 助理完成訓練、推論與叢集管理工作的成果,和同 GPU 上的生產工具比較,可瞭解它們在端到端工程任務上的表現。

  5. Dev.to Top Tech54

    CoReMem 研究如何讓 AI 助理記住對後續程式任務有用的資料

    AI 助理接連處理同一個程式專案時,記太多資料會佔空間、拖慢查詢,記太少又可能漏掉有用線索。CoReMem 會比較下一個任務在有沒有某段記憶時的表現,依解題結果和步數判斷它值不值得保留,再把有用線索連到程式位置或測試指令等錨點。文中提到,在 ChainSWE 測試中,27B actor 的解題率從 21.0% 提升到 25.7%,步數少了 17%,總 cache-aware tokens 少了 11%。這套方法需要離線重跑任務來估算記憶價值,任務彼此獨立時效益有限。

  6. Dev.to Top Tech52

    作者如何推導《Palworld》帕魯能力值公式,並在遊戲中驗證

    想從《Palworld》畫面上的能力值反推出帕魯的隱藏天賦,常見的簡化公式會算錯。作者拆解遊戲計算時的浮點數誤差和三次取整順序,推匯出 HP、攻擊與防禦的公式,再用事先寫下並鎖定的預測和遊戲畫面比對。公式符合 2,310 筆已檢查的數值;作者也說明其中只有部分數值是在檢視遊戲結果前先凍結預測。文章另整理食物、飢餓、被動技能和等級同步等修正方式,並提供計算器、公式論文與資料集,讓玩家查詢帕魯可能的天賦值。