#程式開發
RSS 訂閱#程式開發
RSS
Rohan Paul@rohanpaul_ai品質評分5858Dev.to Top Tech品質評分4242 CodeAF 和 9 款 AI 程式設計助理比做 DeepSWE 任務
AI 程式設計助理的總分看起來接近,實際上可能擅長解不同的題目。這次比較讓 10 款工具用同一個模型挑戰 DeepSWE 的 113 項任務,再逐題確認哪些做對、哪些沒做成。CodeAF 的 senior-dev 模式答對 62 題;和 mini-swe-agent 相比,有 29 題只有 CodeAF 做對,另有 23 題只有 mini-swe-agent 做對。這表示只看總分,會漏掉兩款工具各自擅長的題目;而且有 15 題連所有工具都沒答對。
Dev.to Top Tech品質評分4646 測試發現:給 AI 助理一份正確程式碼範例,比列出 25 多條「絕對不要」規則快 2.85 倍
寫給 AI 助理的規則常塞滿「絕對不要這樣做」,但規則太多,模型可能反而漏掉真正重要的細節。這次測試讓 Gemini 3.8 Flash 修改一套付款程式:一組提示詞列出 25 多條禁令,另一組則提供一份示範正確寫法的程式碼範例。前者做了 3 次才通過 20 項檢查中的 16 項;後者一次就全數通過,執行速度快 2.85 倍。結果顯示,直接示範希望 AI 助理怎麼寫,可能比一再提醒它不能做什麼更有效。
Dev.to Top Tech品質評分6262 VIDRAFT 如何重現黎曼猜想的 Lean 形式化證明
數學證明就算寫成電腦能檢查的形式,也需要確認檔案能否完整編譯,以及最後的定理依賴哪些假設。VIDRAFT 下載並重新編譯一份以 Lean 撰寫的黎曼猜想證明,共檢查 175,187 個檔案,沒有編譯錯誤;Lean 核心也顯示,定理只依賴 Lean 和 Mathlib 的三個標準公理,沒有使用 sorry 或額外公理。作者另做了一個互動工具,用數值計算展示 Weil 二次型在五個真正的 L 函式與三個仿造例子上的正負差異。這些計算展示了相關性質,形式化證明則由 Lean 編譯與檢查。
MarkTechPost品質評分7171 Columbia 與 CertiK 推出 TensorLean,形式化檢查 GPU 核心
GPU 核心通過測試,不代表所有執行情況都正確。Columbia University 與 CertiK 的研究團隊推出 TensorLean,讓開發者用 Lean 寫出數學規格,再檢查編譯後的 GPU 程式是否符合規格,包括有沒有資料競爭、結果是否正確,以及是否改動了不該碰的記憶體。團隊檢查 149 個核心,證明其中 83 個正確,並找出 38 個錯誤;其中一個 FlashAttention-4 的資料競爭,先前 17,760 次測試都沒有出現。研究團隊表示,相關錯誤都已回報給上游專案。
Dev.to Top Tech品質評分5757 CanopyCore 整理 Diddy Kong Pilot GBA 原型的反向工程研究
已取消發行的 GBA 遊戲 Diddy Kong Pilot,留下的程式難以直接讀懂。作者花了 17 天分析這款 2003 年原型,將成果整理成唯讀研究資料庫,包含 151 份技術檔案和核心引擎的 C11 參考實作。作者記錄了畫面、精靈圖、飛行物理、遊戲 AI、碰撞和音效系統,並用模擬器及差異測試比對原始程式與重建版本。這份資料不會編譯成 ROM,也不包含遊戲素材,可供儲存研究與日後進一步比對。
hackernews100精選品質評分9797 Lean 與 Mathlib 社群確認黎曼猜想的 Lean 證明通過查核
黎曼猜想的證明很長,光是能編譯成功,還不能確定它證明的命題正確。Lean 與 Mathlib 社群表示,Levent Alpöge 在 2026 年 11 月 20 日發布的證明包含 1,700 萬行程式碼,並由社群多人重複編譯。宣告說,兩種工具確認程式證明的正是 Mathlib 收錄的黎曼猜想;Lean 官方核心與多個獨立證明檢查器也檢查了匯出的證明。這些查核分別確認命題、程式和證明本身,讓社群有根據地認可這項成果。
推薦理由:這份聯合宣告說明社群如何分別檢查定理內容、程式編譯與證明有效性,呈現大型數學證明的多層查核方式。
Rohan Paul@rohanpaul_ai精選品質評分6969推薦理由:這項研究把重複推理改寫成可帶入新數字的 Python 函式,並比較了多項數學與科學基準的準確率和成本。
Dev.to Top Tech品質評分4242 AI 寫程式遇到 bug 時,先重現問題再修改,準確率達 100%,輸入 token 減少 95.3%
AI 助理收到 bug 回報後,常會先猜原因、直接改程式,再跑原有測試;但舊測試可能沒碰到真正出錯的情況,讓錯誤悄悄留下。這次測試比較兩種做法:一種先修改再測,另一種規定先用 5 個小測試重現問題,確認它們真的失敗後,才開放修改程式。結果,先重現問題的做法一次就通過全部 20 個檢查,輸入 token 也從 49,801 降到 2,323。 例如,測試特別檢查金額為 0 的交易能不能通過,以及多餘欄位會不會被錯誤留下;先修改再測的做法漏掉了這兩種情況。這表示先清楚看見錯誤怎麼發生,再動手修,能讓 AI 助理少走冤枉路,也更不容易漏修。
hackernews100品質評分7474 Navier–Stokes 方程有限時間爆破解答附上 Lean 4 形式化證明
Navier–Stokes 方程是否可能在有限時間內出現爆破解答,是這篇 79 頁論文處理的問題。作者也提供 Lean 4 程式,將論文中的部分定理整理成可檢查的形式化證明。不過,論文提到的證書和用區間算術進行的嚴格計算都不在這個專案裡,證書也尚未公開;此外,這份程式套件套用補丁後尚未重新建置。因此,專案提供了論文與形式化證明的材料,但不包含檢查證書所需的全部內容。
Dev.to Top Tech品質評分6464 Sumama-Jameel 公開 66 段真實程式開發過程,讓 AI 助理學會從錯誤中修正
只看最後寫好的程式碼,AI 助理學不到遇到錯誤後怎麼繼續。Sumama-Jameel 整理出 66 段實際執行的程式開發過程:AI 助理在 Docker 沙盒裡處理真實專案任務,使用工具、碰到錯誤再修正,工具輸出和失敗紀錄都保留下來。每段資料都會檢查專案測試,也能在自己的電腦上重新驗證。作者公開與四份大型資料集的比較,並說明這份資料在規模和部分指標上落後;用它訓練的小型模型有一項分數從 43% 升到 80%,其他分數則退步。
elvis@omarsar0品質評分6363Dev.to Top Tech品質評分5757 Vyankatesh 靜態掃描 618 個公開 AI 助理技能,發現附帶程式碼的風險分數較高
公開的 AI 助理技能會提供操作指示,有些還附帶能以使用者許可權執行的程式碼,因此可能帶來安全風險。Vyankatesh 用 SkillSpector v2.12.0 靜態掃描 618 個公開技能,沒有安裝或執行它們;63.6% 至少有一項警示,40.1% 有高或嚴重警示。附帶程式碼的技能風險分數中位數是 52,只有 Markdown 的技能則是 0。不過,作者抽查的少數警示有些看來被判得太嚴重,也沒有找到他認為蓄意惡意的技能。這項研究不是同儕審查,也無法判斷掃描漏掉多少問題;作者建議把分數用來安排檢查順序,啟用技能前仍要看清楚它如何使用你的憑證。
Dev.to Top Tech品質評分4848 663 組 GitHub 比較看不出 AI 協助的程式碼比較常被撤回
大家擔心 AI 幫忙寫的程式碼會不會比較常出問題,甚至被撤回。作者從 GitHub 找出 663 組相似的程式碼修改,分別比較有說明 AI 協助和只由人類撰寫的修改。30 天內,前者有 1 筆被撤回,後者有 2 筆;但撤回本來就少見,這次的資料太少,還看不出兩者有沒有差別。作者也發現,用後續修改來猜程式是否修過 bug,常會把不相關的改動算進去。這項研究只能說目前沒有明確證據顯示兩者不同,不能據此判定 AI 寫的程式碼比較安全或比較容易出錯。
Dev.to Top Tech品質評分6060 Meta 研究者推出 SWE-sweep,測試 AI 助理能否自己找出程式錯誤
一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。
Rohan Paul@rohanpaul_ai品質評分5757
Dev.to Top Tech品質評分5757 作者測試一句提示詞能否阻止 AI 助理把錯誤資料當真
API 有時回傳空白、資料不完整或一堆零,卻仍顯示呼叫成功,AI 助理可能因此把錯誤資料當真,甚至做出不對的操作。作者用四種 AI 助理框架和模擬 API,比較在指示中加上一句提醒,或讓工具附上資料缺漏註記,能不能減少這種問題。測試中,那句提醒讓助理在回答問題時不再編造資料,也能避免對看起來明顯有問題的資料採取行動;但空清單、截短清單和被歸零的數字看起來很正常,提醒仍擋不住錯誤判斷。作者也說明,測試只用了單一模型、單一服務和少量模擬任務。
Dev.to Top Tech品質評分4646 1.5B 模型資料分析測試:單次提示詞比 AI 助理流程答對更多
用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。
The New Stack品質評分6565 基準測試發現,AI 程式開發助理的執行環境會讓成本差到 5 倍
同一個模型搭配不同的程式開發助理執行環境,花費可能差到 5 倍。Runta 和 Baseten 比較 22 種設定與 5 個開放權重模型,發現省錢排名會隨模型改變;有些設定搭配一個模型最便宜,換了模型卻可能變得很貴。估算費用中,52.7% 花在未通過檢查的任務,另有 11.8% 花在逾時執行。測試也發現,成功完成一項任務所需的步數和成本有明顯關聯,但研究沒有單獨驗證簡單的工具使用方式是否能降低費用。
Dev.to Top Tech品質評分6464 Solidity Spec 用 Lean 建立可執行的 Solidity 形式模型
編譯器要確認程式前後的行為一致,得先清楚說明 Solidity 程式怎麼運作。作者推出開源研究預覽版 Solidity Spec,用 Lean 建立可執行的模型,讓人能跑範例,也能證明部分性質。像兩個變數指向同一格記憶體時,運算順序不同,結果可能是 3 或 4;模型會列出允許的順序,並處理呼叫失敗後還原狀態等情況。目前模型只涵蓋 Solidity 的一部分,尚未包括外部呼叫、內嵌組合語言與完整 ABI 編碼,也還沒有端到端的編譯器正確性證明。
Baseten@baseten品質評分4949Lobste.rs (Engineering Discussion)精選品質評分7676 Pyrosome 用 e-graphs 自動檢查編譯器是否正確
編譯器會把程式一步步改寫成較接近機器能執行的形式,每個步驟都可能出錯,人工檢查也很費力。這項研究把 e-graphs 用在 Pyrosome,讓工具能同時探索多種等價的改寫方式,並自動檢查各個語言功能的編譯規則是否正確。研究中的部分案例幾乎都由工具完成證明;加入多型等功能後,約 200 個檢查專案仍有約 5 個需要人工證明。遇到程式太複雜或搜尋範圍過大時,工具也可能無法完成檢查。
推薦理由:文章用編譯階段逐步改寫程式的例子,說明 e-graphs 如何協助自動檢查編譯器正確性,也交代哪些情況仍需人工證明。
Dev.to Top Tech品質評分3737 SWE-CoWork 揭露 AI 助理難以完成整套公司軟體工作
AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。
Rohan Paul@rohanpaul_ai品質評分5353
Hacker News (official RSS)精選品質評分7676 FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配
同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。
推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。
Dev.to Top Tech品質評分5454 SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式
實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。
Dev.to Top Tech品質評分6464 Tree-Ising 用約 $0.90 修補 Qwen3.5-0.8B,成本低於 GPT-6 Astra
Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。
Rohan Paul@rohanpaul_ai品質評分5858
elvis@omarsar0品質評分6161
Rohan Paul@rohanpaul_ai品質評分5858
Dev.to Top Tech品質評分4343 Metal Sandbox 如何讓 Apple Silicon 上的 GPU 程式開發 AI 助理安全共用運算資源
多個 AI 助理同時在 Mac 上寫 Metal 程式時,可能互相卡住、弄壞彼此的檔案,甚至讓 GPU 出問題。Metal Sandbox 會替每個助理準備獨立的工作資料夾,再把編譯和執行工作排好;如果一臺 Mac 正忙,也能把符合條件的工作移到有空位的 Mac。就像四個人共用幾張工作桌,忙不過來時把工作送到空桌上。論文測試四臺 Mac mini M4,在不同工作情境下,處理命令的速度提高 1.68 到 2.05 倍;動態分配工作也讓整批工作時間減少 22.3%。這能減少等待,讓多個 AI 助理更順利地開發 GPU 程式。
Dev.to Top Tech品質評分6464 Reemote 讓 AI 助理把 Ansible 設定轉成 Python 程式
把 Ansible 設定改寫成 Python,常會失去預覽變更、依序管理多臺主機和檢視每項修改結果的能力。作者打造開源程式庫 Reemote,讓 AI 助理能把設定工作對應到現成的 Python 操作,並由程式庫負責連線、安排執行順序和整理結果。作者用它轉換 Apache 和 Datadog 的 Ansible 角色,並在模擬主機上確認第二次執行不會再造成變更。不過測試只涵蓋兩個角色的部分作業路徑,而且是在模擬環境中進行。
Dev.to Top Tech品質評分7373 搜尋 API 哪個最能回答近期事件?實測比較六種服務
AI 助理回答近期事件時,搜尋服務提供的資料會影響答案正不正確,也會影響等待時間。作者用 358 題答案會隨時間改變的 FreshQA 問題,比較六種搜尋 API,讓同一個模型各查一次再作答。兩種 Google 搜尋結果 API 的正確率分別是 88.5% 和 88.3%,但每次搜尋約要等 8 秒;Exa 約 0.74 秒,正確率是 83.0%。初步測試也發現,拿掉 Google 結果頁頂端的 AI Overview 後,正確率從 90.5% 降到 80.2%。測試沒有衡量各服務索引資料有多新,因此結果適合用來比較這組題目的表現,不能單靠它判斷差異是否來自資料更新速度。
Hacker News (official RSS)精選品質評分7777 Lexifina 用 Lean 檢查美國稅法,找出條文錯誤與報稅漏洞
美國稅法條文交叉引用很多,改了法規後可能留下錯誤,報稅工具也可能算錯。Lexifina 把法條轉成 Lean 程式,檢查引用是否有效,再用 IRS 範例和 3 套報稅工具比對 2025 年個人所得稅模型;搜尋也找出幾種申報方式可能少繳稅的情況,以及 IRS 表格和法條計算不一致的地方。作者表示,檢查找出 138 個條文錯誤,和其他工具測試 5,000 個家庭資料時,也發現模型本身與工具的錯誤。不過,這套模型只涵蓋部分個人所得稅規則,檢查結果也尚未由律師或會計師確認。
推薦理由:這項研究把美國稅法轉成可由 Lean 檢查的程式,並用 IRS 範例與其他報稅工具比對,呈現找出條文錯誤和報稅模型差異的方法。
Dev.to Top Tech精選品質評分7676 研究檢查 3,905 份 GitHub 指令檔,發現 Claude Code 常讀不到 AGENTS.md
AI 程式助理可能因為沒讀到專案規則,或只讀到部分內容,而和其他助理採用不同做法。作者檢查了 3,905 份 GitHub 上的 CLAUDE.md 和 AGENTS.md,發現兩份檔案並存時,約 16% 的 CLAUDE.md 沒有提到 AGENTS.md,因此 Claude Code 不會載入它;另有一些檔案要求助理自行去讀,或是複製後內容已經不同。作者建議在 CLAUDE.md 開頭單獨加上 @AGENTS.md,讓 Claude Code 匯入共用規則。研究也指出,超過 Codex 預設讀取大小的 AGENTS.md,後段內容不會送進模型;檢查只涵蓋公開 GitHub 專案,衡量的是規則有沒有傳到助理,不代表助理一定會遵守。
推薦理由:這份 GitHub 檢查整理了指令檔未載入、內容分歧與長度超限的情況,並說明如何讓 Claude Code 讀取 AGENTS.md。
Artificial Analysis@ArtificialAnlys精選品質評分6161推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。
Dev.to Top Tech品質評分6565 研究示範修改 Qwen2.5-1.5B-Instruct 權重,能持續改變模型回答
模型回答可能被人直接改進權重裡,即使沒有動提示詞,改變也會跟著模型檔案留存。研究人員用 ChatGPT 6.1-Sol 修改 Qwen2.5-1.5B-Instruct,讓它在 100 次測試中都把 2000 年奧運主辦城市答成布宜諾斯艾利斯;原模型有 91 次答對雪梨。不過修改也影響了一項無關測試,而且研究是在受控環境中用小型模型完成,沒有證明攻擊已在實際部署中發生。文章建議,使用別人提供的模型權重前,先用已知答案的問題檢查修改前後的行為,並在測試環境中確認安全。
Rohan Paul@rohanpaul_ai精選品質評分7474推薦理由:這項基準把 AI 助理完成訓練、推論與叢集管理工作的成果,和同 GPU 上的生產工具比較,可瞭解它們在端到端工程任務上的表現。
Dev.to Top Tech品質評分5454 CoReMem 研究如何讓 AI 助理記住對後續程式任務有用的資料
AI 助理接連處理同一個程式專案時,記太多資料會佔空間、拖慢查詢,記太少又可能漏掉有用線索。CoReMem 會比較下一個任務在有沒有某段記憶時的表現,依解題結果和步數判斷它值不值得保留,再把有用線索連到程式位置或測試指令等錨點。文中提到,在 ChainSWE 測試中,27B actor 的解題率從 21.0% 提升到 25.7%,步數少了 17%,總 cache-aware tokens 少了 11%。這套方法需要離線重跑任務來估算記憶價值,任務彼此獨立時效益有限。
Dev.to Top Tech品質評分5252 作者如何推導《Palworld》帕魯能力值公式,並在遊戲中驗證
想從《Palworld》畫面上的能力值反推出帕魯的隱藏天賦,常見的簡化公式會算錯。作者拆解遊戲計算時的浮點數誤差和三次取整順序,推匯出 HP、攻擊與防禦的公式,再用事先寫下並鎖定的預測和遊戲畫面比對。公式符合 2,310 筆已檢查的數值;作者也說明其中只有部分數值是在檢視遊戲結果前先凍結預測。文章另整理食物、飢餓、被動技能和等級同步等修正方式,並提供計算器、公式論文與資料集,讓玩家查詢帕魯可能的天賦值。