跳到正文

全部動態

RSS
今日 32 則
11月21日週六
  1. Browser Use78

    Browser Use 說明 AI 助理評測為何高估了 5.1 分

    評測分數上升,不一定全是 AI 助理變強;評分器可能根本沒看到完整答案。Browser Use 發現,評分器只讀取「FINAL ANSWER:」標記後的文字,在 200 項任務中有 188 項的主要答案被漏掉。團隊用儲存的舊答案重新評分,估算這個錯誤佔了原本 5.1 分增幅中的 1.8 到 2.6 分。文章也建議儲存每次評測的答案與設定,出錯時重新評分,並用相同任務比較兩組結果,避免把評分器或執行環境的問題算成 AI 助理的表現。

    推薦理由:這次重評把評分器漏看答案造成的分數差拆開,也說明如何儲存舊結果,讓評測勝負能回頭檢查。

  2. aihot74

    Browser Use 刪除 13.7 萬行程式碼後,BU Bench v2.1 分數反而上升

    Browser Use 回頭檢視 browser-use 1.0,發現專用工具堆得太多,未必能讓 AI 助理做得更好。團隊把 24 個工具收斂成一個 Python 工具和兩種結束方式;這次改動新增 29,601 行程式碼,刪除 136,905 行,Python 檔案也從 178 個減到 43 個。材料指出,BU Bench v2.1 的得分在這次調整後反而上升,呈現了簡化工具設計的實際例子。

    推薦理由:作者比較重寫前後的同一項基準分數,呈現工具數量與模型表現之間的取捨,並提供精簡工具設計的實例。

  3. hackernews10052

    AI 寫程式後,開發者得開始負責架構設計

    AI 可以照著需求寫程式,卻不知道哪些需求會讓應用程式變慢,也不會主動和團隊討論取捨。作者以 Google Forms 外掛為例,說明程式為了記錄新使用者資料,在顯示歡迎畫面前多次呼叫 Google,讓畫面等了 15 秒。作者認為,開發者應先決定要記錄哪些資料、畫面先顯示還是先記錄,以及怎麼兼顧效能與安全,再要求 AI 按照設計寫程式並檢查結果。隨著 AI 接手更多撰寫工作,開發者需要多花心力在架構和資料設計上。

  4. Guillermo Rauch42

    Guillermo Rauch 回憶,他最早試用 @eve 的內部測試版時,做出了一個個人購物 AI 助理,但當時還缺少不少基礎設施。現在有了 @agentcardhq,模型也變得更好,iMessage 和 WhatsApp 的 eve 聊天管道更成熟,執行速度大幅提升,同時保留資料耐久性與加密保護。他表示,現在能用開放式 AI 技術堆疊,打造像 Muse/Instinct 這類可自行掌控的平臺,並鼓勵大家從範本開始修改成自己的版本。

  5. Dev.to Top Tech64

    Claude Fable 5.2 解出兩項黑洞物理難題,文章拆解哪些結果經過驗證

    Anthropic 表示,Claude Fable 5.2 解出兩項和黑洞物理相關的難題,但「解出」不代表所有相關問題都已解決。這篇文章對照兩份預印本,說明一項計算指出特定條件下的相變是突然發生,另一項則為一種數學方法推得更嚴格的界線;兩者都只適用於論文列出的模型與假設。文章也分清楚不同檢查能說明什麼:第一項研究用不同計算方式比對結果,第二項研究則有部分證明以 Lean 檢查。這些檢查有助於確認具體推導,但沒有回答中間耦合強度下的情況,也沒有找出描述真實宇宙的量子重力理論。

  6. a16z49

    新的手機作業系統很難跟 iOS、Android 競爭,因為人們不想換到沒有常用 App 的手機。DHH 說,Microsoft 曾花數十億美元想讓 Windows 成為手機系統,卻因為缺少 Instagram 等 App 而失敗。他也提到,Omarchy 社群有人花大約兩週重做 Adobe Lightroom,讓他不必為了使用這款軟體而留著 Mac。DHH 認為,AI 讓人更容易快速寫出 App,可能打破手機平臺靠「大家常用的 App 都在這裡」留住使用者的局面。

  7. Artificial Analysis61

    千禧年難題中,只有龐加萊猜想的證明目前獲得正式承認;另外兩項由 AI 協助提出的解答仍在等待獨立查證。Artificial Analysis 盤點了三項主張:Grigori Perelman 在 2003 年證明龐加萊猜想,並婉拒獎金;OpenAI 在 9 月宣稱用尚未發布的內部模型解出 Navier–Stokes 問題;Levent Alpöge 則表示,他今天與 Claude 合作找到黎曼猜想的證明。這些 AI 相關成果目前只能算暫定,其他五項千禧年難題仍未解決。

    推薦理由:這份盤點把已獲正式承認的證明,和兩家公司的待查證主張放在一起,呈現目前解題紀錄的不同可信程度。

  8. The New Stack55

    OpenSearch 的 Bianca Lewis 說明,為什麼 AI 助理走錯路時看起來仍像成功

    AI 助理可能呼叫了不合適的 API,卻收到正常回應,讓儀錶板仍顯示一切正常。OpenSearch Software Foundation 的 Bianca Lewis 說,團隊可以搭配 OpenTelemetry 追蹤 AI 助理呼叫了哪些服務和 API,再加上成本資料,檢視哪一步走偏、哪裡花費較高。這些線索能幫開發者找出答案看似合理、實際上卻不符合使用者要求的原因。她也提到,團隊可用同一套 OpenSearch 技術處理搜尋和觀測,並把轉換平臺的成本納入整體考量。

  9. Dev.to Top Tech54

    Mnemolith 實測記憶功能如何影響 Claude Code 的表現

    AI 助理接手程式時,常不知道團隊以前做過哪些決定,也可能改錯程式或漏掉規則。作者用 Claude Code 做了 7 項任務,分別測試不使用記憶、把相同資料放進 CLAUDE.md,以及使用 Mnemolith;共測試 63 次。三種設定的平均任務成本都約為 $0.12,答對任務則分別是 9、18 和 21 項。Mnemolith 也記住前一次工作階段提過的資料,並在下一次用上。不過,作者指出檔案變動時提醒記憶可能過時,在這個小型專案裡沒有帶來不同結果;大型專案是否有幫助,還要再測試。

  10. Lobste.rs (Engineering Discussion)72

    curl 維護者談 Rust 重寫版:軟體要靠持續修補與社群維護

    把 curl 改寫成 Rust,能不能做出功能相近的版本?curl 維護者 Daniel Stenberg 認為,AI 助理能參考多年累積的程式碼、檔案和測試,在幾週內完成大量改寫,但原專案仍持續修正問題。作者提到,在改寫期間,curl 合併了 300 多筆修改,其中有 200 多項錯誤修正,也修補了幾個安全漏洞;他並指出,2026 年確認的 81 個 curl 漏洞中,14 個可能可用記憶體安全語言避免。他認為,換語言或重寫無法取代長期維護、修補和社群合作。

    推薦理由:作者以 curl 維護者的角度比較 Rust 重寫與原專案持續更新,呈現重寫版本如何面對修補漏洞、累積功能和維持社群協作的難題。

  11. Dev.to Top Tech55

    115 個開源 PR 合併後,作者整理出維護者看重的貢獻方式

    開源專案的程式碼就算能修好問題,也不一定會被維護者合併。作者整理自己用 superhuman 提交的 115 個 PR 和審查留言,發現關鍵常在程式碼以外:先確認專案接受外部貢獻、沒有人已在處理同一問題,並照專案慣用的格式寫說明、附上測試。送出後也要盡快回覆審查意見;有時維護者會接手最後的修改,合併修正並保留貢獻者署名。這些經驗顯示,AI 助理參與寫程式時,也得遵守開源社群原有的合作方式。

  12. Goldman Sachs: The Markets🎙️ Podcast58

    The Outlook for Retail Stocks as Black Friday Approaches

    Solid retail sales data and a positive start to retail earnings reporting are demonstrating the strength of the US consumer heading into Black Friday, says Scott Feiler, US consumer sector specialist in Goldman Sachs FICC and Equities. Low jobless claims and declining gas prices also suggest resilient consumer spending, which is showing up in sales for experiences and giving a boost to hotel and cruise-line stocks. At the same time, Feiler says on The Markets podcast that it will be important to

  13. Jordi Visser🎙️ Podcast58

    Wall Street Is Betting on Crypto: NYSE Picks Avalanche, Scaramucci Sees $2,100 BNB

    In today's episode of Milk Road Crypto, John sits down with Anthony Scaramucci, founder of SkyBridge Capital, to break down Bitcoin's ongoing bear market, Wall Street's growing interest in blockchain technology, and the catalysts that could fuel the next crypto bull run. With Bitcoin trading near $60,000, Scaramucci explains why he believes the four-year cycle is still intact, whether BTC is forming a double bottom, and how institutional demand through Bitcoin ETFs could prevent another historic

  14. Dev.to Top Tech68

    Codex 搭配 GLM-5.3-Flash:終端測試排名第 4,真實專案測試排名第 10

    同一組 Codex 和 GLM-5.3-Flash,為什麼在兩個排行榜上差了好幾名?作者把兩邊的測試放在一起比較,發現一邊只測終端操作,Codex 排第 4;另一邊也測真實程式專案,Codex 在修功能、找錯誤的 DeepSWE 測試中落後許多,總排名第 10。兩邊使用的 Codex 版本和設定也不同,但作者無法確認這是否造成差距。這提醒使用排行榜時要先看它測的是哪種工作;測試結果不一定能代表自己的程式專案。

  15. Dark Reading (Information Security)39

    資安防護不能只靠工具:把話說清楚也很重要

    資安團隊除了要會用工具,也得把話說清楚,才能讓主管、開發者和一般同事知道風險在哪裡、該怎麼處理。像是談雲端安全時,團隊要分清楚雲端服務商負責保護雲端本身,企業則要顧好自己放上去的資料和服務。文章也舉例,可以用「什麼資安事件會讓我們週一早上最頭痛?」這類白話問題,幫大家找出最該先處理的威脅。說得清楚,能讓團隊更快做好防護,也提醒資安人員談 AI 時要小心用詞,別把 AI 助理說得像真的有人的想法。

  16. Martin Fowler Blog39

    Martin Fowler 整理 AI 助理、軟體工廠與 SaaS 的近況

    AI 助理寫程式和處理事情越來越快,但人跟不上時,就可能看不清它們做了什麼,也更難確認結果對不對。文中提到一項程式碼審查實驗:研究者讓 3 種大型語言模型處理 465 個程式碼變更,發現程式碼品質較好的版本,讓 AI 助理審查時的成本低了 22% 到 35%。另外,AI 助理也可能被人拿來處理長篇服務條款,或替受停權的小商家向 Meta 提告、聯絡政府機關。 這些例子帶出同一個提醒:AI 助理能幫忙做很多事,但人仍要看得懂它的行動、確認結果。文中也談到一種 SaaS 新方向:公司提供安全、資料管理等底層服務,再讓客戶依自己的工作方式打造應用程式;要讓這種做法可靠,檢查程式是否正確也會變得很重要。

  17. The Top Line🎙️ Podcast58

    Mapping psychedelics’ commercial summit

    Several years after the FDA's high-profile rejection of Lykos Therapeutics’ MDMA candidate for post-traumatic stress disorder, a new wave of developers is nearing the regulatory finish line with experimental psychedelic treatments for mental health conditions. But regulatory approval is, in many ways, just the beginning of a complex journey to market for these companies, should their drugs pass muster with the FDA. In this week’s episode of "The Top Line," Fierce Pharma’s Fraiser Kansteiner sits

  18. Dev.to Top Tech72

    METR 的時間跨度圖顯示,AI 寫程式進步比判斷更快

    AI 能連續完成工作的時間變長,不代表所有任務都進步得一樣快。METR 更新的時間跨度圖顯示,在軟體工程基準測試中,AI 可完成任務的時間自 2021 年起約每 7 個月增加一倍;但這類測試通常有明確的對錯答案。判斷新聞是否有偏見等任務,答案較主觀,進展較慢,能完成的時間也較短。文章提醒,評估模型時要看它要做的那類任務,不能只看整體分數;需要細緻判斷的工作仍應有人參與。

  19. a16z42

    AI 可能很快就能在數學上找到新解答,甚至解出「千禧年難題」並寫出 Lean 證明,卻不一定能把證明講得讓人聽懂。因為寫出好解釋,得先猜到讀者懂什麼、有哪些直覺;要判斷一份證明對不對,也比判斷一段解釋好不好容易。短期內,AI 可能更擅長把數學發現往前推,人類仍得花很多力氣整理出能理解的說明,AI 也會協助這項工作。這提醒我們,找到答案和真正理解答案,是兩件不同的事。

  20. Dev.to Top Tech58

    HPC 評估不只看 FLOPS:AI 助理如何加快科研迴圈

    超級電腦跑得快,不一定代表研究者能更快得到答案;資料搬移、排隊和分析也會拖慢整個研究流程。作者根據 SC26 的案例,主張衡量從提出想法到拿到結果一天能完成幾輪,而不只看單次運算速度。文章也談到 CPU、GPU 和量子處理器如何由排程工具協調,以及網路延遲和本機小型模型對研究工作的影響。文中的硬體效能數字多來自廠商,作者提醒研究團隊應用自己的程式實測。

  21. BlockTempo 動區動趨76

    數學家 Levent Alpöge 聲稱與 Claude 證明黎曼猜想,完整驗證仍待確認

    黎曼猜想關係到質數實際分佈和平均估計之間的差距,至今仍沒有獲公認的證明。數學家 Levent Alpöge 聲稱與 Claude 找到黎曼猜想及廣義黎曼猜想的證明,並把論證寫成 Lean 程式;他公開了四頁宣告和 14 個程式分卷連結,提到草稿曾超過 25 萬頁。Lean 可以檢查數學推導,但還要確認程式證明的命題確實對應原本的猜想,並檢查完整推導和使用的前提。外部專家仍須檢視論證,作者的聲稱也不等於已獲獨立驗證。

    推薦理由:這項聲稱的關鍵不只在 Lean 程式能否編譯,還要核對程式證明的命題是否就是黎曼猜想,以及完整推導有沒有外部專家驗證。

  22. Rohan Paul41

    Anthropic 數學家 Alpöge 宣稱,他和 Claude 花了約 6 週證明瞭困難的黎曼猜想。這個問題困住數學家 167 年;Alpöge 先把兩種用在簡化問題上的想法,帶往真正的難題,再由 Claude 處理他尚未掌握的高深部分,並提出關鍵步驟。兩人也把整套論證寫成可由電腦檢查的程式碼。不過,推文只說 Alpöge 宣稱完成證明,沒有提供數學界確認結果的資訊;若證明成立,將是數學研究的重要突破。

  23. Arena.ai44

    LMSYS Arena 更新了 Arena Alignment Index,調整偵測 AI 助理出錯的方式,希望涵蓋更多情況、判斷更可靠。這份指數會看 AI 助理在真實使用情境中,是否擅自做事、謊稱工作已完成,或把使用者沒說過、沒做過的事算到使用者頭上。新版排名中,OpenAI 包辦前七名;Claude Fable 5.2 首次上榜排第 8,Kimi K3.1 Pro 是進步幅度最大的開放模型,也排在第 9。這提醒我們,模型排名不只看能不能回答問題,也要看它會不會越權或誤報工作狀態。

  24. Where’s Your Ed At (Ed Zitron)41

    AI 泡沫為何越吹越大?又該怎麼阻止它再度膨脹

    AI 泡沫越吹越大,媒體、銀行、科技公司和投資人都能從中受益,卻很少有人認真追問:AI 到底賺了多少錢?作者認為,大家容易被大公司和大數字說服,也會把提出質疑的人當成唱反調。像是雲端服務商說成長來自 AI,卻沒有說清楚 AI 帶來多少收入;OpenAI 在 2024 年則虧損 $5 billion。文章也提醒,LLM 確實可能成為網路犯罪者的新工具,但這不代表 AI 一定會實現所有承諾。作者接下來要談如何用規則和社會行動,減緩炒高估值的風氣,避免泡沫繼續擴大。

  25. BioCentury This Week🎙️ Podcast58

    Ep. 399 - Key themes from Jefferies. Plus: U.K. regulatory innovation

    Speed to patients and cross-border collaboration dominated conversations at London Life Sciences Week, even as investors on both sides of the Atlantic grapple with the COINS Act’s restrictions on taking equity in China-based companies. In a special live edition of the BioCentury This Week podcast, recorded at the 4th Biotech CEO & Investor Reception in London, Stephen Hansen is joined by Jackie Mulryne of Morgan Lewis, WuXi AppTec co-CEO Steve Yang, and BioCentury’s Simone Fishburn and Josh Berl