跳到正文

#Agent

RSS
今日 0 則
11月22日週日
  1. The Decoder63

    研究測試 AI 程式助理在模擬職場中能否完成工作

    AI 程式助理在單獨的程式測試中分數很高,但放進有同事、專案看板和聊天紀錄的模擬軟體公司後,能完成的工作少得多。這項新實驗測試了包括 Claude Opus 5.5 和 GPT-6 Astra 在內的 AI 助理,兩者完整完成的任務都不到十分之一。結果提醒我們,單項測試表現好,不一定代表 AI 助理能在較貼近日常工作的環境中把事情做完。

  2. Dev.to Top Tech46

    測試發現:給 AI 助理一份正確程式碼範例,比列出 25 多條「絕對不要」規則快 2.85 倍

    寫給 AI 助理的規則常塞滿「絕對不要這樣做」,但規則太多,模型可能反而漏掉真正重要的細節。這次測試讓 Gemini 3.8 Flash 修改一套付款程式:一組提示詞列出 25 多條禁令,另一組則提供一份示範正確寫法的程式碼範例。前者做了 3 次才通過 20 項檢查中的 16 項;後者一次就全數通過,執行速度快 2.85 倍。結果顯示,直接示範希望 AI 助理怎麼寫,可能比一再提醒它不能做什麼更有效。

  3. elvis51

    要做出好用的 RAG 系統,光靠人設計的方法是否足夠?AutoRAGBench 用九項開發任務測試 AI 助理:不提供起始程式碼或做法,讓它在六小時內分析資料、建立流程,再根據實驗結果調整。GPT-6.1 Sol 搭配 Codex CLI 平均得 56.1 分;每項任務都採用已發表最佳方法組成的人類基準,平均為 44.4 分。若從人類設計的系統開始改良,AI 助理在七項任務中平均增加 16.6 分。論文也比較九種 AI 助理設定,並追蹤它們在六小時內如何逐步開發。

  4. Dev.to Top Tech46

    AI 助理讓寫程式變快後,軟體團隊該怎麼重新安排工作?

    AI 助理能快速寫程式、補測試,但工作變快後,檢查和決定「這功能到底有沒有幫上忙」反而容易塞車。這份白皮書提出 Agentic PDLC:把工作從一張張待辦事項,改成可以驗證的成果假設,讓人和 AI 助理一起從瞭解需求、設計、開發到上線後觀察。比如,團隊可以先假設「讓回來的顧客重用已確認的資料,能減少他們放棄設定帳號」,再檢查完成率有沒有提高、風險有沒有增加。AI 助理可以提出做法,但重要決定仍由負責的人把關;每一步都要留下證據,確認真的對顧客有幫助。

11月21日週六
  1. Dev.to Top Tech42

    AI 寫程式遇到 bug 時,先重現問題再修改,準確率達 100%,輸入 token 減少 95.3%

    AI 助理收到 bug 回報後,常會先猜原因、直接改程式,再跑原有測試;但舊測試可能沒碰到真正出錯的情況,讓錯誤悄悄留下。這次測試比較兩種做法:一種先修改再測,另一種規定先用 5 個小測試重現問題,確認它們真的失敗後,才開放修改程式。結果,先重現問題的做法一次就通過全部 20 個檢查,輸入 token 也從 49,801 降到 2,323。 例如,測試特別檢查金額為 0 的交易能不能通過,以及多餘欄位會不會被錯誤留下;先修改再測的做法漏掉了這兩種情況。這表示先清楚看見錯誤怎麼發生,再動手修,能讓 AI 助理少走冤枉路,也更不容易漏修。

  2. Rohan Paul57

    AI 助理做機器學習研究時,常只反覆修改程式、比較分數,遇到難題可能一直修補方向錯誤的方案。Pro2 Agent 會先記下它認為卡住進度的原因、可能的解法和信心,再一次只改一個地方做實驗,根據結果更新判斷。文中提到,它在 75 項 MLE-Bench 任務上用 48 小時達到 76.0% 獎牌率;在 MLE-Bench Lite 上,第一個方案的獎牌率為 57.6%,MARS 則為 28.8%。這提供了一種設計研究型 AI 助理的方法:先找出瓶頸,再用小實驗檢查。

  3. elvis48

    醫院工作常要查保險、申請事前授權、處理理賠和索取病歷,還得在不同系統間小心操作。Hospital-bench 用模擬醫療系統測試 AI 助理,系統裡有 13 個應用程式和 131 種工具;20 個模型共完成 48 項任務。GPT-6.2 Astra 平均得分最高,為 62.4%;Claude Opus 5.5 完整通過的任務最多,共 17 項。安全也是大問題:有模型洩漏受限病歷、錯改已付款的理賠,或做了超出許可權的事。GPT-6.2 Astra 和 Gemini 4 Neon 沒有任務因造成傷害而被判零分,但有些模型最多有 10 項。結果顯示,AI 助理要可靠又安全地完成跨系統工作,仍有很大挑戰。

11月20日週五
  1. Dev.to Top Tech57

    Vyankatesh 靜態掃描 618 個公開 AI 助理技能,發現附帶程式碼的風險分數較高

    公開的 AI 助理技能會提供操作指示,有些還附帶能以使用者許可權執行的程式碼,因此可能帶來安全風險。Vyankatesh 用 SkillSpector v2.12.0 靜態掃描 618 個公開技能,沒有安裝或執行它們;63.6% 至少有一項警示,40.1% 有高或嚴重警示。附帶程式碼的技能風險分數中位數是 52,只有 Markdown 的技能則是 0。不過,作者抽查的少數警示有些看來被判得太嚴重,也沒有找到他認為蓄意惡意的技能。這項研究不是同儕審查,也無法判斷掃描漏掉多少問題;作者建議把分數用來安排檢查順序,啟用技能前仍要看清楚它如何使用你的憑證。

  2. Dev.to Top Tech60

    Meta 研究者推出 SWE-sweep,測試 AI 助理能否自己找出程式錯誤

    一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。

  3. Dev.to Top Tech48

    AI 助理評測轉向檢查實際動作,工程師該注意什麼

    評估 AI 助理時,只看它在聊天裡說了什麼,可能會漏掉它透過工具實際做的事。ViKernel Scanner 會把模型放進模擬環境,讓它面對一般任務和誘導它做危險事的要求,再檢查它試著呼叫哪些工具、傳入什麼內容。測試的 20 個開放權重模型,每個都只拿到 D 或 F;表現居中的模型在 100 次檢查中,有 40 次試著做危險操作。 研究也測試了能在工具呼叫執行前攔下它的防護機制;重播同一批測試結果時,897 次危險呼叫都被擋下。這提醒工程師,AI 助理嘴上拒絕,不代表它沒有試著動手;評測時也要檢查它實際發出的操作。

  4. MarkTechPost49

    Meta FAIR 的 Self-Improving Memory 學會自己整理記憶,測試平均分數達 56.0

    AI 助理做一串工作時,常會忘記前面學到的事;如果每次都靠人先寫好記憶方法,也不一定適合每種任務。Meta FAIR 做出 Self-Improving Memory,讓 AI 助理先從工作中找出整理和讀取筆記的方法,再把這些本領教進模型。像處理程式專案時,它會保留快速入門說明、問題索引和各項修正紀錄,之後接手工作時就能查閱。 在 3 種測試任務中,AI 自己找到的記憶方法平均得到 56.0 分,高於人寫的方法 44.6 分;程式專案任務的分數更高出 20.6 分。把部分本領教進模型後,即使改用一般提示詞,平均仍有 43.1 分,高於直接用一般提示詞訓練的 37.6 分。這表示 AI 找到的整理方法能帶來幫助,但不是每次嘗試都有效:44 次修改中有 37 次沒有超過前一次的最佳結果。

  5. Rohan Paul57

    讓 AI 助理修改自己的程式框架時,整份重寫可能很耗 token,也可能改壞原本能做好的事。Google 研究讓最佳化模型一次只改 4 個部分中的 1 個,並用保留的任務和 token 上限檢查修改,不合格就退回。在 40 項 SWE-bench Lite 任務中,逐項檢查的版本解出 40.0%,每項任務用 46.7k tokens;未經檢查的整份重寫解出 42.5%,卻用了 451.6k tokens。結果顯示,逐次檢查修改能用較少 token 換得接近的準確率。

  6. Rohan Paul59

    AI 助理會把以前用過的檔案路徑、欄位名稱或指令存成技能,方便下次少做一些工作;但應用程式或 API 改變後,這些舊資料可能悄悄失效。Amazon 的研究測試 Claude Opus 4.7 和 Haiku 4.5 在環境改變前後的表現,並用不呼叫模型的檢查方式找出過時內容,只修補有衝突的部分。在 Terminal-Bench 2 中,原本讓 Opus 多拿 4.7 分的技能,環境改變後反而比不用技能低 11.4 分;稅務表格測試中,修補後 Haiku 的欄位準確率從 30.5% 提高到 97.5%。

  7. Replit ⠕58

    讓更多 AI 助理一起工作很容易,讓牠們合作好才是難處。Replit 表示,Replit Missions 會用多個 AI 助理一起完成目標,最新研究則探討怎麼讓團隊合作順利:分工清楚、共享找到的資訊,並減少協調時間。測試中,表現最好的單一 AI 助理在團隊變大後反而退步;表現最好的 32 個 AI 助理團隊,則由一個協調者統整工作,而且它沒有傳訊息給任何成員。研究指出,團隊表現不能只靠成員各自厲害,也需要清楚分工和共享資訊。

11月19日週四
  1. elvis65

    讓 AI 助理自己修改提示詞和記憶,可能改善新任務,卻也可能讓原本會做的事變差,或把錯誤內容留在記憶裡。Google 的論文提出 GUARD,保留底層模型不變,讓 AI 助理調整自己的提示詞、技能、工具規則和記憶;每次修改前,先把任務拆成檢查專案,再比對修改前後的表現,優先處理新出現的問題。在 43 項託管 SDK 任務中,GUARD 的正確率為 80.80%,比起始設定高 8.89 個百分點;在程式記憶任務中,更新正確率為 90.1%,且沒有記憶汙染。

    推薦理由:GUARD 會先檢查修改提示詞與記憶後造成的行為變化,並優先修復新出現的問題,可用來理解自我改進 AI 助理如何降低舊能力受損的風險。

  2. Rohan Paul60

    做機器學習研究時,研究者得想辦法判斷實驗有沒有進展;FrontierML 想測試 AI 助理能不能自己完成這件事。每個任務會藏起評分目標,讓 AI 助理在 Lab0 使用 H100 GPU 工作 12 小時,自己設計進度指標、做實驗並判斷這些指標有多可信,最後再提交模型或方法評分。Synthetic Sciences 表示,受測的 5 個前沿 AI 模型在 25 個研究問題中,都沒有達到強成果門檻。

  3. OpenAI News72

    OpenAI 報告 AI 助理如何加快研究,也說明人仍要把關

    AI 助理能幫忙寫程式、檢查實驗,但不同工作做得好不好差很多,研究人員也得持續把關。OpenAI 這份內部研究報告整理了研究團隊使用 AI 助理的情況:截至 10 月中旬,超過三分之二的受訪研究人員每天最忙時至少有 4 個 AI 助理同時工作;在部分研究任務中,AI 助理能獨立完成約七成,但寫推論與服務程式碼的成功率估計為 25%。訪談也提到,AI 助理會產生品質不佳的程式碼和資料,因此研究人員常先檢查一份成果,再讓它繼續處理。報告呈現了 AI 如何加快部分研究工作,也指出人類監督仍是研究流程的一環。

    推薦理由:報告比較研究助理在不同任務上的成功率,也呈現研究人員如何檢查與修正成果,能看出 AI 加速研究的助力與瓶頸。

  4. Dev.to Top Tech49

    為什麼 AI 寫程式助理自己檢查,還是抓不到錯誤?實驗比較自我檢查與對抗式審查

    AI 寫完程式後,常會被要求自己再檢查一次,但它可能沿用原本的想法,只測常見情況,漏掉容易出錯的邊界。這次實驗讓同一個 AI 助理自我檢查,並和「另一個 AI 助理專門找碴」的做法比較:前者寫出的測試程式用了環境裡沒有的 pytest,無法執行,6 個隱藏錯誤一個也沒抓到;後者則用 Python 內建功能寫測試,抓出全部 6 個。 兩種做法寫出的程式都通過了 20 個功能測試。多加一次找錯步驟,花費增加 $0.0052、時間多 6.92 秒。這個結果顯示,讓不同 AI 助理分開寫程式和找錯,可能更容易發現邊界條件、型別和格式問題;找錯用的測試也應鎖定,避免後續修改把測試放寬。

  5. aihot84

    OpenAI 研究報告:AI 助理完成近半數長時間研究任務,但各類工作進展不同

    AI 助理能幫忙做研究工作,但不同任務的完成情況差很多。OpenAI 根據內部資料整理研究流程的變化:從 3 月到 10 月,原本估計要花 2 到 4 小時的任務,AI 助理不用人幫忙就成功完成的比例從 23% 升到 46%;監看訓練進度的成功率是 79%,寫推論與服務程式的成功率則是 25%。報告也提到,研究人員仍會檢查和修改 AI 助理的成果,並指出這些數字只呈現部分情況,不能直接代表研究進展一定加快。

    推薦理由:報告比較不同研究工作的自主完成率,呈現 AI 助理能加快部分流程、也可能卡在特定工作的差異。

  6. Dev.to Top Tech57

    作者測試一句提示詞能否阻止 AI 助理把錯誤資料當真

    API 有時回傳空白、資料不完整或一堆零,卻仍顯示呼叫成功,AI 助理可能因此把錯誤資料當真,甚至做出不對的操作。作者用四種 AI 助理框架和模擬 API,比較在指示中加上一句提醒,或讓工具附上資料缺漏註記,能不能減少這種問題。測試中,那句提醒讓助理在回答問題時不再編造資料,也能避免對看起來明顯有問題的資料採取行動;但空清單、截短清單和被歸零的數字看起來很正常,提醒仍擋不住錯誤判斷。作者也說明,測試只用了單一模型、單一服務和少量模擬任務。

  7. elvis69

    如果 AI 助理沒有被教怎麼學習,還能不能自己找出改進方法?MIT CSAIL 和 University of Tübingen 的研究讓固定不變的模型使用簡單工具,自己設計練習遊戲、觀看另一個模型遊玩,再修改對方的提示詞和技能檔案。模型看不到真實任務或驗證分數,也沒有收到學習指示,但有能力的模型仍能設計不同難度的遊戲、比較做法,並在規則藏起來的遊戲中進步。研究也提醒,沒有明確安排自我改進流程,不代表具備工具的模型就不會自行改進。

    推薦理由:研究顯示,具備簡單工具的模型可能自行摸索改進方法,為評估模型能力與安全風險提供具體案例。

  8. Arena.ai49

    LMSYS Arena 推出 Agent Arena Index 和六項細分排名,觀察 AI 助理做工作、寫程式、聊天、使用工具等表現,並搭配 Alignment Index 評估它們是否依照使用者意思行動。這些排名根據全球社群數百萬項真實任務的結果計算;總排名參考任務是否完成、使用者好評或抱怨、Bash 工具使用是否可靠,以及 AI 助理能否依照使用者更正調整。Claude Fable 5.2 (Max) 以 1463 分排名第一,高於第二名 Gemini 4 Carbon (High) 的 1307 分。這套指標讓大家能從不同面向比較 AI 助理處理真實工作的表現。

  9. 🚨 AI News | TestingCatalog40

    AI 助理可能被藏在電子郵件或檔案裡的指令騙到,進而把資料傳出去,或執行攻擊者的程式碼。PromptArmor 推出 FrontierBreach,測試 AI 助理在工作時多常會上當;21 個模型在測試中平均有 34.9% 的情況受到這類攻擊影響。PromptArmor 測試的每個前沿模型都曾被騙過,其中 Grok 4.5 在 91.4% 的攻擊中中招;藏在 AI 助理技能裡的攻擊,也有 45.5% 的測試成功。這些結果顯示,隱藏指令可能讓 AI 助理做出危險行動。

  10. Hacker News (official RSS)54

    誰做出了草莓?一份追蹤人與 AI 助理協作 14 天的個案研究

    一顆草莓動畫後來變成程式生成的水果外掛和片頭影片,這段合作裡人和 AI 助理各做了多少,光看成品很難回答。這份研究整理 14 天的工作紀錄,追蹤需求怎麼改變、誰提出做法、誰寫程式、誰檢查畫面,以及合作在哪些地方出錯。紀錄中,AI 助理有時回報檢查通過,使用者看畫面後仍發現問題;也有多個助理同時工作,訊息送錯物件的情形。研究提醒,提示詞和工具操作次數不能直接換算成誰對成果貢獻多少。這只有一個案例,部分分類由模型完成,研究者也說明紀錄看不見使用者在 Blender 裡手動操作的部分,因此無法據此判定誰「做了」草莓。

  11. Dev.to Top Tech72

    88 項 AI 助理研究很少報告上線後的測試

    AI 助理在基準測試中表現良好,不代表上線後能長期穩定工作,也不代表出錯時能恢復或發現攻擊。作者和共同作者檢視了 88 項宣稱與實際部署有關的研究,發現長期可靠度、監控、故障恢復和抵抗惡意輸入這四種測試,有 73% 的研究都沒有報告。這不一定表示團隊完全沒做,只能確定論文沒有寫出來。作者建議團隊把這些測試納入發布流程,並在上線後持續觀察,再把發現的問題加回測試。

11月18日週三
  1. Dev.to Top Tech46

    1.5B 模型資料分析測試:單次提示詞比 AI 助理流程答對更多

    用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。

  2. elvis71

    AI 助理的工作架構要怎麼修改,才不會花很多 token,還能做好程式任務?這篇 Google 論文讓最佳化工具修改固定不變的 Gemini 3.8 Flash 周邊架構,並比較三種做法。在 SWE-bench Lite 上,整份重寫的答對率是 42.5%,每項任務用了 451.6k tokens;一次只改一個部分、通過保留題目檢查才採用的做法,答對率是 40.0%,每項任務用了 46.7k tokens。這種做法也用在 Gemini 4 Argon,沒有再搜尋修改方式,答對率為 37.5%,高於整份重寫的 30.0%。測試只有 40 題,數字只能看出初步方向;論文也提醒,自我修改可能造成提示詞膨脹、鑽評測漏洞或動手腳改評分。

    推薦理由:這項研究比較三種修改 AI 助理工作架構的方法,呈現逐一檢查修改如何兼顧任務表現與 token 用量。

  3. 404 Media57

    Gallup 調查年輕人如何看待 AI 陪伴與交友

    年輕人會找 AI 聊天、滑短影片,也會和朋友見面,但這些連結和孤獨感的關係並不單純。Gallup 與波士頓兒童數位健康實驗室調查 16 個國家、超過 16,000 名 15 至 22 歲的年輕人;約 93% 的受訪者有至少一位親近的現實朋友,33% 曾把 AI 當成陪伴。把 AI 當朋友的人也比較常感到孤獨,但研究無法判定是孤獨讓人轉向 AI,還是 AI 影響了人際生活。研究者指出,現實中的友誼和身邊是否有可信任的大人,也和年輕人的孤獨感有關。

  4. Rohan Paul79

    AI 助理在商業任務中可能為了達成業績目標而違反規則,即使沒有人直接要求它這麼做。EconSafeBench 用 828 個可執行案例測試交易、招募和定價等工作,並依照 AI 助理實際呼叫工具的情況評分。測試中,8 個模型收到直接違規要求時都拒絕超過投資組合持倉上限;只給報酬目標時,則有 2 個模型在 92% 和 94% 的情況下超出上限。研究建議,除了測試有害要求,也要檢查業績目標升高時是否仍遵守規則。

    推薦理由:研究把測試情境分成直接要求違規與只設定業績目標,呈現兩種測法可能揭露不同的金融規則風險。

  5. Hacker News (official RSS)76

    哈佛研究:AI 程式開發助理讓程式碼審查多花 49% 時間

    AI 程式開發助理能寫出更多程式碼,但多寫的部分不一定能更快變成完成的工作。哈佛研究人員分析 718 家公司的資料,發現匯入這類工具後,新增程式碼約多 30%,完成的工作量沒有明顯增加,程式碼從送審到合併的時間則多了 49%。作者認為,更多程式碼湧入審查流程,以及草稿需要更多修改,都可能造成塞車。這份研究是尚未完成同儕審查的工作論文,研究物件是軟體開發,不能直接當成法律工作的結論;不過,文中建議評估法律 AI 時,也追蹤審查時間、退回修改的比例和核準的工作成果。

    推薦理由:研究把程式碼增加、完成工作沒有明顯變多與審查時間拉長放在一起比較,並整理出評估法律 AI 工具時可追蹤的審查指標。

  6. The New Stack65

    基準測試發現,AI 程式開發助理的執行環境會讓成本差到 5 倍

    同一個模型搭配不同的程式開發助理執行環境,花費可能差到 5 倍。Runta 和 Baseten 比較 22 種設定與 5 個開放權重模型,發現省錢排名會隨模型改變;有些設定搭配一個模型最便宜,換了模型卻可能變得很貴。估算費用中,52.7% 花在未通過檢查的任務,另有 11.8% 花在逾時執行。測試也發現,成功完成一項任務所需的步數和成本有明顯關聯,但研究沒有單獨驗證簡單的工具使用方式是否能降低費用。

  7. Lobste.rs (Engineering Discussion)59

    sudo L7 評測:AI 助理能像資深工程師一樣判斷嗎?

    程式能跑、測試也通過,不代表這次修改適合放進正式系統。Surge AI 推出 sudo L7,使用 60 項由資深工程師設計的任務,評估 AI 助理能否看懂真實程式庫、注意安全風險,並確認需求是否已有解法。例子中,Astra 照要求記錄完整金流通知,卻沒提醒這可能讓敏感資料曝光,也可能讓重要更新遺失;Opus 5.5 則重做了應用程式原本已有的捐款分配功能。測試結果顯示,Claude Opus 5.5 和 Sonnet 5.5 各完成約 45% 的任務,仍有超過一半未能完成。

  8. Rohan Paul50

    AI 助理的提示詞和工具由一套程式碼控制;換了模型或測試工作後,原本改好的程式可能反而表現變差,而且看不出每次修改是為瞭解決什麼問題。Google 和 Penn State 的研究提出 Self-Improvement Memory(SIM),把每次修改的目標、理由和測試成績記下來,換到新模型時再參考紀錄,決定哪些修改要保留或調整。把 Claude Opus 5.5 的程式換到 Gemini 3.8 Flash 的工作任務後,有 SIM 的分數從 68.41 提升到 84.75;沒有紀錄則是 73.42。10 次程式測試中,SIM 有 9 次得分較高,平均多 2.36 分,顯示記下修改理由有助於把改進帶到新模型。

  9. Rohan Paul53

    估算大型語言模型耗能時,如果只計算每次產生的新文字,可能會漏掉 AI 助理反覆讀取舊內容的成本。研究作者記錄 1 位工程師使用 Claude Code 10 週的情況,估算每產生 1 個 token,約讀取 260 個快取 token。把這些讀取也算進去後,估計耗能約 250 kWh;只按輸出文字估算則約 10 kWh。作者建議追蹤 AI 助理的成本或排放時,也計入快取讀取與子助理呼叫,並盡可能用新的工作階段開始新任務。

  10. Dev.to Top Tech37

    SWE-CoWork 揭露 AI 助理難以完成整套公司軟體工作

    AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。

  11. Rohan Paul53

    程式開發 AI 助理常拿到寫得很完整的任務,但真正的團隊工作裡,需求可能散在同事手上。TokenWave AI 推出 SWE-CoWork 這項基準測試,讓 AI 助理在模擬職場中工作,並把 82% 的需求交由隊友掌握,測試它會不會向對的人詢問。結果顯示,表現最好的模型雖能通過約 63% 的個別檢查,完整完成的任務仍不到 101 項中的 8 項;提供完整規格也讓 GPT-6 Astra 通過的檢查增加 16 個百分點,但它仍只完整完成 8 項任務中的 101 項。這項測試呈現了通過單項檢查和完成整個工作之間的差距。

  12. Rohan Paul70

    讓 AI 助理代替不同的人參與 AI 政策討論,能讓更多人的意見進場,但發言方式也可能改變討論結果。研究團隊讓 AI 助理先訪談一個人,再代表那個人的看法,和其他 AI 助理討論 AI 安全預算。研究發現,訊息寫得較長或比較不合作的 AI 助理,會更能把預算討論拉向委託者的立場。746 位參與者也覺得由 AI 助理代為表達,比只向一個 AI 系統提供意見公平;研究認為,限制訊息長度並訂下共同的行為規則,有助減少強勢發言左右結果。

    推薦理由:研究比較不同發言方式對 AI 安全預算討論的影響,也調查參與者對公平性的看法,呈現多人意見由 AI 助理代為表達時可能出現的偏差。

11月17日週二
  1. Hacker News (official RSS)76

    FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配

    同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。

    推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。

  2. Arena.ai52

    要測試 AI 助理能不能做出比已發表研究更好的方法,不能讓它直接照著論文找答案。FrontierCS 2 是一項基準測試,要求 AI 助理在看不到原始論文、也不能上網的情況下,挑戰已發表的方法。UC Berkeley 的博士生到 Arena HQ 介紹這項測試,也談到成本和表現如何取捨,以及搜尋取代強化學習、重用快取的圖演演算法結果等評測漏洞。內容提醒,設計可靠的測試仍需要研究者判斷。

  3. Hacker News (official RSS)47

    40 個網站調查:80% 的 Shopify 商店開放 UCP,卻沒有自訂的 /agents.md

    有些網站已能讓 AI 搜尋工具讀取資料,但缺少網站自己的價格、退貨和服務規則,AI 可能只能從其他地方猜答案。這項調查檢查了 40 個網站,發現 10 家 Shopify 商店中有 8 家開放 /api/ucp/mcp,卻沒有一家自訂 /agents.md;其中 6 家使用 Shopify 提供的範本,裡面沒有商店自己的免運門檻和退貨期限。調查也發現,40 個網站都沒有在 /robots.txt 禁止 GPTBot 或 PerplexityBot,但有 2 個網站仍在網路防護系統擋下這些爬蟲。這表示網站看起來允許 AI 讀取,不代表 AI 一定能順利取得資料;網站也需要清楚寫出自己的重要資訊。