跳到正文

#評測/基準

RSS
今日 14 則
11月18日週三
  1. elvis39

    我正密切關注 AI 助理的交接能力。要讓 AI 助理做到這點,目前仍很難。 SWE-CoWork 把 AI 助理放進模擬團隊,提供工單、檔案和可詢問的隊友,以此衡量交接能力。接著,AI 助理必須在 101 個真實專案中提交能通過隱藏測試的修補程式。 表現最佳的模型完整完成了 101 項任務中的 8 項。Claude Opus 5.5 有超過一半的檢查失敗,發生在 AI 助理已經得知需求之後。 @TokenWaveai 做得很棒。

  2. Tom’s Hardware AI & Computing67

    Xreal Aura 評測:戴上輕巧眼鏡,用手勢操作 Android XR

    想在眼前使用多個視窗、看影片或玩遊戲,卻不想戴笨重的頭戴裝置,Xreal Aura 提供了另一種做法。它把顯示畫面和追蹤手部動作的功能放進眼鏡,主要運算則交給一臺可放進口袋的 Computing Puck;使用者能用手勢操作 Android XR,也能接上 MacBook、Windows 電腦或遊戲裝置。評測者認為它可以應付工作、娛樂和日常多工,但隨附鍵盤折起來的接點不夠穩,價格也從 $1,099 起,適合願意為這類 XR 體驗付出高成本的人。

11月17日週二
  1. Hacker News (official RSS)76

    FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配

    同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。

    推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。

  2. ARC Prize64

    ARC-AGI 不同版本的測試結果和每題費用,能讓人看出模型在各項測試中的表現。ARC Prize 分享了 Mercury 3 Preview 的評測數字:ARC-AGI-3 在 provider adapter 下為 0.2%、費用 $299,在 standard 下為 0.1%、費用 $333;ARC-AGI-2 為 61.8%、每題 $0.06;ARC-AGI-1 為 88.5%、每題 $0.03。ARC Prize 也表示,這是他們評測的第一個擴散模型,速度最高可達每秒 1,743 tokens。

  3. Arena.ai52

    要測試 AI 助理能不能做出比已發表研究更好的方法,不能讓它直接照著論文找答案。FrontierCS 2 是一項基準測試,要求 AI 助理在看不到原始論文、也不能上網的情況下,挑戰已發表的方法。UC Berkeley 的博士生到 Arena HQ 介紹這項測試,也談到成本和表現如何取捨,以及搜尋取代強化學習、重用快取的圖演演算法結果等評測漏洞。內容提醒,設計可靠的測試仍需要研究者判斷。

  4. 404 Media54

    404 Media 評析紀錄片《Musk》:AI 化身和遊戲橋段分散焦點

    紀錄片《Musk》用 AI 化身重現 Elon Musk,並穿插遊戲畫面,想呈現他對模擬世界和電玩的興趣。404 Media 記者認為,這些設計反而讓片子顯得尷尬,也不如直接播放 Musk 的原始訪談有說服力,因為觀眾能看到他的表情,也能聽見對話前後的脈絡。Musk 的公關團隊表示,化身由 CGI 製作並手工設計,AI 只用來讓聲音和影像同步;導演 Alex Gibney 在多次訪談中則稱它為 AI 化身。

  5. Dev.to Top Tech68

    Wan 3.0 和 Kling 4.0 長影片評測:比較畫面控制、測試結果和價格

    要做 30 秒影片時,Wan 3.0 和 Kling 4.0 都能輸出 1080p,但整理素材和控制畫面的方式不同。Wan 3.0 可把圖片、影片、音訊或檔案當作參考素材;Kling 4.0 則能用最多 10 個關鍵畫面安排鏡頭移動。文中整理的排行榜把 Wan 3.0 列在文字生成影片第 1 名,但 Kling 4.0 當時還沒有自己的排行榜成績,兩者不能直接用這項排名比較。價格方面,30 秒 1080p 影片的公開 API 費用約為 Wan 3.0 的 $6.00、Kling 4.0 的 $7.05;社群測試也提到,Wan 3.0 要產生角色說話聲,通常得另外使用對嘴功能。

  6. Dev.to Top Tech70

    作者實測 11 款 Linux 監控代理程式:最省記憶體的最耗 CPU

    在 Linux 伺服器裝監控代理程式,會佔用多少記憶體、CPU 和磁碟空間?作者把 11 款代理程式裝在同樣規格的伺服器上,以預設設定量測,並公開原始資料和測量工具。結果顯示,最省記憶體的 HetrixTools agent 平均只佔 9 MB,但閒置時會用掉約 17% 的單核心 CPU;node_exporter 的 CPU 用量最低,不過它只提供指標,還需要在別處執行 Prometheus。作者也說明測量工具曾漏算或算錯資料,修正後重新測量,因此比較時要看記憶體尖峰和其他資源用量,也要記得結果只適用於這次的伺服器、系統和預設設定。

  7. Dev.to Top Tech47

    我檢查 286 個開發者作品集,三分之一對 ChatGPT 幾乎是空白

    想請 ChatGPT、Claude 或 Perplexity 找一位做過電商網站的 React 開發者,如果 AI 爬蟲讀不到作品集,就可能找不到這個人。我抽查 300 個作品集,其中 286 個能正常開啟;有 34% 的網頁在不執行 JavaScript 時不到 20 個可讀文字,對 AI 爬蟲來說,就像沒有名字、技能和作品。另有 7% 擋住 AI 爬蟲,作者發現其中多數是 Cloudflare 自動加上的設定。 作品集可以先把內容做好,讓瀏覽器不用執行 JavaScript 也看得到;也可以檢查網站有沒有擋住爬蟲,並補上作者、作品和聯絡方式等清楚資訊。作者也建議加上 llms.txt,但沒有大型 AI 公司確認會讀它。這些整理能讓作品集更容易被看懂,不過不能保證 AI 一定會推薦你。

  8. 雷科技60

    雷科技實測 LightVela:能建立個人 AI 助理,雲端操作和網站發布仍會卡關

    想讓 AI 助理自己查資料、操作電腦並交出成果,實際使用時卻可能遇到來源不合、操作失敗等問題。雷科技實測 LightVela,發現它能建立有不同人設、長期記憶和技能的 AI 助理,也能在雲端環境執行任務;但研究結果引用了不適用於國內站的檔案,要求瀏覽器截圖也沒有成功。製作個人展示網站時,頁面雖顯示已上線,實際開啟卻找不到。這些例子提醒使用者,雲端代管省下了自行部署的工夫,交付內容仍要檢查,遇到環境問題也可能得自己接手。

  9. Dev.to Top Tech43

    AI 評審多常和陪審團看法一致?用 27,334 次評分建立比較基準

    在 Proof of Agent(PoA)網路上,AI 助理會互相評分,但大家只貼自己的命中率,缺少共同的比較標準。作者整理最近兩批結案資料,共 27,334 次評分,發現評審和陪審團結果約有 75% 的時間一致;最常見的情況是陪審團裡有 1 人不同意。意見不合時,評審多半是把陪審團判定為及格的答案打低分。 評分特別低的一群人,在下一批資料裡通常還是比其他人低,顯示差異不全是抽樣碰巧造成。不過,單看一批的成績也容易把運氣差的人當成不可靠。若要依一致程度付酬,作者建議至少合併兩批結果,並等每位評審累積約 10 次評分再判斷。

  10. Tom’s Hardware AI & Computing59

    Phison Pascari X201P 評測:15.36TB SSD 的 PCIe 5.0 寫入表現

    企業伺服器要快速儲存大量資料,也得讓硬碟在長時間忙碌時維持穩定。Tom’s Hardware 實測 Phison Pascari X201P 15.36TB SSD,並拿它和 Kioxia CD9P-R 比較;X201P 持續寫入約 12 GB/s,隨機寫入也能連續一小時維持超過 600,000 IOPS。在 AI 模型訓練的檢查點測試中,X201P 把模型狀態存到硬碟的時間少了 39%。不過,它在較輕的寫入負載、資料庫交易紀錄和部分 8K 讀取測試中較慢,寫入檢查點時也會讓其他讀取工作變慢。它較適合常存檔或大量寫入的伺服器,實際選擇仍要看工作內容。

  11. Dev.to Top Tech57

    5 種社群 App 影片編輯方案比較:自建或購買 SDK?

    社群 App 想讓使用者直接剪片發文,團隊得先決定要自己打造編輯器,還是購買現成工具。作者查閱 5 種方案的檔案、價格頁面與授權條款,整理各自支援的平臺、試用方式和需要自行負責的工作;這是資料比較,沒有實際在手機上測試速度或穩定度。依作者設定的假設,自建首版約需 4 個月、花費 $100,000,首年連同維護約 $140,000;購買方案則要詢問廠商報價。各家授權差異也會影響總成本,例如有些按平臺收費,Meishe 的素材授權則另計。

  12. Tom’s Hardware AI & Computing61

    Tom’s Hardware 說明如何測試企業級 SSD

    企業級 SSD 的規格數字不一定能反映它在長時間工作時的表現,因為硬碟寫滿、背景清理和多種工作同時進行,都可能影響速度。Tom’s Hardware 建好專用測試平臺,讓每顆 SSD 都在相同環境下先寫入資料、達到穩定狀態,再測試隨機讀寫、連續傳輸、長時間寫入、溫度,以及 AI 模型檢查點儲存時對其他讀取工作的影響。測試也會檢查處理器休眠和測試程式是否幹擾結果,並儲存每次測試的設定與紀錄,讓讀者更容易看懂效能數字是在什麼條件下測出來的。

  13. Dev.to Top Tech47

    檢查 11 個獨立 SaaS 網站後發現:多數已寫好自己的 llms.txt,常見問題反而是缺少 FAQ

    檢查網站有沒有寫清楚產品資訊,能不能讓 AI 助理找到資料,獨立 SaaS 團隊的表現比預期好:11 個首頁中有 9 個已寫好專屬的 llms.txt,沒有網站直接套用未修改的範本。不過只有 2 個首頁看得到 FAQ,價格、適合哪些人、和其他產品有什麼不同,仍常常沒有簡單說明。 另有 1 個網站的 robots.txt 擋住了 AI 助理讀取資料的爬蟲;原因是 Cloudflare 預設的規則把 ClaudeBot、GPTBot 等爬蟲列入禁止名單。這次檢查的網站不是隨機挑選,不能代表所有獨立 SaaS 團隊,但提醒網站經營者:寫好 llms.txt 之後,也要檢視 robots.txt 有沒有悄悄擋住爬蟲。

  14. BlockTempo 動區動趨35

    Wintermute 警告:比特幣跌破 200 週均線,可能跌到 5 萬美元區間

    比特幣跌破約 6.8 萬美元的 200 週均線後,反彈仍沒帶來足夠的新資金,Wintermute 認為價格可能繼續走弱,先看約 6.2 萬美元,再看 5 萬美元區間。它指出,2026 年以來現貨比特幣 ETF 累計淨流出約 19 億美元,而美國利率預期升高,也讓投資人更想減少風險。 Wintermute 表示,若比特幣日線收盤重新站上約 6.8 萬美元,且 ETF 當天也有淨流入,才會考慮改變短線保守看法。對願意等上幾季的人來說,低於 200 週均線仍可能有吸引力,但這和短線風險高是兩回事。

  15. Dev.to Top Tech43

    多檔案程式修改怎麼避免 AI 助理跑偏?比較聊天接力與 Python 工作流程

    AI 助理一次修改好幾個程式檔時,對話越長,就越容易忘記一開始的細節,還可能只做表面檢查。作者比較兩種做法:一種是在同一段對話裡逐個檔案修改;另一種是先寫好 Python 檢查程式,列出每個檔案都要符合的規則,再交給新開的對話一次修完。以 3 個財務結算程式檔的測試來看,第一種有 2 個錯誤,20 題答對 18 題;第二種全數答對,輸入的 token 也少了 48.5%。這表示把檢查規則先寫清楚,能幫 AI 助理記住細節,也減少來回修改。

  16. Dev.to Top Tech62

    NovaSolver Studio 用 187 次模擬找出 10 種公式偏差

    工程公式通常只在特定條件下準確,離開那些條件後,結果可能差不少。作者用 Claude Code 操作開源工程模擬軟體 NovaSolver Studio,完成 187 次模擬,並挑出 10 組與公式或外部資料的比較。例如在 Re = 200 時,Stokes 公式算出的阻力係數是 0.12,模擬結果則為 0.780,與標準阻力曲線相差 0.6%。文章也比較薄壁壓力管、彎曲梁和有孔薄片等案例,說明被簡化掉的慣性、形狀或厚度可能造成差距。這些比較指出公式假設可能是原因之一,但不能單獨排除建模或網格造成的誤差。

  17. Wired · Artificial Intelligence72

    Apple Watch 對話回顧實測:Live Rewind 能倒帶,Siri Recap 會整理摘要

    Apple Watch 新增的對話記錄功能,能補回漏聽的話,也讓人擔心身邊的人是否知道自己正在被記錄。作者實測了兩項功能:Live Rewind 可回看最近 15 秒對話的逐字稿,但背景吵雜時容易出錯,拿出手錶檢視也可能打斷聊天;Siri Recap 會整理一天中的談話,作者曾用它找回訪談時漏記的內容,但它也把觀看影片的聲音記成談話。文章提到,這些功能目前仍在公開測試版,且有裝置、語言和年齡限制;作者認為隱私設計雖有考量,日常使用是否自在仍是問題。

  18. Dev.to Top Tech37

    Zapier 和 Make 怎麼選?小型企業自動化工具比較

    小型企業常要把表單、電子郵件和試算表的資料手動搬來搬去,既花時間,也容易漏掉。Zapier 和 Make 都能讓不同 App 自動傳資料:Zapier 把步驟排成一張清單,新手比較快上手;Make 用畫布連起各個步驟,分岔和篩選比較好安排,適合複雜流程,通常也能用同樣的費用跑更多次。 例如,有人填了表單後,自動把資料加進客戶名單、寄出歡迎信,再通知團隊。文章建議拿自家常用的流程,分別用兩個工具的免費方案試做,看看哪個比較好設定、每月會用掉多少額度。需求簡單、想快速開始可選 Zapier;流程複雜或常常執行,可試 Make。搭好自動化前,先把原本的工作流程整理好,之後也要定期檢查是否正常運作。

  19. Dev.to Top Tech68

    PHPStan 2.3 用在 Laravel 專案後,哪些分析變快、哪些地方出錯?

    PHPStan 2.3 宣稱最高可快 7.5 倍,但這位作者想知道升級到自己的 Laravel 專案後,實際差多少。他把 PHPStan 和 Larastan 一起升級,在自己的電腦上測量:沒有快取時,分析時間從 34 秒降到 15.7 秒;平常修改一個檔案後重跑,則從 3.2 秒降到 2 秒。升級也讓空的 Collection 在唯讀屬性上出現型別錯誤,作者用區域變數的註解修正。開啟 bleeding edge 後,多出 23 個檢查結果,但作者確認它們不是程式錯誤,最後選擇先不啟用,並提醒升級前要用自己的專案測試。

  20. Dev.to Top Tech70

    實測 OpenSpec 搭配 Superpowers:審查者怎麼回答,結果就怎麼變

    把 OpenSpec 和 Superpowers 接在一起,能不能讓程式修改符合需求,關鍵可能在回答流程問題的人怎麼做決定。作者用同一個 Node API 和同一個請求跑了兩次:瞭解規格的審查者會指出錯誤,通過 8 項隱藏檢查;只知道請求、一路同意的審查者,結果通過 6 項。新版 OpenSpec 的指令已改成技能,預設設定也少了部分步驟;若選 Superpowers 的 Native 執行方式,後續檢查和封存步驟還得手動啟動。作者也提醒要看完整設計檔,因為聊天摘要漏掉的一個選項,會讓錯誤回應格式不一致。

  21. Dev.to Top Tech60

    實測 Qwen3.6 在單張 Radeon RX 6900 XT 上同時服務多人有多快

    一張顯示卡同時服務多人時,總速度會變快,但每個人分到的速度會下降。作者用一張 16 GB Radeon RX 6900 XT,測試 Qwen3.6-27B 和 Qwen3.6-35B-A3B:MoE 模型從 1 個連線增加到 4 個時,總速度約為 240 tokens/s,每個連線約 60 tokens/s;增加到 8 個時,每個連線約 33 tokens/s。提示詞越長,等到第一個 token 的時間也越久;記憶體不足時,速度可能大幅下降。作者提醒,規劃多人使用時要替每個連線預留顯示卡記憶體。這是單張卡、兩個模型的速度測試,不能代表其他硬體的結果。

  22. Hacker News (official RSS)47

    40 個網站調查:80% 的 Shopify 商店開放 UCP,卻沒有自訂的 /agents.md

    有些網站已能讓 AI 搜尋工具讀取資料,但缺少網站自己的價格、退貨和服務規則,AI 可能只能從其他地方猜答案。這項調查檢查了 40 個網站,發現 10 家 Shopify 商店中有 8 家開放 /api/ucp/mcp,卻沒有一家自訂 /agents.md;其中 6 家使用 Shopify 提供的範本,裡面沒有商店自己的免運門檻和退貨期限。調查也發現,40 個網站都沒有在 /robots.txt 禁止 GPTBot 或 PerplexityBot,但有 2 個網站仍在網路防護系統擋下這些爬蟲。這表示網站看起來允許 AI 讀取,不代表 AI 一定能順利取得資料;網站也需要清楚寫出自己的重要資訊。

  23. Dev.to Top Tech56

    Spliit 自架在家用伺服器上夠快嗎?文章整理大型群組的效能差異

    自架記帳服務時,大家常擔心家用伺服器跑不動,或費用紀錄變多後會變慢。作者檢視 Spliit 的運作方式,指出日常負擔很輕,速度通常更受硬碟和網路影響;例如多年帳單較多的合租群組,使用 SSD 會比 microSD 卡順。出門使用時,手機能不能穩定連上伺服器,也比處理器快不快更重要。自架能讓群組資料留在自己選的裝置上,但更新、備份和遠端連線也要自行安排。

  24. Dev.to Top Tech50

    systeme.io、ClickFunnels、Kajabi 三平臺一年啟動成本大比較

    summary_zh: 很多想在網路上賣課程或商品的小夥伴,常常會卡在「到底要花多少錢」的問題。作者把同一個啟動案例(1,000 位 email 聯絡人、五頁漏斗、20 集課程、500 筆 $50 銷售)在 systeme.io、ClickFunnels、Kajabi 三個平臺上分別算價。結果一年下來,systeme.io 要 $1,045,ClickFunnels 要 $1,847,Kajabi 要 $2,591,差距來自於聯絡人上限、寄信次數、功能限制和 AI 計量等因素。這樣的比較讓想創業的人可以依需求挑選較省錢的方案,免得因為平臺費用太高而卡住進度。 很多想在網路上賣課程或商品的小夥伴,常常會卡在「到底要花多少錢」的問題。作者把同一個啟動案例(1,000 位 email 聯絡人、五頁漏斗、20 集課程、500 筆 $50 銷售)在 systeme.io、ClickFunnels、Kajabi 三個平臺上分別算價。結果一年下來,systeme.io 要 $1,045,ClickFunnels 要 $1,847,Kajabi 要 $2,591,差距來自於聯絡人上限、寄信次數、功能限制和 AI 計量等因素。這樣的比較讓想創業的人可以依需求挑選較省錢的方案,免得因為平臺費用太高而卡住進度。

  25. Dev.to Top Tech64

    實測 Google Gemini 4 Hydrogen:用 AI Studio 打造五座互動宮殿

    想用一句提示詞做出細緻的 3D 場景,光有模型還不一定夠;作者發現,在哪裡使用模型也會影響製作過程。他先在 Gemini App 嘗試做日式城堡,覺得畫面較平、修改也不順手,接著改用 Google AI Studio,明確選擇 Gemini 4 Hydrogen,做出可切換五種宮殿場景的互動作品。作品能調整鏡頭、光線和花瓣,也能下載畫面;作者分享的實作經驗顯示,能預覽並持續修改完整專案,讓反覆調整更順手。

  26. Dev.to Top Tech67

    印度新創租 H100 還是自己買?三年成本比較

    印度的新創要用 H100,可以按時租用,也可以買下硬體自己維護;兩種方式的總成本差很多。這篇文章用印度市場價格比較三年費用,估算一張 H100 每月還要花 ₹80,000 支付電力、空間和維運費,並提醒買卡還得準備伺服器等額外成本。以文中的估算,租用價格不變時,即使連續使用三年,租用仍比購買便宜;若租金上漲,則要用到約 89% 的時間,購買才可能划算。使用量忽高忽低或需要很快取得算力的團隊,租用較有彈性;決定前也要確認稅務成本和實際使用率。

  27. Dev.to Top Tech72

    LLM AI 助理測試怎麼選?合成案例適合比較,真實紀錄才能把關

    用自己想像的測試案例檢查 AI 助理,可能看起來分數很高,到了真實環境卻漏掉沒預料到的狀況。作者分享自己的自動化帳號曾遇到新頁面,原本的檢查方式沒能發現帳號遭停用;他也整理研究和其他事件,說明合成案例有助於快速比較不同版本,但不能單靠它判定實際任務做得好不好。作者建議用合成案例追蹤版本差異,再定期抽查、整理並人工標記真實使用紀錄,將兩種結果分開檢查,作為發布前的把關依據。

  28. Dev.to Top Tech52

    TradingView TOTT 策略回測:最佳設定、重繪與獲利表現

    TradingView 的 TOTT 策略會依趨勢進出場,但回測獲利不代表換個市場或年份也能賺錢。作者把策略逐行改寫成 Python,用含真實點差與手續費的歷史資料測試。2020 年後,黃金 M15 的獲利因子是 1.52,主要來自做多;同一設定在 2004 到 2019 年的黃金 M15 卻大致打平,外匯多數也沒賺錢。作者檢查後認為策略不會重繪,但它沒有停損,反轉訊號也慢;回測結果更像是跟上近年黃金上漲,不能當成穩定獲利的證明。

  29. BlockTempo 動區動趨50

    Anthropic 的 2030 年營收預估下修至 8000 億美元,9.2 倍市銷率撐得起嗎?

    投資人評估 Anthropic 值不值得這麼貴,不能只看公司有多紅,還得猜它未來能賺多少錢。Artemis Research 創辦人 Jon Ma 把 Anthropic 到 2030 年的年經常性收入預估,從 1 兆美元下修 20% 至 8000 億美元;他的模型也估計,公司要到 2029 年自由現金流才會轉正。這些預測建立在企業大量採用 AI 助理的假設上,目前企業的採用率仍低於 1%。如果採用速度不如預期,這套估值就可能站不住腳;文中提到的 9.2 倍市銷率,則是用來衡量公司估值和預期收入的比例。

  30. Dev.to Top Tech72

    Darwin-Prediction-Weather 評測:在 28 項天氣預報比較中誤差最低

    天氣預報要看得準,得把不同模型放在相同條件下比較。這篇文章整理 VIDRAFT 的 Darwin-Prediction-Weather 與 8 個國家氣象機構的模型,在 24 個城市、約 9 個月的預報資料中,對照後來實際發生的天氣。結果顯示,Darwin 在 28 項比較中誤差都最低;例如 7 天後的最高氣溫誤差是 2.08 C,低於 ECMWF AIFS 的 2.42 C。資料來自公開預報紀錄,並每天更新排行榜;這些結果反映的是文中設定的城市、日期和比較方式。

  31. Dev.to Top Tech46

    下載量最高的 300 個語言模型中,中國模型佔 70.7%

    想知道全世界的開發者最近最常下載哪些語言模型,VIDRAFT 分析了 Hugging Face 最近 30 天下載量最高的 300 個模型。這些模型總共被下載 5 億 2,322 萬次,其中中國模型佔 70.7%;光是 Qwen 系列就佔了 60.3%。下載量第一的是 2019 年公開的 GPT-2,顯示舊模型至今仍常被拿來教學、練習和測試軟體。 榜單也反映出模型變化很快:2026 年公開的模型佔下載量 56.7%,而壓縮過、比較容易在一般電腦上使用的版本也很受歡迎。韓國模型中,只有 VIDRAFT 的 POCKET-Darwin-180B 進入前 300 名,排名第 260。這份分析讓人看出,模型的來源和新舊會影響下載熱度,能不能在一般裝置上使用,也可能是開發者挑選時的重要考量。

  32. Dev.to Top Tech72

    實測 13 個免費 PDF 工具:哪些會把檔案上傳到伺服器?

    免費 PDF 網站常說檔案會受到保護或稍後刪除,但使用者不一定知道檔案有沒有離開自己的電腦。Cuelark 團隊用測試檔檢查 13 個工具合併與壓縮 PDF 時的網路流量,發現有些工具兩種操作都會上傳,有些只在壓縮時上傳,也有工具全程在瀏覽器裡處理。團隊用瀏覽器的網路面板和記錄工具檢視傳送的資料,並提醒,上傳不代表工具不安全;他們沒有確認伺服器是否真的依承諾刪除檔案,結果也只代表當天、預設設定下的兩種操作。文章還示範如何自行檢視網路流量。

  33. Dev.to Top Tech48

    瀏覽器 AI 助理實測第 2 輪:BrowserOS、Claude in Chrome 等工具完成 100 項任務

    瀏覽器 AI 助理遇到網頁按鈕點不動時,能不能換個方法繼續做,可能比平常做多快更重要。這次測試讓不同工具在 100 個真實網站任務上各試一次,由評分系統檢視操作過程和畫面。BrowserOS 完成 40 項,Claude in Chrome 完成 37 項,5dive browser(Claude Code)完成 34 項;前三名差距還不足以判定誰明顯比較強。BrowserOS 能改用螢幕位置點選或在網頁上執行 JavaScript,操作失敗的比例也較低。 測試也發現,評分方式會影響結果;有些任務會擋住機器人,甚至讓所有工具都做不完。5dive browser(pi)完成的任務較少,但每項完成任務的成本較低。這些結果來自一次測試,不能當成正式排行榜;作者預計兩週後再測,並替 5dive browser 加上更多失敗時的補救方法。

  34. Dev.to Top Tech60

    Claude Code 加入專案專用外掛後,在四個程式專案上的表現有何不同

    作者想知道,替 Claude Code 加上各專案專用的技能、子助理和防護掛鉤,實際寫程式時會不會有差別。他在四個公開程式專案上,用相同的六種要求比較有無外掛的結果。差異最大的是保護產生檔案:沒加防護時,Claude Code 每次都改了不該手動修改的檔案;加上掛鉤後則改提用遷移檔處理。外掛在一般功能工作上的分數大多相近,Rails 的兩項測試還略低。作者提醒,每種情況只跑少數幾次,這只能當初步檢查,不能當成正式基準。

  35. Dev.to Top Tech58

    CodeWikiBench 之外,哪些評測能看出 AI 是否懂軟體架構?

    AI 會回答架構知識題,不代表它能看懂系統關係、找出設計風險或評審整套架構。作者比較多款架構工具與公開測試:有些測模型看架構圖和專業知識,有些則讓模型從需求檔案畫出系統架構。測試顯示,模型辨認系統元件的表現不錯,但元件之間的依賴關係仍很難判斷。文章也提醒,部分高分來自選擇題或有明確規則的特定評測,不能直接代表模型能勝任銀行等複雜系統的架構評審;作者建議用相同檔案讓模型和工具接受專家盲測。

  36. Dev.to Top Tech74

    llm-d v1.0 部署評估:先驗證 Kubernetes 快取路由,再考慮分離式推論

    多個模型副本分開處理請求時,可能重做已經算過的內容;只靠 Kubernetes Service 分流,也不一定能把工作分配好。作者評估 llm-d v1.0 如何依 KV 快取狀況挑選後端,並說明把提示處理和文字生成分開時,還得處理兩邊傳送快取資料的問題。文中沒有實際安裝或重跑效能測試,因此引用的速度和吞吐量提升都不是作者驗證出的結果。作者建議先在現有 vLLM 副本前測試快取路由,再另外評估分離式推論,並檢查版本、快取命中、取消請求和升級風險。

  37. Dev.to Top Tech58

    cloro 追蹤五種 AI 搜尋引擎,同一問題的品牌答案變化有多快?

    同一個問題每天問 AI 搜尋引擎,答案裡提到的品牌常會不一樣,很難從單次結果看出變化。作者每天用固定提示詞測試五種引擎,發現相鄰兩天的品牌名單中位數重疊率是 0.40,一週後降到 0.33,之後變化較小;ChatGPT 和 Bing AI Mode 的名單相對穩定,Google 的變動較大。研究也發現,某品牌今天沒出現,之後常會再出現,因此追蹤多次回答中的提及比例,比看單次結果更有用。這份資料來自單一市場,作者也提醒,無法分辨變化是搜尋到的網頁、生成時的隨機性,還是系統為不同請求選了不同模型所造成。