跳到正文

#評測/基準

RSS
今日 17 則
11月14日週六
  1. Dev.to Top Tech36

    AWS EC2 和 Google Compute Engine 比一比:網路流量費用與 Spot 執行個體中斷風險

    雲端主機除了租用費,傳送資料出去和 Spot 執行個體突然被收回,也會讓帳單和工作時間增加。作者讓 AWS EC2 和 Google Compute Engine 持續跑了 40 天,比較網路費用和中斷情況:前 10 TB 的網路流量費,Google 約每 GB $0.085,AWS 約 $0.09;測試期間,Spot 執行個體中斷率在 Google 約為 0.9–2.1%,AWS 則是 1.8–4.2%。例如需要常常存進度的批次工作,遇到中斷後,Google 多花 6.2% 時間完成,AWS 多花 11.4%。結果顯示,哪家比較省要看工作怎麼跑:重視穩定和中斷前處理時間,可以考慮 AWS;工作能分段重跑、流量又大,Google 的費用可能較低。

  2. Phoronix (Linux HW & Benchmarks)74

    Phoronix 實測 AMD HRX Loom,3 到 4 天把 50 個大型語言模型移植到使用者端 GPU

    把新模型搬到不同硬體上,常要花不少時間處理相容問題。AMD 團隊用 HRX Loom 搭配 AI 助理工作流程,在 3 到 4 天內將 Hugging Face 上的 50 個模型移植到 AMD 使用者端 GPU,涵蓋 18 種架構。測試中,32K token 提示詞處理速度比 Llama.cpp 的 ROCm 後端快 1.5 到 2.1 倍,比 Vulkan 後端快 1.9 倍。HRX Loom 目前仍是實驗性專案,也支援 CPU 和 NPU 執行。

  3. Dev.to Top Tech58

    NestDaddy 實測 37,383 個 MCP 伺服器,近九成有回應

    MCP 伺服器登入名單很大,但登入不代表伺服器真的能用。NestDaddy 每天用 MCP 使用者端連線檢查遠端伺服器,記錄是否回應、公開哪些工具,以及回應所需時間;這次實測的 37,383 個伺服器中,有 89.6% 回應,但約三分之一先要求金鑰,讓人無法事先檢視工具。作者也發現工具描述太多會佔用模型的上下文,並建議使用者先確認伺服器近期有回應、工具說明清楚;維護者則可先公開工具清單,再把金鑰要求放在實際呼叫工具時。

  4. Dev.to Top Tech61

    Vercel UI SDK Beta 實測:彈出視窗功能完整,但單個視窗需 36 KB

    挑選介面元件工具時,除了看功能,也得知道實際用起來順不順、會增加多少檔案大小。作者實測 Vercel UI SDK Beta,安裝約 4 秒,並數出 91 個 create* 函式,其中 36 個是底層行為、55 個是元件控制器。作者用模擬網頁測試一個彈出視窗,確認按下 Escape 能關閉視窗,焦點也會回到觸發按鈕;不過其他功能和真實瀏覽器中的畫面效果都沒有測試。這個視窗壓縮後為 36 KB,能幫助開發者衡量功能與檔案大小的取捨。

11月13日週五
  1. Dev.to Top Tech49

    CCXT 和 BYTX 怎麼選?用 Python 打造加密貨幣交易機器人

    用 Python 寫交易機器人不難,麻煩的是不同交易所的下單數量規則不一樣,網路一斷也很難確定訂單到底有沒有成交。CCXT 能用同一套介面連線許多加密貨幣交易所,開發者可以用它查行情、下單和處理訂單,但也得自己補上不少交易細節。BYTX 建立在 CCXT 上,讓開發者直接用想買的 USDT 金額下單,並提供訂單狀態確認和 WebSocket 連線恢復等功能。例如想買約 100 USDT 的 BTC,不必自己換算成交易所要求的合約數量。BYTX 能減少需要自行維護的程式碼,但不能消除交易風險;它也比 CCXT 年輕,使用者較少,授權條件更嚴格。

  2. Rohan Paul56

    AI 助理進入公司 Slack 時,難處不只是回答問題,還得判斷要不要插話、該查什麼資料,以及何時保持安靜。Deepnote 推出 Agent Initiative Benchmark,讓各模型在模擬的公司 Slack 討論串裡做這些決定,並由兩個大型語言模型評分。GPT-6 Astra 得 8.97 分,GPT-6.1 Sol 得 8.65 分,每次任務費用是 $0.11;排名第三的 Claude Fable 5.2 每次任務費用是 $1.87。這項測試也會看 AI 助理是否找對服務、回覆並標記合適的人。

  3. Hacker News (official RSS)69

    MyID 整理 27 個歐盟國家的數位身分錢包進度

    歐盟各國的數位身分錢包進度不一,光看宣佈的日期,也不容易知道哪些已經真的開放使用。MyID 的看板整理 27 個成員國的錢包、負責單位、目前階段和查證資料,並把已完成的步驟和預定目標分開標示。看板指出,丹麥和義大利的錢包已公開提供使用,但都還沒有取得 EUDI 認證;各國提供錢包的期限是 2026 年 12 月 24 日,部分私人服務接受錢包的期限則是 2027 年 12 月 24 日。

  4. Dev.to Top Tech35

    Windows 桌布影片效能比較:EWRE 用 1 個處理程序,Lively 用 3 個

    想用影片當 Windows 桌布,兩種播放器會吃掉多少電腦資源?作者在同一臺 Windows 11 電腦上,用兩套軟體播放同一段 1080p、60 FPS 的影片,觀察 30 秒。測試中,EWRE 平均使用 2.65% CPU、98.7 MB 記憶體;Lively 平均使用 6.46% CPU、324.3 MB 記憶體。EWRE 用 1 個處理程序,Lively 則用 3 個。這只是單臺電腦、單段影片的一次測試,而且沒有測 GPU 和顯示卡記憶體;結果可供參考,不能當成兩套軟體的最終比較。

  5. The Verge · AI60

    實測 Claude Duet:能幫忙整理工作,也會提醒過頭

    工作訊息散在郵件、行事曆、Google Docs 和 Slack 裡,容易漏掉彼此相關的事。作者實測 Anthropic 的 Claude Duet,連結這些服務後,它會整理每天的重點、找出不同訊息之間的關聯,還能協助更新檔案或草擬訊息。作者發現,它提醒行程和工作期限時有幫助,但有時抓不準語氣和情況,甚至在編輯還沒上班時就催稿。作者喜歡它幫忙查漏補缺,卻不想讓它代替自己寫作或審稿。

  6. Dev.to Top Tech74

    作者比較 AI 助理與人類改動測試的情況,推出 honest-ci 偵測工具

    程式測試被改掉時,CI 仍可能顯示通過,光看結果很難知道測試是否變弱。作者用自己開發的 honest-ci 檢查 1,598 件 AI 助理提出的 PR,並與同一批專案中相近時間的人類 PR 比較。結果顯示,8.4% 的 AI 助理 PR 和 10.4% 的人類 PR 有測試變動;沒有提出理由、而且確實讓測試變弱的案例,兩邊都不到 1%。這些數字無法證明每次改動都合理,偵測工具也會誤報,因此作者建議讓測試變動交由人檢視。

  7. Dev.to Top Tech39

    AgentedSEO 評測:讓 AI 助理幫 WordPress 網站整理 SEO

    AI 助理可以替 WordPress 網站寫文章、改標題,但如果它偷偷改了搜尋結果會顯示的資料,網站管理者可能不知道改了什麼。AgentedSEO 是一款 WordPress 外掛,讓 AI 助理用自己的帳號修改 SEO 資料,許可權只限 SEO;每次修改都會列出前後差異,已發布的頁面還要先經過人確認,也能還原。外掛也能像一般 SEO 工具一樣手動使用。 作者分享,一位使用者的網站警告從 22 項降到 1 項,但這不代表搜尋排名或收入一定會變好。外掛推出時的終身方案價格是 $49 到 $199,其中 $129 可用於 25 個網站;另有免費 24 小時試用。這工具讓人比較能掌握 AI 助理改了什麼,但外掛剛推出,購買前仍應確認需要的功能是否都有提供。

  8. Dev.to Top Tech43

    OpenClaw 評測:自己架設跨平臺 AI 助理,要花多少時間和心力?

    想讓 AI 助理直接在聊天軟體裡幫忙查資料、看行事曆或整理檔案,OpenClaw 可以把 AI 模型接到 Signal、Telegram、Discord 等平臺,也能使用網路搜尋、檔案和指令等工具。它可以自己架設、依需求調整,資料留在自己的伺服器上,但安裝和維護需要一些技術能力。文中的使用者架好一套連線 Telegram 和 Discord 的服務,初次設定約花 90 分鐘;使用 30 天處理 487 次提問,API 費用共 $28.50。OpenClaw 適合想自己掌控 AI 助理的技術使用者;若想要開啟就能用的服務,這套架構可能太費工。

  9. aihot58

    MOSS-Live 評測解讀:全雙工語音互動與 GPT-Live-1、豆包的比較

    語音助理在多人交談或背景有其他聲音時,可能太早接話,或把不相關的聲音當成問題。這篇文章整理 MOSS-Live 官網公佈的評測圖表,與 GPT-Live-1、豆包及其他模型比較:MOSS-Live 的無關語音誤接話率是 2%,停頓搶話率是 1.44%,六項全雙工指標都在圖表參評模型中居首。文章也指出,它的工具呼叫成功率與豆包並列最高;但多輪任務成功率落後 GPT-Live-1,語音理解準確率則低於豆包。這些數字來自產品方公佈的評測,文章提醒不同基準不能混成單一總分。

  10. Dev.to Top Tech64

    CloudMounter 和 rclone 讀取 6.5 GB S3 資料,哪個比較快?

    把 S3 資料夾掛成電腦上的磁碟,第一次讀取可能很慢,尤其是資料由許多小檔案組成時。作者在同一臺 Mac 和同一個網路上,比較 CloudMounter 與 rclone,並用 SHA-256 檢查讀到的檔案是否正確。CloudMounter 第一次讀取 5 GB 檔案花了 2 分 18 秒,第二次只要 3.1 秒;rclone 加上 --use-server-modtime 後,列出 10,000 個檔案的時間從約 8 分鐘降到 3.3 秒。實測提醒,讀取快取中的資料和第一次從雲端下載差很多;若要訓練模型,最好先把資料同步到電腦,或提早釘選資料夾。

  11. Dev.to Top Tech73

    VIDRAFT 推出天氣預報排行榜,公開比較 Darwin-Prediction-Weather 與各家模型

    天氣預報模型很多,光看過去的研究不容易知道它們今年預測得準不準。VIDRAFT 在 Hugging Face 公開 Darwin-Prediction-Weather 和天氣模型排行榜,每天把各模型對 24 個城市、四種天氣專案的預測,和事後觀測資料比較。依截至 2026-11-07 的紀錄,Darwin-Prediction-Weather 在 1 到 7 天的預報中,四種專案的誤差都最低;排行榜也能按城市和預報天數檢視結果,並提供預報與觀測資料供人檢查。

  12. Dev.to Top Tech49

    三種免 API 金鑰的網頁截圖服務,隔 8 天重測後發現結果變了

    免 API 金鑰的截圖服務看起來很方便,但遇到錯誤時,很難知道是服務真的擋人,還是剛好被限流。作者隔了 8 天重新測試三種服務,發現 WordPress mshots 先前被判定為封鎖,其實會回傳截圖,只是每個 IP 約 5 分鐘請求 60 次後就可能被限流,而且成功時也可能給你 15.6 小時前的舊圖。thum.io 的 fullpage/ 原本看似能避開快取,現在也會回傳快取圖片;microlink.io 則是每個 IP 每 24 小時共用 5 次免費請求。這提醒我們,單次測到錯誤或成功,都不一定代表服務一直如此;截圖也可能是舊的,使用前要留意快取和 IP 共用的限制。

  13. Dev.to Top Tech78

    Gemini 4 Hydrogen 升級 Gemini 3.8 Flash 值得嗎?成本、速度與 API 差異一次看

    換成 Gemini 4 Hydrogen 後,任務成本和完成時間可能降低,但預設思考等級提高,API 支援也有差異,直接換模型名稱可能讓程式出問題。作者用 Artificial Analysis 的資料比較兩款模型:在 high 設定下,Hydrogen 每項任務成本是 $1.87,Gemini 3.8 Flash 是 $7.77;完成時間分別是 8.3 分鐘和 14.7 分鐘。不過這不是作者親自跑出的測試,數字採用標準牌價,也不是 AIHubMix 的實際帳單。文章提醒,AIHubMix 目前只記載支援 Chat Completions,長輸出、思考等級設定和其他連線方式都還沒確認,遷移前應先用自己的請求測試。

    推薦理由:文章以同一項任務的成本與完成時間比較兩款模型,也整理 API 支援差異與尚未實測的部分,能幫助評估升級和遷移風險。

  14. Dev.to Top Tech57

    Gemini 4 Carbon、Hydrogen、Argon 怎麼選?比較分數、費用與適用工作

    挑 Gemini 4 模型時,分數較高的選擇可能更貴、也要等更久,而且換模型名稱不一定能沿用原本的工具設定。這篇文章整理 Gemini 4 Carbon、Hydrogen 和 Argon 的基準分數、每項任務費用與耗時:例如 Hydrogen high 的分數是 51,每項任務 $1.87,平均耗時 8.3 分鐘;Carbon high 分數是 60,費用 $5.48,平均耗時 28.1 分鐘。三款模型都支援文字、圖片、音訊、影片和 PDF 輸入,但 AIHubMix 對 Hydrogen 只列出 Chat Completions 協定;Carbon 和 Argon 還列出 Responses、Anthropic Messages 和原生 Gemini。文章也提醒,Carbon 和 Argon 的 token 價格從 2026-12-01 起加倍,基準數字則來自單次快照,選擇前要確認自己的工作流程和價格需求。

  15. ModelScope53

    模型放在本機跑時,記憶體預算和回答品質常要一起考量。Unsloth 為開放權重的 Qwen3.8-27B GGUF 推出 Dynamic V3.1 預覽版,並表示多數測試基準的成績提升了 5–10%。測試涵蓋程式開發、AI 助理和聊天;多數 2-bit 到 6-bit 量化版本都可選,4-bit 版本約需 16–19GB VRAM,或配備 24GB 記憶體的 Mac,實際需求會隨上下文長度和解除安裝方式改變。3-bit 檔案仍保留 UD3,因為這次更新的改善不足以取代它。作者也檢查嵌入向量大小的計算、上下文預算和重複測試,提醒比較成績時要看清楚測試條件。

  16. Dev.to Top Tech36

    ChatGPT、Claude 與 Gemini 比較:專業工作者該選哪款 AI 工具?

    ChatGPT、Claude 與 Gemini 各有適合的工作情境,本文比較三款工具的特色,並提供挑選建議。 ChatGPT:適合需要多用途工具的工作者,涵蓋腦力激盪、圖片生成、語音、檔案上傳、網路搜尋與連結應用程式;典型付費方案約 $20/月,另有功能受限的免費方案。 Claude:適合重視寫作、長篇檔案分析與程式設計的工作者,提供 projects、檔案上傳與 connectors;典型付費方案約 $20/月,另有功能受限的免費方案。 Gemini:適合主要使用 Gmail、Docs、Sheets、Slides、Drive 和 Meet 的團隊,可在 Google Workspace 工具中協助摘要郵件、撰寫檔案、分析試算表與整理會議記錄;Google AI Pro 典型付費方案約 $20/月,另有功能受限的免費方案。 選擇建議:想用一款工具處理多種工作可從 ChatGPT 開始;常寫作或處理長篇資料可試 Claude;工作流程以 Google Workspace 為主可選 Gemini。文中建議用同一項實際工作與提示詞比較三者的準確度、語氣及所需修改量。

  17. Dev.to Top Tech51

    RAG Deep:大規模測試六種分塊策略

    RAG Deep以同一語料與檢索器比較六種分塊策略,發現這批章節型文本的 nDCG 差距有限,語意分塊建置耗時較長,檢索表現也未勝過固定大小分塊。 測試範圍:語料包含 94 段、22,516 個單字與 25 個問題;作者提醒,結果適用於章節型文本,不代表長篇 PDF。 分塊結果:固定 512 tokens、重疊 64 tokens 的召回率@10 為 0.96,nDCG@10 為 0.796;語意分塊建置花 56.1 秒,固定分塊約 0.1 秒。 作者建議:先用已知答案的問題集測量召回率;若檔案有標題、程式碼區塊或清單等結構,可考慮 LangChain 的遞迴分割器。

  18. Artificial Analysis64

    挑選 AI 模型協助找出並修補軟體漏洞時,除了看分數,也得考慮花費和輸出的長度。Artificial Analysis 評測 Tencent 的 Hy4,在自家 Cyber Index 得 58%,排名第 3;在測試 AI 助理找出並修補真實軟體漏洞的 CWE-Bench-AA 得 76%,排名第 1。每項任務成本是 $0.92,輸出 64k tokens。這些數字讓人能同時比較漏洞測試表現與成本,但只反映這篇評測採用的測試結果。

    推薦理由:Hy4 在漏洞修補測試中的表現、每項任務成本與輸出 token 數,可一併用來比較不同模型的能力和花費。

  19. Dev.to Top Tech54

    2,053 則資安職缺分析:職缺要求哪些程式語言與技能

    CyberJobs.cc 統計 2,053 則資安職缺中提及的技能與薪資,呈現程式語言、雲端基礎設施和工具的需求分佈。 程式語言:Python 出現在 45.1% 的職缺,Go 為 21.4%、PowerShell 為 8.7%、Rust 為 6.9%。Rust 的薪資中位數最高,為 $216k。 雲端與基礎設施:AWS 出現在 34.8% 的職缺,Google Cloud 為 24.5%、Microsoft Azure 為 23.1%;Kubernetes 的薪資中位數為 $216k,高於所有職缺的 $206k。 資安工具:SIEM 類別出現在 20.6% 的職缺,約為 Splunk(5.9%)的 3.5 倍。文章建議理解 SIEM、SAST、EDR 等工具類別,並學習撰寫與調整偵測規則。 統計資料來自 2026 年 11 月 12 日仍開放的職缺;技能計數排除了僱主所有開放職缺都提及該技能的情況。

  20. Dev.to Top Tech39

    統計 11,176 次投影片轉譯:0.54% 的元素被轉成圖片

    作者統計自家投影片版型程式庫的 11,176 次轉譯結果,發現 408,267 個測量元素中有 2,200 個(0.54%)被轉成圖片;這些元素集中在 12 種版型,且在 44 種主題中的清單完全相同。 測量結果:圖片元素主要來自 ::before 偽元素,共 1,980 個;另有 SVG 88 個、conic-gradient 88 個及 backdrop-filter 44 個。 原因與限制:作者指出,決定哪些元素被轉成圖片的是版型標記,而非主題;測量使用 Chromium、固定 1920×1080 視窗及單一程式庫。作者未在 PowerPoint 開啟匯出檔,也未檢檢視片內容,因此無法確認圖片在 PowerPoint 中的呈現效果。

  21. Dev.to Top Tech58

    LoRA 與全引數微調如何選擇?Nodus 教學比較適用情境與成本

    LoRA 在一般規模的指令微調、推理資料集與強化學習中,採用合適設定時可達到與全引數微調相近的表現;大量新增知識時,全引數微調可能更適合。 - 研究結果:文章整理兩項研究,指出 LoRA 應涵蓋所有權重矩陣,並使用約為全引數微調 10 倍的學習率;資料超出 adapter 容量時,LoRA 可能落後。

  22. Dev.to Top Tech83

    Gemini 4 Hydrogen 評測:速度與成本優勢,以及基準比較的限制

    Google Gemini 4 Hydrogen 主打日常程式開發與 AI 助理工作流程,在部分基準測試中勝過 Gemini 3.8 Flash,並在 Artificial Analysis Intelligence Index 以 51 分略高於 Argon 的 50 分。

    推薦理由:文章整理 Gemini 4 Hydrogen 的速度、成本與基準表現,並指出比較依據主要來自 Google,適合用來理解執行型模型的取捨。