跳到正文

全部動態

RSS
今日 4 則
11月17日週二
  1. a16z50

    AI 能力進步很快,經濟成長卻不一定跟著加速。經濟學家 Alex Imas 和 Tyler Cowen 在 a16z 的訪談中談到,聰明的模型仍會受限於經濟上的瓶頸,進展緩慢的制度也可能拖慢 AI 的影響;另一方面,AI 研究團隊之間的競爭,正讓強大型模型更便宜。兩人也提醒,GDP 未必能算出 AI 為消費者帶來的全部好處,科學進步和更長的壽命可能才是更大的影響。

  2. Hugging Face Blog82

    Hugging Face 改用 OpenRouter,替開放權重模型挑選服務供應商

    使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。

    推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。

  3. vLLM52

    同一個模型和推論軟體,換到不同硬體後,每張晶片能處理多少 token 可能差很多。vLLM Project 公佈 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的 AgentX 基準測試結果,使用 Dynamo 和 vLLM,並與同樣搭配 Dynamo 和 vLLM 的 GB300 NVL72 比較。每位使用者以 400 tok/s 生成時,Vera Rubin 的每張晶片總 token 吞吐量是 GB300 的 63.4 倍;以 600 tok/s 生成時則是 93.3 倍。這些數字呈現了特定模型、硬體和測試條件下的效能差距。

  4. OpenAI62

    科學研究需要使用前沿模型,但研究人員不一定容易取得相關資源。OpenAI 宣佈擴大免費使用計畫,全球最多 200,000 名科學家可使用旗下前沿模型,並獲得訓練與支援。申請將於 Nov. 23 開放;計畫收到的資料預設不會用來訓練 OpenAI 的模型。

    推薦理由:計畫涵蓋最多 200,000 名科學家,並提供訓練與支援;資料預設不會用來訓練模型,申請將於 Nov. 23 開放。

  5. Google Developers Blog74

    Google 教你依 AI 助理的工作時段配置 GKE 節點

    AI 助理的工作空間可能整天開著,卻只在收到提示詞時工作;如果每個工作階段都一直佔著機器,等待時間也要付費。Google 說明如何用 Agent Substrate 和 AX 把閒置的工作環境暫存到物件儲存,空出機器,等下一次提示詞來時再恢復。以 100 個程式開發 AI 助理為例,每小時 2 次提示詞並設定 2 分鐘閒置時間,節點費用可省 40%;每小時 4 次提示詞時,節省幅度降到 4%。文章也提醒,工作池要依最忙時的需求配置,並和提供相同 CPU 保證的做法比較。

    推薦理由:文章用提示詞頻率和閒置時間比較 GKE 節點成本,並說明工作池滿載與 CPU 保證會怎麼影響停放效益。

  6. Artificial Analysis59

    文字轉語音模型不只要發音自然、生成得快,也得讓人不用等太久才聽到聲音。Artificial Analysis 新增「開始播放語音所需時間」基準,每天用相同的 12 個提示詞測試各模型,並公佈近 7 天平均值。結果顯示,串流模型通常幾百毫秒內就會開始說話,中位數是 376 毫秒;非串流模型得等整段語音生成完才會回傳,中位數是 2.0 秒。

  7. Replit ⠕42

    上週推出的功能: • 使用 AI 助理啟動 Google Ads 廣告活動,從廣告文案、圖片到轉換追蹤 • 使用 AI 助理購物:比較商品,再透過 Link(Stripe 的數位錢包)核准結帳 • 使用 Performance Agent 找出程式碼和記錄檔中的效能變慢問題 • Enterprise 版可與個別 Viewer 分享專案,並為 Microsoft Fabric 建置資料庫應用程式 更多內容請見更新紀錄: https://t.co/VHcDLwS3lI

  8. ollama release44

    Ollama v0.40.17-rc1 加入批次式推測驗證

    多個請求同時產生內容時,逐一檢查草稿可能拖慢速度。Ollama v0.40.17-rc1 的 mlxrunner 改成批次檢查,讓不同請求共用目標模型的驗證工作,同時保留各自的抽樣方式和快取回復。它也會分別學習同時處理多個請求時該寫多長的草稿,並處理取消請求、不同生成方式混用等情況,讓並行生成時的草稿和檢查更能配合。

  9. Together AI Official Blog70

    Together AI 分享如何改善 AI 助理使用平臺的體驗

    開發者把工作交給 AI 助理後,平臺說明不清或 API 出錯,也會讓助理卡關、白花時間和費用。Together AI 設計多種任務,測試不同模型在沒有額外指引、使用檔案搜尋或載入技能時能否完成工作,再檢視操作紀錄找出問題。他們修正 GPU 價格指引、API 錯誤訊息和技能範例後,整合版技能的通過率從第一次測試的 75% 提高到 97.2%,每次執行的平均時間也比舊版少 20%。不過,不同時期的測試用了不同模型和任務,不能直接當成嚴格的前後對照。

    推薦理由:Together AI 用實測找出技能說明、API 錯誤訊息和程式範例的問題,並比較修正前後的通過率與成本,呈現評估如何帶動改善。

  10. ElevenLabs Official Blog35

    Autotorino 用 ElevenAgents 接聽汽車經銷商來電,24 小時服務顧客

    Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。

  11. AWS Machine Learning Blog72

    Amazon Bedrock Managed Knowledge Base 如何用表格搜尋回答跨檔案問題

    只靠一般搜尋,很難從大型試算表算出完整結果,再套用另一份檔案裡的規則。Amazon Bedrock Managed Knowledge Base 的表格搜尋會找出相關 CSV 或 Excel 檔,在隔離且無法連網的環境中讀取整份表格、計算需要的數值,再搭配政策或備忘錄等檔案回答問題。文中的財務案例用預算規則、修訂備忘錄和損益表,找出哪些部門要撰寫差異說明;追蹤紀錄也會列出程式讀過的檔案。這種做法適合需要跨表格計算的問題,但會多花一個 AI 助理處理步驟;固定報表和大型資料分析仍適合交給商業智慧工具。

    推薦理由:文章用財務部門的預算案例,示範如何把表格計算和政策檔案放在一起查,並透過追蹤紀錄確認程式讀過哪些檔案。

  12. Databricks Blog55

    Databricks 獲 Gartner 資料湖倉平臺領導者評選,Lakebase Postgres 入選願景者

    企業常把處理日常交易的資料庫和分析資料分開,還得用資料管線複製資料,增加等待時間與管理負擔。Databricks 表示,Gartner 將它列為資料湖倉平臺領導者,並在執行能力上評分最高;在雲端作業資料庫評選中,Lakebase Postgres 則是唯一入選願景者的廠商。文章也介紹 LTAP 架構:Lakebase Postgres 處理交易,分析引擎負責分析,兩者讀取同一份資料,讓分析能看到應用程式剛寫入的內容。文中舉例,PRADA Group 用它提供低延遲的指標 API,約快 130 倍,基礎架構成本約降 50%。

  13. Google Developers Blog77

    Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致

    大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率;做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。

    推薦理由:文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。

  14. NVIDIA Newsroom Press Releases78

    NVIDIA 推出 Nemotron for Science,協助研究人員打造科學用 AI 助理

    研究人員要讓模型處理化學、生物等專門問題,得準備合適的資料,還要確認模型能不能做好。NVIDIA 推出 Nemotron for Science,整合 Nemotron 3.5 Super VL、新的化學資料集和微調配方,讓研究人員能調整模型、打造科學用 AI 助理。資料集 LitmusBench v0.2 收錄近 50,000 個化學問題,可用來訓練和評估模型;研究人員也能讓 AI 助理解讀科學資訊、撰寫程式碼並使用計算工具。Nemotron 3.5 Super VL 和資料集目前已可在 Hugging Face 取得。

    推薦理由:LitmusBench v0.2 同時提供化學推理的評估資料與訓練用途,搭配微調配方,讓研究人員能檢查模型能力並調整模型來處理科學任務。

  15. NVIDIA Newsroom Press Releases77

    NVIDIA 推出 Vera CPU 平臺,為科學模擬加速

    氣候和分子模擬需要處理大量資料,處理器也得長時間維持運算速度。NVIDIA 推出 Vera CPU 機架平臺,把 192 顆 Vera CPU、高速網路和液冷系統整合在一起,供超級電腦執行科學模擬與 AI 工作。NVIDIA 表示,在 OpenFOAM 的氣流模擬測試中,Vera 的效能是 x86 系統的 1.9 倍,每瓦效能是 2.4 倍;這些數字來自 NVIDIA 自行測試。德國氣候運算中心已選用 Vera CPU,預計用於 HLRE-5 超級電腦。Vera 機架預計從 2027 年初起由 Dell Technologies、HPE、Lenovo 和 Supermicro 供應。

    推薦理由:Vera 把處理器、記憶體與高速網路整合成超級電腦平臺,文中也列出流體模擬測試結果與氣候研究用途,可瞭解它的設計方向。

  16. NVIDIA Newsroom Press Releases82

    NVIDIA、IBM 與 Fermilab 合作打造量子運算研究平臺

    量子電腦容易受錯誤影響,研究者也需要更快測試錯誤修正方法,並把量子處理器接進超級電腦工作流程。NVIDIA、IBM 與 Fermilab 計畫合作打造模組化研究平臺,結合 NVIDIA DGX B200 系統與 IBM 量子電腦,供研究者測試錯誤修正碼、解碼演演算法和量子與傳統運算應用。NVIDIA 也推出 TCBP-JOBS 解碼演演算法,供 CUDA-Q QEC 0.9.0 使用;原文表示,它在研究工作中最快可比既有領先演演算法快 13,000 倍,將一項設計研究的計算時間從 12 週縮短到 45 分鐘。另一項 Slurm 整合則讓研究中心能用熟悉的工具安排量子處理器與 CPU、GPU 一起工作。

    推薦理由:合作平臺把量子電腦、加速運算與超級電腦工作流程放在一起,呈現研究者如何探索錯誤修正與模組化架構。

  17. NVIDIA Newsroom Press Releases65

    NVIDIA 發布 Rubin HPC GPU,加速科學與工程模擬

    科學家和工程師要比較更多材料、分子和設計時,需要大量模擬來測試想法,但運算速度會影響探索進度。NVIDIA 在 SC26 發布 Rubin HPC,這款 GPU 將用來加速科學、工程和資料分析工作。它有超過 50,000 個 CUDA 核心,並加快資料傳送和 GPU 之間的連線,讓核心能持續運算。Rubin HPC 預計於 2028 年推出。

    推薦理由:Rubin HPC 把資料搬移與運算能力一起擴充,能幫助理解科學模擬為何需要兩者配合,並加快研究人員測試想法的回饋流程。

  18. NVIDIA Newsroom Press Releases60

    NVIDIA 回顧 CUDA 20 年如何改變科學運算

    科學研究需要處理大量計算,GPU 也能幫忙加快這些工作。NVIDIA 在 SC26 回顧 CUDA 推出 20 年來的發展,並介紹研究團隊如何用它做分子模擬、訓練 AlexNet,以及讓 AlphaFold 2 在 GPU 上執行。文章也提到,現在有超過 1,100 萬名開發者使用 CUDA,並有 1,000 多個 CUDA-X 程式庫。這些例子呈現 CUDA 如何從科學運算一路用到 AI 等領域。

    推薦理由:文章以 AlexNet、分子模擬與 AlphaFold 為例,呈現 CUDA 如何被研究團隊用於不同領域的計算工作。

  19. NVIDIA Newsroom Press Releases69

    NVIDIA 擴充 CUDA-X 函式庫,加速黑洞觀測與科學研究

    處理天文、核融合和生物研究的大量資料,常得花上很長時間,研究人員也可能要等實驗結束才能分析結果。NVIDIA 擴充 CUDA-X 函式庫,讓研究人員能更快處理資料,也能在模擬或實驗進行時檢視結果。例如,cuPhoton.xBeam 把黑洞觀測資料的分析時間從一個多月縮短到 8 分鐘;cuPotential 則讓分子模擬最多快 3 倍。這些工具也用在材料和細胞研究,幫助科學家處理更大的資料集、研究更複雜的系統。

    推薦理由:文章以黑洞觀測、核融合模擬、藥物探索與細胞分析為例,呈現 CUDA-X 函式庫如何縮短大型科學資料的處理時間。

  20. NVIDIA Newsroom Press Releases76

    NVIDIA Vera Rubin 在 MLPerf 訓練與 AI 助理推論測試中展現效能

    NVIDIA 的 Vera Rubin 平臺首次參加 MLPerf 測試,在 MLPerf Training v6.1 的所有專案都有成績;和 NVIDIA GB300 NVL72 相比,Vera Rubin NVL72 每張 GPU 的效能最高達 2 倍。在 DeepSeek-V3 測試中,GPU 數量從 256 張增加到 1,024 張,訓練時間從 16 分鐘縮短到約 4 分鐘,擴充效率約 97%。AI 助理推論方面,Vera Rubin 在 Kimi K3 的一項暫定測試中,每瓦吞吐量超過 GB300 NVL72 的 10 倍;這項結果仍待 MLCommons Association 驗證。

    推薦理由:Vera Rubin 首次參加 MLPerf,訓練與 AI 助理推論的結果可用來比較單卡效能、擴充效率和每瓦吞吐量。

  21. NVIDIA Newsroom Press Releases73

    NVIDIA 擴充 Slurm,讓超級電腦中心能管理量子處理器

    量子處理器要接進超級電腦中心,過去每換一種硬體或中心,就得重新處理軟體整合。NVIDIA 擴充 Slurm,讓量子處理器廠商能透過簡單的設定檔,使用 QRMI 和 QDMI 等介面整合硬體;中心則能把量子處理器加入既有的排程與資源管理流程。Slurm 26.11 預計本月稍晚推出。這讓科學家能透過熟悉的工作流程,安排量子處理器與傳統運算資源,執行量子和傳統電腦共同完成的研究。

    推薦理由:Slurm 加入量子處理器支援後,量子硬體廠商可重用整合方式,超級電腦中心也能沿用既有資源管理流程。

  22. NVIDIA Newsroom Press Releases58

    Lambda 用 NVIDIA Photonics 連線超過 10,000 張 GPU,提升 AI 工廠網路效率

    數千張 GPU 一起訓練 AI 模型時,網路如果太慢或中斷,整批工作都可能卡住。雲端服務商 Lambda 使用 NVIDIA Photonics 交換器,連線裝有 GB300 NVL72 的機櫃,整個 AI 工廠有超過 10,000 張 GPU。Lambda 的測試顯示,網路延遲在機櫃規模約降低 4%,在機群規模最多降低約 10%,耗電效率最高提升 5 倍、可靠度最高提升 15 倍。交換器採用液冷,也能在現場更換光源模組;如果雷射故障,就不必更換整個模組。

11月16日週一
  1. AWS Machine Learning Blog66

    Amazon Bedrock 開放權重模型支援明確提示詞快取

    每次請求都重送很長的背景資料,會增加處理時間和輸入費用。Amazon Bedrock 的開放權重模型現在支援明確提示詞快取,開發者可以標出要重複使用的內容,讓後續請求直接讀取快取;也能使用自動快取,或同時使用兩種方式。文章用產品手冊問答和 OpenCode 寫程式的例子,示範如何檢視快取讀取與寫入用量。把不常變的指示和參考資料放在前面,有助於重複使用;實際支援方式、最低長度和儲存時間則依模型而異。

    推薦理由:文章比較自動與手動標記快取字首的做法,並示範如何檢視讀寫用量,方便估算重複使用長提示詞時的費用與延遲變化。

  2. AWS Machine Learning Blog71

    Amazon Bedrock Managed Knowledge Base 教你為不同租戶調整回答

    不同地區的客戶和公司內部團隊可能共用同一批檔案,卻需要不同語言、格式和回答規則。這篇教學示範如何在 Amazon Bedrock Managed Knowledge Base 為每個租戶設定回答方式,並固定使用的設定版本,方便逐一更新和查明每次回答用了哪個版本。要注意的是,回答設定不會限制 AI 助理能讀哪些檔案;若要隔開各租戶的資料,還要用中繼資料篩選或分開知識庫,並由後端依登入身分選擇篩選條件。

    推薦理由:文章把回答風格設定與資料存取隔離分開處理,並示範如何用中繼資料篩選和版本固定管理各租戶的回答。

  3. AWS Machine Learning Blog70

    AWS 說明如何寫好 Amazon Bedrock Guardrails 的拒答主題

    拒答規則寫得太廣,可能連客服本來該回答的問題也一起擋掉;寫得太窄,又會漏掉真正想拒絕的請求。AWS 整理了 8 個做法,教人把 Amazon Bedrock Guardrails 的拒答主題寫成明確的使用者意圖和具體行為,並用不同例子標出該擋與不該擋的界線。文章也提醒,提示詞注入、特定字詞和個人資料應交給 Guardrails 裡各自適用的政策處理。由於邊界案例可能出現不同結果,設定變更後要重新測試,並準備讓使用者申訴或改寫問題的方式。

    推薦理由:文章用銀行客服的例子,說明如何把拒答規則寫得更精確,也整理了主題重疊與測試結果變動時的處理方式。

  4. OpenAI News80

    OpenAI 擴充 ChatGPT for Healthcare,加入跨醫療系統操作與 20 多種外掛

    醫療團隊常要在電子病歷、院內規定、排程和保險網站之間找資料、搬檔案,花不少時間切換系統。OpenAI 為 ChatGPT for Healthcare 加入能讀取畫面、點選和輸入資料的 AI 助理,也改進臨床搜尋,並新增 20 多種醫療外掛。舉例來說,醫師可以請它檢視病歷,草擬 MRI 檢查單和給病人的回覆,再由醫師檢查;外掛也能協助查病人紀錄、安排聯絡和確認保險資格。使用受保護的健康資料時,機構還須採用符合 BAA 等條件的服務並設定好安全措施。

    推薦理由:醫療團隊常得在病歷、院內規範與保險系統間搬資料;這次更新把操作現有軟體、查詢醫學證據和串接醫療工具放進同一工作流程。

  5. OpenAI News78

    OpenAI 推出醫療用電腦操作 AI 助理,協助團隊處理跨系統工作

    醫療團隊常得在不同系統間搬資料,才能完成轉診、保險事前授權等工作。OpenAI 開放醫療用電腦操作 AI 助理,讓它能在現有軟體中點選和輸入資料,先整理病歷、草擬醫囑或申請內容,再交給醫師或行政人員審核。OpenAI 表示,在 325 項臨床任務中,99% 被評為安全;在行政工作基準測試中,GPT‑6 Astra 得分 94.3%,GPT‑6 Luna 得分 91.8%,每項任務成本低 98%,為 8.5 美分。醫療機構也能設定許可權、加入核准步驟並檢視操作紀錄。

    推薦理由:文章呈現臨床與行政工作中的安全性、實用度和成本資料,也說明醫療團隊如何讓 AI 助理處理跨系統流程並保留人工審核。

  6. Unsloth AI Releases72

    Unsloth Studio 推出 v0.1.918-beta,可讓模型操作電腦和連線創作工具

    模型要幫忙操作電腦或創作工具,得先看得到畫面,也要能和其他程式互動。Unsloth Studio 的 v0.1.918-beta 加入測試版電腦操作功能,支援 macOS、Windows 和 Linux;模型可檢視螢幕、控制滑鼠與鍵盤,但首次操作、切換應用程式和可能有風險的動作需要先核准,使用者也能隨時接手。更新也能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender、Figma 和 Roblox,其中 Figma 只能讀取。此外,MiniMax-H3-Image 新增 GGUF、FP8、INT8 和 LoRA 訓練支援,長對話也能自動整理,減少舊訊息遺失。

    推薦理由:電腦操作功能可讓模型檢視畫面並控制滑鼠鍵盤,首次操作與可能有風險的動作都需先核准,呈現了這項功能的使用界線。

  7. Artificial Analysis62

    Liquid AI 推出 d1.2-ultra 和 d1.2,更新旗下的 d1-ultra 和 d1.1 決策模型。Artificial Analysis 表示,d1.2-ultra 在自家 AA-Paperclip 評測拿下 76 分,比第二名 Drex Max v1.1 高 3 分;另一項 Artificial Analysis Decision Index v2.1 排名中,d1.2-ultra 第 1 名,d1.2 第 6 名。兩款模型也都比前代得分更高,且都位於能力與成本的帕累托前緣。每 100 萬個 Decision Index 任務的費用分別是 $133 和 $63;兩者可接收文字與圖片,並透過 Liquid AI 自家 API 提供。

    推薦理由:Artificial Analysis 的測試顯示,d1.2-ultra 與 d1.2 都比前代得分更高,並列在能力與成本的帕累托前緣,可比較兩款模型的進步與花費。

  8. Anthropic Research77

    Anthropic 更新漏洞揭露政策,縮短漏洞公開期限

    AI 模型更容易找到漏洞,也更可能讓其他模型重新找到同一個問題,Anthropic 因此調整漏洞通報後的公開時間。從 2027 年 1 月 1 日起,新通報的高風險與重大漏洞,揭露期限從 90 天縮至 30 天;其他漏洞縮至 45 天,當天仍在處理的通報則沿用原期限。若維護者沒有回覆,Anthropic 會提早聯絡外部協調人;修補程式推出後,也會提早公開完整技術細節。正在遭受攻擊的漏洞仍維持 7 天期限,尚未經人工檢查的 AI 發現則不適用新政策。Anthropic 表示會提供修補或緩解建議,並與維護者協調可負擔的處理速度。

    推薦理由:Anthropic 將高、重大漏洞的揭露期限縮至 30 天,反映漏洞更容易被其他模型重新找到,也讓維護者需要更快安排修補。