llama.cpp 發布 b12366,新增 CPU 與 CUDA 的 BF16 RMS_NORM 支援
llama.cpp 的 b12366 加入 BF16 格式的 RMS_NORM 支援,適用於 CPU 和 CUDA;CUDA 也改成共用同一個輔助程式來啟動 F32 與 BF16 版本。這次更新的重點是補上這項運算支援,沒有提供效能提升幅度等資訊。
llama.cpp 的 b12366 加入 BF16 格式的 RMS_NORM 支援,適用於 CPU 和 CUDA;CUDA 也改成共用同一個輔助程式來啟動 F32 與 BF16 版本。這次更新的重點是補上這項運算支援,沒有提供效能提升幅度等資訊。
公司匯入 AI 程式開發和辦公工具後,常會遇到費用都算在同一個帳號、難以看出誰用了多少的問題。AWS 說明如何用 IAM Identity Center 讓每位使用者以自己的身分呼叫 Amazon Bedrock,再把使用者和團隊標記帶進帳單資料,透過 Athena 查詢各人或各團隊的花費。帳單資料按時段彙整,不能查到每次提示詞的費用;若要逐次檢視,需使用模型呼叫記錄或請求標記。文章也比較幾種支出限制方式:AWS Budgets 設定較簡單,但帳單更新可能延遲;CloudWatch 搭配 Lambda 可較快反應,其他方法則各有維運負擔。
推薦理由:文章整理 Amazon Bedrock 如何把每次模型呼叫連到使用者身分,並比較不同支出控管方式的延遲與維運負擔,方便規劃企業管理流程。
XPU 裝置原本需要把 SYCL 的裝置編號換成另一個編號,傳給 DLPack 時才會對得上 PyTorch;這次 PyTorch 改成直接使用 PyTorch 自己的裝置編號,做法和 CUDA 一樣。以 xpu:0、xpu:3、xpu:7 為例,修改前傳出的編號是 9、12、16,修改後變成 0、3、7。這項改動也讓原本會失敗的 managed_tensor_allocator 搭配 kDLOneAPI、data=NULL 情況順利運作。
想讓 Claude Code 在檢查失敗後再試一次,Stop hook 必須以退出碼 2 結束,Claude 才會收到錯誤訊息並重試。若使用退出碼 1,檢查雖然失敗,Claude 仍會直接結束。
要判斷 AI 模型是否安全,不能只看一個分數,因為測驗可能問錯問題、被模型鑽漏洞,或漏掉真實對話中的風險。Anthropic 根據自家經驗整理做法:先說清楚要測什麼,再找領域專家設計貼近真實情況的多輪對話,並用明確規則評分。像是遇到自傷風險時,只看模型有沒有拒答並不夠,也要看它是否有同理地回應並引導使用者尋求真人協助。評分工具也要拿人工判斷來核對,並公開測試設定和結果的不確定範圍,讓其他人知道分數能說明什麼。
推薦理由:Anthropic整理安全評測從設計、評分到報告的做法,說明如何避免測錯問題,並讓結果更貼近模型在真實對話中的表現。
Vercel 的建置機器現在最多能保留 5 GB 的建置快取。你可以把已安裝的依賴套件和框架檔案留著,下次部署時重複使用,減少安裝和建置程式所花的時間。以前,快取超過各方案的上限就會被清掉,下一次建置得重新準備;現在這項調整會自動套用到所有建置機器型別,不用另外設定,也不會額外收費。
Vercel Sandbox 在華盛頓特區以外的地區,若能從附近的快取讀取重複使用的映像檔,啟動速度最高可提升 4 倍,因為不必每次都跑到華盛頓特區的儲存位置拿資料。這項功能適用於 Vercel Container Registry 裡的代管映像檔、自訂映像檔,以及以它們為基礎建立的快照。內部測試中,巴黎的啟動時間約縮短 75%;首爾則從約 3.5 秒降到 1.05 秒。離原本儲存位置較近的地區,改善幅度通常較小。
llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。
新產品上市後,分類模型可能沒有對應的類別,讓客服工單被分錯或只能送進通用佇列。AWS 示範用 SageMaker HyperPod Data Capture 把線上請求與回答存到 S3,再用 Athena 找出新產品造成的分類變化,透過 SQL 規則整理訓練資料,並在同一個叢集上微調模型。示範使用合成資料;測試集準確率從 83.9% 提升到 100%,但手寫測試為 20/24,也暴露出模型把「提到產品名稱」直接當成產品分類的問題。文章提醒,完整請求可能含個資,收集前應設定抽樣、加密與去識別處理。
推薦理由:文章示範如何從線上請求找出新產品分類缺口,再用 SQL 標記資料並微調模型,呈現一套可重做的改善流程。
機械手臂在畫面上看起來正常,不代表它在模擬中一定抓得住物品。Hugging Face 示範如何把 UR17G 手臂、Robotiq 2F-140 夾爪和飲料罐放進 Isaac Sim,先檢查關節設定、移動和接觸情況,再用 AI 助理協助組裝機器人並執行夾取、搬運和放下。範例使用固定起點和預先排好的動作,沒有使用視覺,也沒有測試不同位置或真實硬體,因此結果只適用於這套模擬設定。
推薦理由:文章把模擬資產檢查、機械手臂組裝與夾取測試串成一套流程,也交代固定起點等假設,方便理解成果適用範圍。
線上服務發現資安漏洞時,團隊得趕快修補,卻不能讓服務中斷,還得查清楚問題在哪、該怎麼修、要交給誰處理。Wiz Green Agent 會沿著攻擊路徑逐步檢查:這次它發現公開網站連著有漏洞的容器,容器還能讀取雲端儲存空間裡的個資。直接關掉網站會讓正式服務停擺,因此它找出能先切斷雲端存取的做法,再追到程式碼裡的永久修補方式和負責工程師。整個調查只花幾分鐘,讓團隊能先降低風險,再安排完整修補,同時顧到服務運作。
查公司、產品或政策等常變動的資訊時,舊資料可能讓判斷出錯。Vercel AI Gateway 現在提供 Parallel 的 Parallel Decisions Fast,可搜尋即時網頁,回答問題時附上機率、來源網址和證據摘錄,並免費提供至 2026-11-23。你可以問是非題、讓它從指定選項中挑選,或依照設定好的標準評分;同一個請求中的相關問題也能共用搜尋到的資料。應用程式可依機率門檻自動處理高把握的結果,把不確定的結果交給人檢查,請求也會和其他模型請求一起記錄用量與費用。
漏洞修好後,使用者可能還沒收到更新,攻擊者就已從修補內容找出漏洞細節。Google Project Zero 宣佈調整漏洞揭露政策:從即日起,回報給廠商 90 天後公開;2027 年 2 月 2 日縮至 60 天,2028 年 1 月 3 日再縮至 30 天。新政策也取消多數寬限例外,並希望廠商縮短修補推出與使用者安裝更新之間的時間。若漏洞已在野外遭利用,則依 Google 的應用程式安全漏洞揭露政策處理;硬體漏洞等少數情況仍可能獲例外。
推薦理由:Project Zero把揭露期限分階段縮短,並取消多數寬限例外,呈現漏洞修補速度與使用者等待更新風險之間的取捨。
女性創辦人常遇到資金少、曝光也少的困難:全女性團隊拿到的創投資金約佔 2.3%,想創業的人也較少有成功女性可以參考。Oxford Saïd Business School 多年來訪問女性創辦人,整理她們募資、承擔風險和經營公司的經驗,現在把這些研究做成 SOFIA for Business,讓人能直接和它對話、向受訪者的經驗學習。SOFIA 也會訪問創辦人;得到同意後,對話內容會加入研究,讓這份經驗持續累積。
Android 虛擬裝置原本只能在 Linux 上執行,使用 Mac 開發的人因此得在兩種模擬器之間切換,測試結果也可能和實際裝置有落差。Meta 調整 QEMU 和 Cuttlefish,讓它們能在 Apple silicon 的 macOS 上運作,也補上 Mac 原生畫面、觸控操作、建置與簽署支援。開發者因此能在 Mac 上使用較貼近實機的虛擬裝置,並與其他開發者及 CI 使用相同環境。Meta 已分享 QEMU 分支和 AOSP 修補檔供社群使用,也正在探索將改動送回上游。
推薦理由:文章拆解 Cuttlefish 在 Apple silicon 上原生執行的主要改動,能幫助讀者理解 Linux 虛擬裝置框架移植到 macOS 時會遇到哪些工程問題。
有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。
推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。
推薦理由:從 Code Arena 的榜單與回答價格比較,可看出程式模型進步加快,也讓較低成本的選擇開始超越先前的頂尖模型。
AI 助理和背景工作常要跑很久,途中還會經過佇列、傳送大量資料,遇到故障也得接著執行。Vercel 推出 Workflow SDK 5,會在資料離開程式前加密工作內容,也把工作流程的資料放在啟動它的區域,減少跨區傳送。Vercel 公佈的測試中,1,020 個步驟的流程從 21 分鐘縮短到 3 分鐘;串流回應送達時間也從 226.1 秒降到 53.5 秒。這些數字來自特定工作和區域,其他應用的結果可能不同。
推薦理由:Workflow SDK 5 把加密、區域部署與執行速度放在同一版更新中,文中的基準測試也呈現長流程與串流延遲的差異。
推薦理由:訪談說明 Design Arena 如何把人們實際創作和使用 AI 的過程整理成資料,協助模型團隊瞭解模型在哪些地方做得好或不好。
LangChain 宣佈募得 $300M,估值為 $3B,資金將用來推動公司發展。公司表示,LangSmith 可協助企業部署、改善和管理 AI 助理,讓企業選擇模型、掌控資料與基礎設施,並管理工具使用與安全規範。LangChain 提到,Workday 使用 LangSmith 管理公司內的 AI 助理,將部署新助理的時間從五個月縮短到不到一天;Clay 則用它監看每月數億次的 AI 助理執行。
推薦理由:LangChain 說明這筆資金將用來發展 LangSmith,並以企業部署 AI 助理的案例呈現平臺目前的用途。
讓 AI 助理代買東西時,使用者需要放心付款,也要避免網站或銀行把交易擋下來。OpenAI 推出 ChatGPT Wallet,使用者先加入卡片,每次購買前都能檢查商品、總價和付款卡,再用 Face ID 或指紋確認。確認後,付款網路會提供一組代替卡片資料的付款程式碼,商家和 AI 助理都不會看到使用者的實際卡號;符合條件的爭議交易也保有原卡的回饋與保障。服務先透過 dots 提供給美國年滿 18 歲的 ChatGPT Pro 訂閱者,並搭配商家指南,協助網站和付款系統辨識這類交易。
推薦理由:ChatGPT Wallet 讓使用者逐筆確認 AI 助理代購,並用付款程式碼隱藏卡片資料;文章也說明商家如何讓既有網站與付款系統接受這類交易。
企業匯入 AI 時,常遇到員工看不到公司資料,或 AI 不懂公司怎麼定義營收等指標。OpenAI 與 Databricks 合作,讓 ChatGPT 透過 Genie 讀取員工有權檢視的資料,並依公司定義回答問題;工程團隊可讓 Codex 經過 Unity Gateway,設定預算並檢視每次請求紀錄。企業也能在 Databricks 上使用 OpenAI 模型打造自訂 AI 助理。這些做法讓員工更快查資料、工程主管掌握使用情況,也讓團隊在既有許可權管理下開發 AI 應用。
CSR SpMM 遇到每列有很多非零值、而且右側資料有很多欄時,每列要做的運算會變多。這次 PyTorch 修改了 CPU 分配工作的方式,讓這類情況可以把資料列切得更細,也把原本每處理一個非零值都要呼叫的程式改成直接累加,少一次額外呼叫。修改也保留非連續資料的支援,並加入浮點數與複數資料的正確性測試,確認右側資料和輸出都不是連續排列時仍能正確運算。
用 CloudFormation 管理資料庫時,原本需要在範本中分別設定 Aurora 叢集和資料庫執行個體。AWS 現在支援用快速設定建立 Aurora PostgreSQL,新增的 withExpressConfiguration createOnly 屬性可以一次建立叢集和主要資料庫執行個體,不必另外替執行個體寫設定。這讓範本更簡單,也能用基礎架構即程式碼管理這類叢集;相關支援已在提供快速設定 Aurora PostgreSQL 的所有 AWS 區域推出。
資料庫進行次要版本升級或作業系統更新時,停機可能影響正在使用服務的應用程式。Amazon RDS for Oracle 現在會在維護時段前最多 30 分鐘準備所需資源,資料庫在準備期間仍可繼續處理工作;維護開始後,停機時間因此縮短。若準備工作和使用者的變更衝突,RDS 會退回已準備的資源,讓使用者的變更繼續進行;準備失敗時,仍會照原定維護時段執行更新。這項功能適用於企業版與標準版 2 資料庫執行個體,並已在 AWS 商業區域及 AWS GovCloud(美國)推出,無需額外付費。
推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。
Exa 現已在歐洲運作。 我們在斯德哥爾摩重建了索引與檢索系統。請求會儲存並處理於 EU。 今日起開放企業客戶使用。https://t.co/KXDV0ZrT2z
企業把舊資料倉儲搬到 Databricks Lakehouse,常得花很多時間改寫 SQL、查檔案之間的關係,還要逐一找出轉換錯誤。Databricks 的 Genie Migrate 現已正式推出,可處理 Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery 的 SQL。它會整理檔案與資料表的依賴關係、同時轉換多個檔案,並檢查和修正產出的程式碼,讓工程師比對新舊版本後核准結果。Databricks 表示,七種來源的基準測試中,每種都有超過 90% 的檔案轉換正確;MIXI 測試的 BigQuery 檔案則約有 85% 不必手動修改即可執行。
推薦理由:文章以七種資料倉儲的轉換基準與 MIXI 實例,呈現 Genie Migrate 的轉換成果及工程師仍需檢查的工作。
維護 PyTorch 的 XPU 元件時,主分支和發行分支可能要使用不同版本,直接指定分支名稱也不方便確認最後抓到哪份程式碼。這次更新讓 third_party/xpu.txt 可以寫完整的 SHA,或寫成 release/X.Y 這類發行分支名稱;建置時會找到該分支對應的 SHA,並記錄依賴版本,方便重現發行版使用的程式碼。遇到隻影響發行版的變更時,也會改用對應的 XPU 分支。