跳到正文

全部動態

RSS
今日 4 則
11月17日週二
  1. PostgreSQL Official News62

    pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入

    大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。

    推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。

  2. DuckDB Official Blog62

    DuckDB 使用者社群攜手 Hugging Face,用 AI 分析商品評價

    評論很多時,直接交給大型語言模型整理,不容易先找出真正需要注意的商品。DuckDB 使用者社群舉辦工作坊,帶大家用 DuckDB 分析 Amazon 家電評論,找出近期評分下滑的商品,再讓 LLM 整理相關抱怨。DuckDB 先挑出最有幫助的 40 則近期低分評論,模型再歸納常見問題並優先列出安全疑慮。工作坊也把流程放到 Hugging Face Space,讓每個步驟都能透過 API 呼叫;同一套流程也可用來分析欄位相同的其他顧客回饋。

    推薦理由:這場工作坊示範先用 SQL 找出評分下滑的商品與相關評論,再交給 LLM 歸納原因,呈現控制模型處理範圍的做法。

  3. OpenAI News67

    OpenAI 將 Daybreak 資安模型提供給 NATO 與盟國防守團隊

    政府與資安團隊要保護重要網路,也得趕快找出漏洞並修補。OpenAI 表示,已透過 Daybreak 讓 NATO、歐洲多國資安機構及烏克蘭相關團隊使用資安模型,協助檢查軟體、調查可疑活動、驗證漏洞和測試修補方式。ENISA 曾用這些模型找出 4 個漏洞,四者都已公佈修補方式;CERT Polska 則協助找出 MikroTik RouterOS 的 6 個漏洞,並由研究人員測試影響、與廠商協調修補。這些案例也顯示,AI 能加快分析,但仍需要人員確認結果並掌握防禦工作。

    推薦理由:NATO 與多國資安機構的實際使用案例,呈現 AI 如何協助找出軟體漏洞並加快修補,也交代研究人員在驗證和防禦工作中的角色。

  4. PyTorch Core Releases35

    Dynamo 修正單行函式與類別名稱作用域錯誤

    開發者發現 Dynamo 在處理只有一行的函式或類別時,會因為沒有「縮排結束」的標記,導致名稱快取沒被清除,後面的程式碼會被誤判成屬於前一個名稱(例如 def f(): 內的 return 1 被記成 E.f)。這次的修正在偵測到新行後,如果下一個重要符號不是縮排,就把那個名稱的作用域移除,同時保留原本的名稱本身,並正確忽略註解與空白行。開發團隊也加了回歸測試,確保單行函式、類別、疊加定義、裝飾器等情況都能正常運作。這樣一來,Dynamo 的程式分析就不會再因為單行定義而產生錯誤的名稱標記。

  5. OpenAI News66

    Revolut 與 OpenAI 合作,用 AI 加速金融風險篩查與產品開發

    很多人常會擔心金融交易被詐騙,或是開發新功能需要花很多時間。Revolut 把 OpenAI 的 ChatGPT、Codex 和 GPT‑5.5 變成 AI 小幫手,負責自動檢查交易、寫程式和整理檔案。這樣工程師不用手動跑每筆資料,就省下 30% 到 60% 的開發時間,能把更多精力放在設計和改進服務,同時讓客戶的資金更安全。

    推薦理由:文章說明AI讓Revolut以更快速度完成風險篩查,提升服務安全與效率。

  6. llama.cpp Releases50

    llama.cpp 更新:解決 Muse Glimmer 視覺嵌入順序問題 (b12463)

    summary_zh: 很多人在用 llama.cpp 讓電腦看圖時,會發生「圖的編號排錯」的狀況,結果模型讀到的畫面資訊跟實際不符。開發者在這次的 b12463 版裡,修正了 Muse Glimmer 影像嵌入的順序問題(由 Claude 協助完成),讓影像轉成電腦可理解的編號時會正確排列。這個修正同時支援 macOS、Linux、Windows、Android 等多種作業系統,使用者不需要再擔心因平臺不同而出錯。換句話說,現在用 llama.cpp 進行視覺任務時,影像的處理結果會更可靠、更一致。 很多人在用 llama.cpp 讓電腦看圖時,會發生「圖的編號排錯」的狀況,結果模型讀到的畫面資訊跟實際不符。開發者在這次的 b12463 版裡,修正了 Muse Glimmer 影像嵌入的順序問題(由 Claude 協助完成),讓影像轉成電腦可理解的編號時會正確排列。這個修正同時支援 macOS、Linux、Windows、Android 等多種作業系統,使用者不需要再擔心因平臺不同而出錯。換句話說,現在用 llama.cpp 進行視覺任務時,影像的處理結果會更可靠、更一致。

  7. llama.cpp Releases42

    llama.cpp b12458 加入 YuE2-3B 支援並改善音訊生成

    llama.cpp 的 b12458 加入對 YuE2-3B 的支援,並調整音訊生成流程,包括加快速度、修正串流處理,還能從 API 控制 CFG。這次也修正多個伺服器工作槽同時處理請求時,可能拿到其他序列分數的問題,並調整計算步驟,讓部分運算更容易合併執行。更新提供多種系統版本,涵蓋 macOS、Linux、Android、Windows 和 openEuler。

  8. llama.cpp Releases41

    llama.cpp 修好 OpenCL 注意力運算的 3 個問題

    llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。

  9. llama.cpp Releases59

    llama.cpp 發布 b12464 版,新增 A7 Q8_0 kernel 與多平臺支援

    這次更新為 llama.cpp 加入 A7 Q8_0 非 MoE 二進位 kernel,並擴充對 macOS、Linux、Windows、Android 等多作業系統與 GPU/CPU 的支援。使用者現在能在 Apple Silicon、Vulkan、CUDA 12/13、ROCm、OpenVINO 等環境中更輕鬆部署模型,提升推理速度與效能。更新還包含對 Ubuntu 24.04、26.04、s390x、以及 Windows 的 OpenCL、ROCm、Vulkan 支援,並提供 Android Snapdragon 方案,減少環境配置成本。

  10. Together AI60

    要知道 AI 助理能不能完成工作,光看最後答案不夠,還得檢查它一路怎麼做。Together AI 的做法是先挑出約 10 個常見任務,讓 Claude Code 在隔離環境中執行,再比較基本設定、MCP 和技能三種組合,並檢查操作過程,據此改進檔案與 API。文中表示,任務完成率從 67% 提升到 96%。

    推薦理由:Together AI 用代表性任務比較不同設定,並檢查 AI 助理的操作過程來改進檔案與 API,呈現一套實作評估方法。

  11. ollama61

    寫程式的 AI 助理有時會因為快取失效而變慢。Ollama 分享三個觀察:系統提示詞裡多一個時間戳記,就可能讓快取失效;調整推理強度,可能清掉整份快取;如果輸出被截斷,告訴 AI 助理它少看了後面的內容,能讓它接著讀完。這些提醒可用來檢查提示詞、推理設定和輸出處理方式。

    推薦理由:內容整理了三個讓寫程式的 AI 助理維持快速的實務觀察,涵蓋提示詞、推理設定與輸出截斷,可用來檢查工作流程中的效能問題。

  12. llama.cpp Releases39

    llama.cpp 發布 b12449,增加多張裝置的設定數量

    llama.cpp 的 b12449 更新調整了 --tensor-split 和 --fit-target,讓這兩項設定最多可以列出與裝置數量上限相同的設定組數。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體選項;部分專案標示為停用。

  13. Pydantic AI Releases64

    Pydantic AI 發布 v2.69.0,更新 AI 助理工具與工作流程

    使用 AI 助理處理多步驟工作時,工具呼叫、重試和子任務若處理不一致,可能讓流程中斷或結果出錯。Pydantic AI 的 v2.69.0 加入 Gemini 4 Hydrogen 支援,也更新工具呼叫、沙箱工作區和子任務的處理方式,並修正多種模型連線、錯誤回報與重試問題。例如,串流內容若卡在反覆迴圈,現在可以偵測出來;部分子任務紀錄也會留在各自的檔案中。這次更新主要讓開發者更容易建立和維護能處理多步驟工作的 AI 助理。

    推薦理由:這次更新同時調整 AI 助理的工具呼叫、工作流程與錯誤處理,能從中瞭解 Pydantic AI 如何改善複雜任務的穩定性。

  14. david888podcast46

    微軟 Exchange 當機、Optimizely 遭惡意程式攻擊,軟體系統為何接連出問題?

    這集談到多起軟體與網路服務出問題的事件:微軟 M365 發生全球當機,Debian 在核心更新後變得沒有回應,Optimizely 也遭遇供應鏈攻擊,讓使用相關服務的網站受到惡意程式影響。節目還提到 vm2 的隔離防護失效,以及 Tor 面對持續的阻斷服務攻擊。這些例子顯示,軟體一層層互相依賴時,底下某個環節出錯,可能牽連許多服務;主持群因此提醒工程師重視系統底層,清楚劃分架構與隔離邊界。

  15. PyTorch Core Releases52

    PyTorch Inductor 改用依維度處理平鋪座標軸

    PyTorch Inductor 原本把平鋪運算的座標軸寫死,超過三個維度時就需要先改掉這些限制。這次更新改成依輸入維度產生座標軸名稱,並依設定限制可用的平鋪數量,也整理了區塊大小選擇、描述子和指標位移的處理方式。作者測試了不同維度、座標軸排序及多種描述子情境;不過,這項改動本身是後續支援多維平鋪的基礎,啟用額外維度的程式在另一個後續變更中。

  16. PyTorch Core Releases60

    PyTorch Inductor 重整切分軸處理,為更多維度的運算鋪路

    PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。

    推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。

  17. PyTorch Core Releases55

    PyTorch Inductor 改用依維度處理的切分方式

    PyTorch Inductor 原本把可切分的軸寫死,最多隻能處理三個軸,讓更高維度的切分不容易加入。這次改動改成依輸入資料的維度產生軸名稱,並依設定限制挑選切分方式,也調整了自動調校和資料描述子的處理。它為後續支援更多維度的點元素與歸約切分打下基礎;原有的區塊大小限制仍保留。作者也回報了多組主機與 Hopper 測試結果。

  18. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。

  19. OpenAI53

    醫療團隊常要在不同系統間查資料、處理轉診和出院安排,花掉不少照顧病人的時間。OpenAI 表示,ChatGPT for Healthcare 加強了操作電腦的 AI 助理能力與臨床回答,並新增 20 多個醫療外掛。AbridgeHQ、AmbienceAI、Cigna、CVSHealth 等醫療機構正把 OpenAI 的模型用在事前授權、轉診、出院規劃和聯絡病人等工作,讓醫療證據更容易接上團隊原本使用的工具。

  20. NVIDIA Newsroom Press Releases72

    NVIDIA 推出 DGX Spark Developer Kit,讓研究人員在桌邊使用四臺系統

    研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。

    推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。

  21. Together AI41

    兩週前,我們宣佈推出 Together Compiler:可依據你的模型、晶片和流量調校推論的 AI 助理,吞吐量最高可提升 2.6 倍。 今天,我們分享背後的開發歷程:挑戰我們對 megakernels 假設的實驗、Torch Compile 出乎意料的優勢,以及促成我們開發新一代推論最佳化系統的經驗。 感謝 @dylan__lim @reyna_abhyankar @simran_s_arora 和團隊! 閱讀更多:https://t.co/9Yb1toI5jq

  22. Claude Code Releases40

    Claude Code 發布 v2.1.326,改善 AI 助理操作與修正多項問題

    Claude Code v2.1.326 加入多項操作提示,也修正了設定、登入、MCP 連線和遠端操作等問題。像是設定了不完整的工具規則時,啟動時會提醒你;如果背景工作還在執行,用手機或網頁按下停止,也會一併結束這些工作。這次更新也修正了部分情況下,舊檔案可能蓋掉 Claude 修改過的檔案。整體來說,這版讓錯誤比較容易被發現,也讓工作紀錄和檔案處理更可靠。

  23. Together AI Official Blog64

    Together AI 推出 Together Compiler,用 AI 助理加快模型推論

    模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。

    推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。

  24. AWS Machine Learning Blog69

    AWS 說明多個 AI 助理如何分工,以及製造業常見的設計錯誤

    多個 AI 助理一起工作,步驟變多後,出錯和花費也可能跟著增加。AWS 把分工方式分成兩大類:一類是先排好固定流程,另一類是讓模型在工作中決定下一步;文章建議先用固定流程,只有工作步驟無法事先確定時,再考慮讓模型自行安排。文章也提醒,重試要設上限、不同助理交接時要用清楚的資料格式,會影響裝置或客戶的動作則應經過檢查與人工核准。在製造現場,還要把延遲、安全和裝置端資料納入設計。

    推薦理由:文章用製造現場的延遲、安全與資料限制,說明如何從固定流程開始,再判斷何時需要讓 AI 助理自行安排工作。

  25. AWS Machine Learning Blog58

    Duco 如何用 Amazon Bedrock AgentCore 加快金融資料處理

    金融機構要處理大量格式各異的資料,也得顧好每家銀行的資料隔離和稽核。Duco 把 AI 助理服務改用 Amazon Bedrock 和 Amazon Bedrock AgentCore,讓每家客戶使用各自隔離的執行環境與工具。面對每家客戶有 300–400 個工具、工具說明約佔 200,000 個 token 的問題,Duco改成需要時才載入說明,將主要上下文縮到約 20,000 個 token,並透過評估確認回應品質改善。文章也分享銀行對帳流程的匯入成果:部署速度提高 10 倍;其中一家全球銀行的新流程匯入成本降低 70%,直通處理率提高超過 20%。

  26. AWS Machine Learning Blog76

    AWS 示範如何用 Amazon Bedrock 建立會記住使用者的 AI 助理

    企業 AI 助理要回答員工問題,常得記住先前對話,又要確保每個人只看到有權閱讀的檔案。AWS 示範用 Amazon Bedrock Managed Knowledge Base 搭配 AgentCore memory,讓服務儲存對話、整理使用者提過的資料,並在回答時找出相關記憶與檔案。範例用 Cognito ID token 確認使用者身分,再用檔案存取清單和 IAM 條件限制資料範圍;例如員工先前提過辦公地點,之後詢問休假規定時,助理便能依這項記憶回答。記憶整理可能要等一段時間,若記憶讀取失敗,服務仍會根據可讀取的檔案回答。

    推薦理由:文章以員工助理示範如何把對話記憶、檔案許可權和使用者身分串在一起,並用 IAM 條件限制每位使用者能讀取的記憶。

  27. Microsoft ONNX Runtime Releases55

    ONNX Runtime WebGPU Plugin EP v0.6.0 擴充模型支援並改善效能

    使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。

  28. a16z38

    Tyler Cowen 認為,AI 讓公司短期內更難找到合適的人。以前僱主會看學校、成績或面試表現來猜一個人工作能力如何,現在還得判斷他能不能靈活學會使用 AI,但目前沒有可靠的方法看出來,因此找人可能花更久。Cowen 認為,未來 AI 可能會協助評估求職者,也可能出現衡量 AI 能力的證照;但在轉變期間,除了部分科技業人士,大家多半都還是新手。

  29. Vercel Blog58

    Vercel AI Gateway 開放使用 Seedance 2.5 Flash 生成影片

    想用文字或現有素材生成影片時,Seedance 2.5 Flash 現在可透過 Vercel AI Gateway 使用。它是 Seedance 2.5 的較快、較低成本版本,可生成帶同步音訊的影片,也能參考圖片、影片或音訊,或編輯和延長既有影片。影片長度為 4 到 30 秒,最高 720p、每秒 24 格,並支援橫向、方形和直向畫面。使用者可透過 AI SDK 7 呼叫這個模型。

  30. Vercel Blog72

    Vercel AI Gateway 支援連線團隊的私有模型

    企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。

    推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。

  31. Together AI Official Blog72

    Together AI 和 Ollama 說明如何讓開放模型長時間執行 AI 助理工作

    AI 助理做長時間的程式工作時,每回合都可能重新送出前面整段對話,讓處理速度變慢、花費增加。Together AI 和 Ollama 說明,快取能保留前面已處理的內容,但提示詞前面的文字一改,後面的快取就得重做;推論引擎若把請求送到別臺機器,也可能用不上原有快取。文章建議讓系統提示詞保持不變,把會變動的資訊放進任務內容,並避免工具一次回傳過多資料。這些做法能減少重複處理,也讓 AI 助理跑長任務時比較順。

    推薦理由:文章從 AI 助理每回合重送整段對話的成本切入,說明提示詞設計與推論引擎如何共同保留快取,並整理可直接採用的做法。

  32. Databricks Blog72

    IFS Copperleaf 如何用 Databricks Genie One 讓 AI 助理理解公司業務

    公司資料分散在近 30 個系統時,不同部門可能連「有多少客戶」都算出不同答案,光把資料整理好還不夠。IFS Copperleaf 用 Databricks Genie One 打造內部 AI 平臺 IONA,先整理財務等重要資料,其他資料則讓 AI 直接讀取,再由業務人員在對話中補充公司的定義。每項定義都有負責人,並由 AI Council 審核;許可權仍依照公司原有設定。文章也分享行銷分析、財務換算和客戶會議準備等用途,以及 70% 的啟用率,說明共同的業務定義如何讓不同團隊更容易取得一致答案。

    推薦理由:IFS Copperleaf 說明如何把高風險資料先整理好,再讓業務人員補充其他資料的意思,呈現企業匯入 AI 助理時治理與彈性的取捨。