跳到正文

全部動態

RSS
今日 4 則
11月20日週五
  1. Google AI Official Blog63

    Google 在 Gemini API 推出 Tool Retrieval,按需求載入工具設定

    AI 助理連線很多工具時,每次都送上所有工具的完整設定,會增加輸入 token,也可能讓工具選擇變得不準。Google 在 Gemini Interactions API 預覽推出 Tool Retrieval,讓模型先看到工具名稱和說明,等需要某項工具時才載入完整設定,並在同一次請求中完成搜尋與呼叫。開發者可以把常用工具先載入,其他工具延後載入;也能讓 Gemini 在伺服器端搜尋,或由自己的程式查詢工具清單。這項功能沒有額外費用,但載入的設定仍會按一般輸入 token 計費;官方表示,Gemini 3.6 及之後的模型都可使用。

    推薦理由:工具很多時,每次把完整設定都送進提示詞會增加 token 用量並拖慢選擇;Tool Retrieval 改為需要時才載入,適合瞭解大型工具庫的取用方式。

  2. Artificial Analysis57

    比較模型時,評測專案和權重不同,算出的分數也會不同。Artificial Analysis Data Playground 現在可讓使用者挑選多項基準、調整權重,再把結果畫成圖表;只有在指數內每項評測都有成績的模型才會取得分數,計分方式沿用 Intelligence Index 的方法。平臺也提供公式指標、依模型發布日期播放圖表、熱圖、分組箱形圖,以及可用工作表和儀錶板整理資料的工作區。這項功能提供給 Artificial Analysis Pro 使用者。

  3. Google Developers Blog80

    Google 說明 MaxText 如何用 Streaming DiLoCo 跨資料中心訓練大型語言模型

    大型語言模型分散到不同資料中心訓練時,網路速度慢會讓裝置停下來等資料同步。Google 在 MaxText 加入 Streaming DiLoCo,把模型切成多個部分,分批傳送引數更新,讓訓練和傳輸能同時進行。以 Qwen3-32B 為例,在 10 Gbit/s 網路下,每步訓練約 5.76 秒;一般資料平行訓練約 55.11 秒,原本的 DiLoCo 則約 7.55 秒。文章也提到,這種做法在測試中維持了模型訓練品質,並提供 MaxText 的設定方式。

    推薦理由:文章以 Qwen3-32B 在不同網路頻寬下的實測,比較三種訓練方式的耗時,呈現引數分批同步如何減少跨資料中心網路壅塞。

  4. CrewAI Releases43

    CrewAI 發布 1.15.44,新增可分享的版本化檔案

    CrewAI 1.15.44 新增一項功能,能把檔案存成有版本紀錄、可以分享的檔案。這次更新也修正多個問題,例如讓 AI 助理和團隊在流程檔案中的動作參照更正確,並限制 Pillow 開啟圖片時只接受 PNG、JPEG、GIF 和 WEBP。這些改動能讓檔案更方便儲存與分享,也改善了部分流程和圖片處理問題。

  5. Vercel Blog60

    Vercel AI Gateway 上線 Liquid AI 的 d1.2 與 d1.2-ultra

    需要從音訊或圖片中找出特定資訊時,單靠生成文字不一定方便整理答案。Vercel AI Gateway 現在提供 Liquid AI 的 d1.2 和 d1.2-ultra,這兩個決策模型會直接回傳結構化結果,可回答是或否、選出類別、依規準評分,也能辨認音訊內容或找出圖片物件的位置。d1.2 速度較快、成本較低;d1.2-ultra 則是 Liquid AI 準確度最高的決策模型。使用者可在同一個請求中提出多個問題,請求也會記錄在 AI Gateway 的紀錄中並計入預算。

  6. a16z38

    哲學家 Nick Bostrom 認為,安全地做出超級智慧,可能帶來生醫與抗老突破,讓現在活著的人大幅延長壽命;他估計,如果人類不再老化,壽命可能約有 1,200 到 1,400 年,甚至更長。他也提醒,花更多時間研究 AI 對齊,或許能降低 AI 帶來的生存風險,但延後發展也可能讓許多人錯過延壽機會。因此,他主張不要比真正必要的時間延後更久。

  7. ElevenLabs Official Blog50

    Candid Health 用 ElevenAgents 自動打電話查保險理賠問題

    保險理賠被拒時,醫院的帳務人員得打電話查原因,一通可能花上 10 分鐘到 1 小時。Candid Health 用 ElevenAgents 打電話詢問保險公司,找出拒賠原因和接下來該怎麼處理;一開始就處理了 12,860 通電話,替員工省下超過 850 小時,並成功解決 59% 的試辦電話。像是查出醫療人員在看診當天沒有完成保險公司的資格登記,修正這類問題就能避免後續理賠再被拒。客服和帳務團隊也能自己調整、測試 AI 助理,讓工程師專心處理系統穩定和擴充。

  8. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

  9. AWS Machine Learning Blog55

    AWS 示範用 Skyflow 保護 Amazon Bedrock AgentCore Gateway 的工具呼叫

    AI 助理查資料時,可能把客戶個資送到外部工具,也可能把工具回傳的個資帶進模型。AWS 示範把 Skyflow Detect 接到 Amazon Bedrock AgentCore Gateway,在資料送出前換成程式碼,回到 AI 助理前再依設定還原;若工具提供的是檔案連結,則改讓 AI 助理讀取去識別化副本。這套做法不必修改 AI 助理或工具的程式碼,也能在呼叫失敗時擋下未處理的資料。文章也提醒,檔案去識別化功能仍在預覽階段。

  10. AWS Machine Learning Blog80

    Amazon SageMaker AI 推出跨區域推論路由,區域容量不足時自動轉送請求

    某個 AWS 區域的 GPU 容量不夠時,模型請求可能逾時,即使其他區域還有空間也用不上。Amazon SageMaker AI 推出跨區域推論路由,讓應用程式透過同一個入口呼叫已經部署在不同區域或帳號的端點;本地端點狀況不佳時,路由器會把新請求送到其他可用端點,恢復後再逐步切回。端點擁有者也能設定跨區流量上限,避免外地請求擠壓本地服務。這項功能不支援串流回應,路由器本身不另收費,端點和 CloudWatch 指標仍依標準費率計費。

    推薦理由:SageMaker AI 會依端點健康狀態把新請求轉往其他區域,並在恢復後逐步切回;文中也說明重試條件與跨區流量上限。

  11. AWS Machine Learning Blog50

    Cisco 如何用 AWS AI League 帶 1,200 名工程師練習打造 AI 助理

    工程師看完簡報和示範,往往還是不知道怎麼自己動手做 AI。Cisco 和 AWS 用 AWS AI League 把學習變成闖關比賽:工程師參加實作課程、打造 AI 助理或調整模型,送出作品後能立刻看到分數,表現最好的選手再到臺上決賽。2026 年,Cisco 有 1,200 名工程師參加比賽,Nishanth Aluhonnu 在各階段都拿下第一名,贏得 AWS re:Invent 2026 的全程入場資格。 決賽時,選手不能修改程式、工具或提示詞,只能在每一回合前給 AI 助理一句簡短指示。Nishanth 第一回合落敗,第二回合改挑一項高分挑戰,勝過收集一堆低分硬幣的做法。這場比賽也讓工程師練習怎麼讓 AI 助理做決定、控制輸出內容,並在實作中學會新技能。

  12. OpenAI News82

    OpenAI 如何用 Performance Factory 找出並修復 ChatGPT 效能變慢

    ChatGPT 變慢時,工程師得檢視指標、紀錄和程式碼,找出原因再修復,過程既花時間,也需要熟悉服務。OpenAI 建立了 Performance Factory,讓 AI 助理在效能警報響起後接手調查、記錄發現並提出修正,再由工程師審核和部署;部署後,另一個 AI 助理會確認效能是否恢復。若判斷原因有疑點,另一個 AI 助理也會嘗試推翻原本的診斷。OpenAI 表示,這套流程運作剛超過 3 個月,追蹤了 1,700 多次調查,找出超過 600 起問題的根本原因。修正是否合適仍由工程師把關。

    推薦理由:OpenAI 說明效能警報如何一路交給 AI 助理調查、提修正,再由工程師審核部署,並在部署後確認是否恢復。

  13. Databricks Blog48

    Databricks 說明 Java4Shell 漏洞的防護與修補進度

    Java4Shell 是 OpenJDK 的漏洞。Databricks 表示,在漏洞公開前就已開始處理,先停用所有受支援 Databricks Runtime 版本中的問題程式碼來擋住攻擊,之後還會提供修補版。為了盡快套用防護,Databricks 已主動重新啟動受影響的叢集;使用無伺服器平臺的客戶會自動取得修補版,使用傳統叢集的客戶則需要重新啟動叢集。Databricks 表示,目前沒有證據顯示其產品、服務或客戶資料曾遭未授權存取。

  14. Databricks Blog54

    Databricks 說明合作夥伴如何用 Genie 免費額度在 Azure Databricks 推廣 AI

    企業想讓更多員工使用 AI,常會擔心人數增加後費用難以掌握。Databricks 說明,Azure Databricks 每位使用者每月有 $10 的 Genie 免費額度,並可設定預算門檻,超額使用時發出提醒或擋下新請求。Genie One 和 Genie Agents 對使用者免費至 2027 年 1 月 31 日;之後每月 $10 額度會由三種 Genie 服務共用。預算追蹤接近即時,但只是估算,實際費用可能略高或略低,進行中的請求也會完成;SQL 倉儲運算費另計。文章也介紹 Genie 如何連線 Microsoft Teams、Microsoft 365 Copilot、Excel 和 Copilot Studio,並沿用 Unity Catalog 的資料存取許可權。

  15. llama.cpp Releases39

    llama.cpp b12550 加入後端排程壓力測試

    llama.cpp b12550 加入一批測試,檢查模型運算工作交給不同硬體後,排程能不能照預期運作。測試會反覆嘗試不同工作組合,也加入短暫等待的操作,幫忙找出排程錯誤;其中一項測試也確認了修補方式能處理特定問題。這些改動能讓開發者更容易抓到 CPU、GPU 等不同後端的相容問題,減少測試漏掉錯誤的機會。

  16. Replit ⠕58

    讓更多 AI 助理一起工作很容易,讓牠們合作好才是難處。Replit 表示,Replit Missions 會用多個 AI 助理一起完成目標,最新研究則探討怎麼讓團隊合作順利:分工清楚、共享找到的資訊,並減少協調時間。測試中,表現最好的單一 AI 助理在團隊變大後反而退步;表現最好的 32 個 AI 助理團隊,則由一個協調者統整工作,而且它沒有傳訊息給任何成員。研究指出,團隊表現不能只靠成員各自厲害,也需要清楚分工和共享資訊。

  17. Google Developers Blog72

    Google 示範如何用 Tunix 和 Gemma 4 訓練多輪 AI 助理

    AI 助理玩棋盤遊戲時,如果只能一次猜一格,常會打很多次才找到目標。Google 示範用 Tunix 在 Cloud TPU 上訓練 Gemma 4,讓它每次出手後讀取棋盤回饋,再決定下一步。示範中的 Plane Strike 是 6x6 棋盤遊戲,AI 助理要找出藏起來的 8 格飛機。訓練 100 步後,在保留的棋盤測試中,勝率從 9.4% 提升到 95%,平均出手次數也從 22.44 次降到約 16 次。

    推薦理由:Plane Strike 的訓練過程呈現多輪工具呼叫如何配合環境回饋逐步修正策略,也提供勝率與出手次數的變化作為參考。

  18. Vercel Blog47

    Vercel CLI 現在能查帳單、下載發票和預覽費用

    想查團隊用了多少服務、發票在哪裡,或下期可能要付多少錢,現在可以用 Vercel CLI 處理。帳單相關指令統一放在 vercel billing 底下,可以檢視帳單概況、檢視和下載發票,也能預覽下一期帳單及各項費用。所有方案都能檢視帳單概況和發票紀錄;預覽下期費用則需要有效的付費訂閱,而且金額可能在帳單週期結束前改變。這些功能讓人可以直接在命令列整理帳務;更新 Vercel CLI 後就能開始使用。

  19. a16z48

    哲學家 Nick Bostrom 寫《Deep Utopia》,想思考超級智慧發展到極致後,人類生活會變成什麼樣子。科技進步可能影響工作,讓人想到要不要轉行或重新受訓;但他認為,更深的問題是:如果工作不再是生活的中心,人還要追求什麼?未來也可能需要某個人、團體,甚至全人類一起決定想過怎樣的生活。這是艱難的選擇,因為人類也可能用各種方式改變自己。

  20. AWS Machine Learning Blog75

    Amazon SageMaker HyperPod 推出訓練問題診斷與監控功能

    大型模型分散在許多 GPU 上訓練時,只要一張 GPU 或網路出問題,整個工作就可能變慢,找出原因也得翻查多套監控工具。Amazon SageMaker HyperPod 新增監控與診斷功能,會比較同一訓練工作中的 GPU 使用率、溫度和耗電等狀況,找出和其他 GPU 不同的裝置,也會標示硬體錯誤、網路變慢、過熱或降速等問題,並列出受影響的工作與裝置。功能支援 EKS 和 Slurm,可將資料送到 CloudWatch 或 Prometheus;進階指標可自行開啟,但會增加資料量與相關費用。

    推薦理由:新功能把 GPU、網路和主機的狀況放在同一處檢查,並標出異常裝置與可能原因,呈現大型訓練排查問題的做法。

  21. Anthropic85

    Anthropic 執行長 Dario Amodei 在談 IPO 時表示,公司財務狀況因此更強,也會繼續把 AI 安全放在重要位置。他說,Claude 已協助生物與醫學研究人員加快工作,但目前成果仍屬早期,實驗和臨床試驗還需要時間。Anthropic 承諾,會依照確認 AI 安全、並能維持人類控制所需的時間,安排 AI 系統的訓練與部署,不因商業或政治壓力改變步調。

    推薦理由:Anthropic 執行長將 IPO 帶來的財務實力連結到 AI 安全承諾,並說明公司打算如何安排訓練與部署步調。

  22. a16z46

    Nick Bostrom與a16z的Eddy Lazzarin、Elena Burger討論超級智慧,以及他提出的「深度烏托邦」概念。Bostrom認為,延後超級智慧也有風險:每多等一年,可能就會晚一年出現能延長壽命、減少痛苦的醫療突破。他也認為,AI帶來的好處可能不只讓人活得更久、生活水準更高,還能開啟智力、情感、創意與人際連結的新可能。這場對談也談到人類如何安全地走向超級智慧,以及未來願景為何現在就很重要。

  23. AWS Machine Learning Blog72

    AWS 示範如何在 Amazon EKS 上讓多個工作負載共用 NVIDIA GPU

    GPU 記憶體還有空間時,使用者仍可能因為每個工作負載都得獨佔一張 GPU 而排隊。這篇教學示範如何在 Amazon EKS 安裝 NVIDIA Run:ai GPU Fractioning,讓兩個工作負載共用一張 NVIDIA A10G,並各自設定 8 GiB 記憶體上限。實測中,兩個工作負載都在同一張 GPU 上成功使用 6 GiB;另一個嘗試使用 9 GiB 的工作負載則收到記憶體不足錯誤。這能幫忙確認記憶體限制是否生效,但不代表運算速度會提升,也不能取代隔離與效能測試。

    推薦理由:文章用實測說明兩個工作負載如何共用一張 A10G,並交代記憶體上限、監控方式與正式部署前需要留意的隔離和效能條件。

  24. Aravind Srinivas70

    AI 助理常要重複處理類似工作,使用者也得自己新增技能。Perplexity Computer 現在會讀取過去的工作紀錄,找出一再出現的做法;證據夠多時,就提議新增或更新技能。每位使用者都能取得的內建技能,還會先用失敗情境測試並經工程師檢查,才會正式推出。在一項為期 8 週的隨機測試中,72.9% 的使用者至少得到一項個人技能,手動新增技能的使用者則有 6.5%;工具呼叫失敗減少 11%,使用者不滿意的對話減少 7.6%,成本和速度沒有可測量的變化。

    推薦理由:八週隨機測試比較自動整理技能與使用者手動新增的情況,並呈現工具呼叫失敗和使用者不滿意對話的變化。

  25. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。

  26. Databricks Blog71

    Databricks Genie Code 可一次把整個資料夾的 Tableau 和 Power BI 報表搬到 AI/BI

    把多年累積的 Tableau 或 Power BI 報表逐份搬家,可能得花上好幾個月。Databricks 現在讓 Genie Code 一次處理整個資料夾:先把報表放進 Unity Catalog volume,再從草稿儀錶板執行 /importBI,選好目錄和資料表綱要後,系統就會在背景逐份轉成 AI/BI 儀錶板。每份報表都有進度可追蹤,也能個別檢查和修改。完成不代表數字一定相同;切換使用者前,仍要比對原報表的數字、篩選條件和圖表。

    推薦理由:Databricks 說明如何把整個資料夾的 Tableau 或 Power BI 報表一次匯入 AI/BI,也提醒遷移後要逐份核對數字與篩選條件。

11月19日週四
  1. LangChain Blog71

    LangSmith 推出 Tool Gateway,集中管理 AI 助理的工具許可權

    AI 助理開始在背景定時工作或回應事件時,團隊需要知道它能用哪些工具、代表誰操作,也要留下每次呼叫的紀錄。LangSmith 推出公測中的 Tool Gateway,讓 AI 助理透過同一個網址連線核准的工具,並可依使用者或助理身分套用憑證。管理者能限制工具使用、要求敏感操作先經人工確認,也能在 LangSmith 檢視工具、使用身分、結果和耗時等紀錄。這讓團隊更容易控管工具存取,並在需要時查明 AI 助理做過哪些操作。

    推薦理由:Tool Gateway 把工具許可權、使用者或助理身分與呼叫紀錄集中管理,呈現團隊如何讓背景執行的 AI 助理更容易接受管控與稽核。

  2. Y Combinator58

    前沿 AI 進步很快,政府該不該出手放慢發展,成了這場辯論的核心問題。曾在 Anthropic 和 OpenAI 做研究的 Jacob Coxon,與經濟學家 Robin Hanson 各自說明看法,談到 AI 可能帶來的風險、工作自動化,以及政府該如何訂規則。兩人也討論用責任制度取代部分管制、監管算力的影響,以及 AI 實驗室是否需要類似 FAA 的監管機構。這場對談呈現了減速與監管主張背後不同的考量。

  3. cloudflare blog74

    Cloudflare 分析 2026 年美國期中選舉的網路流量與攻擊

    美國選舉網站在投票日可能湧入大量民眾查詢,也可能遭到網路攻擊。Cloudflare 統計,2026 年 11 月 3 日州與地方選舉網站的流量約有 6.02 億次請求,是 11 月 1 日的 130 萬次的 4 倍多;當天受保護的 1,400 多個選舉相關網站沒有發生重大阻斷服務攻擊。整個選舉週期中,最常見的威脅是網站漏洞攻擊,攻擊高峰在 10 月下旬。Cloudflare 建議選舉機關全年維持防護,並預先準備足以應付流量暴增的網站裝置。

    推薦理由:Cloudflare 的觀測顯示,選舉網站面對的主要威脅是漏洞掃描,且攻擊高峰早於投票日,有助掌握防護時間與方向。

  4. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  5. PostgreSQL Official News81

    PostgreSQL 19 推出,資料整理時可不中斷讀寫

    資料表長期更新和刪除資料後,會累積用不到的空間;整理時又可能讓使用者暫時無法讀寫。PostgreSQL 19 新增 REPACK (CONCURRENTLY),可整理資料表並配合索引調整資料順序,同時讓讀寫繼續進行。這次更新也加入 pg_plan_advice,協助固定或測試查詢計畫;使用 WAIT FOR LSN,則可讓備用伺服器等到收到剛寫入的資料再回應查詢。此外,INSERT ... ON CONFLICT DO SELECT 可簡化「有就取出、沒有就新增」的操作。

    推薦理由:PostgreSQL 19 同時改善資料整理、查詢穩定性與跨伺服器讀取,可看出這次更新如何回應大型工作負載的管理需求。