跳到正文

全部動態

RSS
今日 4 則
11月18日週三
  1. vLLM58

    AI 模型在長對話中會用掉大量記憶體,草稿模型也需要推論系統配合才能投入實際使用。vLLM 團隊公佈為 Kimi K3.1 Pro 設計的 DSpark,這項工作由 Inferact 與 Red Hat Speculators 團隊共同開發。每個草稿層都使用 2K 的滑動視窗,讓草稿 KV 記憶體用量維持在固定範圍,即使上下文長達 1M tokens 也一樣。HumanEval 測試中,DSpark 的接受長度比預覽版提高最多 30%;vLLM 重新設計的 KV 管理也支援分離式推論與不同的平行配置。

  2. a16z46

    The Boring Company 當時還沒想好怎麼製造噴火器,就先賣出 50,000 頂帽子;Elon Musk 接著履行承諾,要賣噴火器。發現不少國家不準寄送後,他把產品改名為「Not a Flamethrower」(不是噴火器)。Steve Davis 做了預購頁面,20,000 支在 4 天內以每支 $500 售罄,總額達 $10 million。團隊之後在洛杉磯租下倉庫,才開始摸索製作方法。當時周邊商品是 The Boring Company 唯一的收入來源,這段經歷顯示公司先靠商品銷售籌到收入,再處理製造問題。

  3. LangChain Blog58

    LangChain 分享打造主動型 AI 助理的經驗

    AI 助理如果只等人下指令,就很難主動處理長期工作;但一直傳訊息提醒人,也會讓人覺得煩。LangChain 分享兩個內部 AI 助理的做法:銷售助理會留意新客戶、草擬郵件並整理每日摘要,工程助理則會草擬程式碼更新,並檢查新送出的更新。它們會根據事件或排程開始工作,也會從過去資料、人的修改和後續結果中累積記憶。文章指出,好的記憶能幫助 AI 助理少犯重複錯誤;訊息則應簡短、方便檢查,並出現在人們平常工作的地方,讓人逐步放心交出更多事情。

  4. openrouter blog77

    OpenRouter 管理金鑰可限縮到單一工作區並設為唯讀

    管理金鑰若能操作整個組織,一旦外洩或被誤用,其他團隊的資料也可能受影響。OpenRouter 現在讓每把金鑰分別設定適用範圍和操作許可權:範圍可限於單一工作區或涵蓋整個組織,許可權則可設為唯讀或讀寫。唯讀金鑰能檢視範圍內的資料,但不能新增、修改或刪除;工作區管理員也能建立只管理自家工作區的金鑰。這讓報表和稽核工具可以讀取用量,團隊的自動化工具也能管理自己的 API 金鑰,同時降低誤用或外洩時影響其他工作區的風險。金鑰建立後不能再更改範圍或許可權,要調整就得建立新金鑰並刪除舊金鑰。

    推薦理由:OpenRouter 把管理金鑰的可用範圍和操作許可權拆開設定,讓團隊自動化與稽核工具只取得工作所需的許可權。

  5. AWS Machine Learning Blog61

    AWS 說明企業如何分階段管理 AI 助理的安全與責任風險

    AI 助理會自己使用工具、讀取資料並分好幾步完成工作,因此一次答錯可能影響後續流程,也可能接觸不該看到的資料。AWS 提出三階段做法:先訂出風險等級、許可權和管理規則,再在試行時加入資料保護、人工審核與操作紀錄,最後持續檢查公平性、安全和系統表現。文中以銀行處理貸款為例,說明高風險決定可交由信貸人員覆核,並在評估未達門檻時擋下部署。文章也提供評估技能,協助團隊檢視目前做法;這份路線圖提供關鍵問題,沒有逐步實作說明,也不是法律或合規建議。

    推薦理由:文章把平臺團隊的防護工作與應用團隊的建置責任分成三個階段,並以銀行貸款流程說明如何逐步檢查風險。

  6. AWS Machine Learning Blog43

    LoanPro 如何用 Amazon Bedrock 打造 AI 貸款服務助理

    貸款客服接到電話時,常得在好幾個畫面裡翻找付款紀錄、貸款餘額和客戶過去的問題,讓通話變久,也可能因為客服經驗不同而有不同處理方式。LoanPro 和 AWS、AllCloud 合作打造 AI 助理,能整理借款人的帳戶狀況、回答追問,並建議客服接下來可以採取的行動。舉例來說,客服開啟帳戶就能看到近期狀況摘要,不必自己逐筆拼湊資料;這套系統已在實際服務中使用。AllCloud 的案例資料顯示,客戶通話時間最多減少 15%。

  7. Replit Blog78

    Replit 推出 Missions,讓多個 AI 助理分工完成複雜任務

    團隊想完成大型專案,常會卡在人手和時間不夠。Replit 推出 Missions,使用者先說明目標、預算和哪些動作要先核准,接著由多個 AI 助理分工規劃、開發、測試和修改;完成進度與待核準事項都能檢視。Replit 用它打造自家的監控平臺 DataCat,花 2 天、預算上限 $3,000,完成儀錶板、警示和追蹤功能;測試時,平臺在 38 秒內找出刻意加入的資料庫錯誤。Replit 表示,DataCat 的自架版本也已開放原始碼。

    推薦理由:Missions 把多個 AI 助理分工執行、預算限制與人工核准放進同一流程,文中 DataCat 案例也呈現這套做法如何處理監控平臺建置與效能檢查。

  8. Databricks Blog56

    Databricks 在 Azure Government 開放新版平臺 Beta

    政府機關要使用新的資料與 AI 工具,常得同時滿足嚴格的安全與合規要求。Databricks 宣佈 Azure Government 上的新平臺進入 Beta,已提供 Unity Catalog、Databricks SQL 和無伺服器運算,並預設啟用加強監控、叢集自動更新與加密等防護;客戶資料只會存放和處理於美國政府雲端區域。FedRAMP Class D 與 DoW IL5 授權仍在申請中,預計於 2027 年初取得;Beta 目前僅供非正式環境使用,完整 AI 功能也還在規劃中。

  9. Databricks Blog58

    Databricks 和 LiveRamp 讓客戶在資料原處取得 RampID

    過去要把客戶資料比對成 RampID,團隊得先把個人資料送到外部服務,再等結果檔案回來,還要管理額外的資料副本。Databricks 和 LiveRamp 推出嵌入式身分比對服務:客戶把資料留在自己的雲端儲存空間,透過受治理的 Clean Room 執行比對,結果只寫回客戶能讀取的資料表,個人資料也會在輸出前移除。LiveRamp 看不到客戶的資料表或比對結果,但雙方都能檢視執行狀態與診斷紀錄。結果會保留 30 天,想長期使用就要自行複製儲存。

  10. Databricks Blog64

    Databricks 與 Google Cloud 打通 Unity Catalog,讓雙方能讀取同一份資料

    同一份資料放在不同雲端平臺時,常得複製一份才能分析,資料治理標籤也可能無法跟著移動。Databricks 與 Google Cloud 宣佈,使用者現在能透過 Unity Catalog 和 Google Cloud 的 Lakehouse 互相查詢同一份資料,不必複製;例如 Databricks 可以讀取 Google Cloud 管理的 Iceberg 資料表,BigQuery 也能讀取 Unity Catalog 管理的資料表。雙方也推動讓目錄分享標籤,像是資料屬於財務領域或含有個人資料等資訊,移到另一個目錄後仍能保留,方便治理資料並提供 AI 助理查詢所需的背景。

    推薦理由:Databricks 與 Google Cloud 讓同一份資料能跨平臺查詢,並分享治理標籤,呈現開放目錄如何減少重複管理。

  11. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

  12. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

  13. a16z43

    蓋大眾運輸常要花很多錢,也得等很久。The Boring Company 用 Musk 在 SpaceX 學到的做法,逐項檢查需求、刪掉不必要的部分,再簡化流程、加快進度並匯入自動化,來提升效率。推文列出的數字顯示,原本的 Vegas Loop 每英里路線約花 $62 million,美國輕軌平均約 $160 million;規劃中的 Nashville Music City Loop,估計每英里約 $20 million。這些數字呈現出地下交通工程可能大幅降低成本的方向。

  14. Y Combinator70

    銀行家、顧問和投資人需要追蹤許多公司的訊息,還得判斷哪些新聞會影響工作。Model ML 為他們提供在公司內部系統和資料中運作的 AI 助理;有新訊息時,AI 助理會判斷是否重要、分析可能影響,並在幾分鐘內整理成符合該公司的格式。Y Combinator 表示,Model ML 完成 2.5 億美元 B 輪融資,估值為 15 億美元;第三季營收年增 12 倍,每日活躍使用者年增 26 倍。

    推薦理由:這筆融資訊息也交代 Model ML 如何把 AI 助理放進金融機構的內部系統,並主動分析金融從業者關注公司的新聞。

  15. Aravind Srinivas80

    處理複雜研究工作時,逐一交給不同模型可能花上不少時間。Perplexity 推出 Multiagent,可在 Computer 和 Teammates 中使用,開啟 Effort level 的切換選項後,讓 Fable 5.2 同時排程 Gemini 4 Carbon、GPT 6.1 Sol 和 Opus 5.5。官方表示,這適合財務研究、預測、預測市場,以及一起分析多份申報檔案;目前所有 Max 使用者都能在網頁版使用,手機版支援即將推出。

    推薦理由:Perplexity 讓 Fable 5.2 平行排程多個模型處理複雜任務,並列出財務研究與批次分析檔案等適用情境。

  16. NVIDIA Newsroom Press Releases79

    NVIDIA 推出 Nemotron for Science,讓 AI 助理協助規劃科學實驗

    研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。

    推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。

  17. AWS Machine Learning Blog63

    ArisGlobal 如何用 Amazon Bedrock 提示詞快取降低推論成本

    每新增一家企業客戶,ArisGlobal 的共用提示詞就會變長;如果每次請求都重新處理,推論成本也會跟著上升。ArisGlobal 原先先快取每個案件的 PDF,後來改成先放共用提示詞,再設快取檢查點,讓不同案件和客戶的請求都能重用這段內容。每月處理超過 19 billion tokens 時,這種做法讓整體推論支出約減少 40%,也讓企業客戶數增加約 15%,而 EU 跨區推論設定維持不變。

    推薦理由:ArisGlobal 的實例呈現提示詞快取該如何取捨:把能跨案件重用的共用字首放在快取檢查點前,降低成本並支援更多企業客戶。

11月17日週二
  1. a16z38

    Boring Company 執行長 Steve Davis 說,如果有一天能在半小時內從華盛頓特區通勤到拉斯維加斯,他就退休。要做到這點,得先把隧道挖得夠便宜:公司自 2017 年成立以來,已把每英里隧道成本降到 1,000 萬美元以下,Davis 預期還能降到 400 萬至 500 萬美元,低於許多都市高速公路多闢一條車道的成本。若通勤時間能從兩小時縮短到十分鐘,離市區較遠、價格較低的土地也可能適合蓋住宅,隧道未來甚至能連線不同城市,讓更多地方變成方便居住的選擇。

  2. Y Combinator35

    大企業匯入 Salesforce、ServiceNow 或 SAP,最難的常不是安裝軟體,而是把公司的需求整理成能設定、能上線的做法。Auctor 正在打造協助企業匯入軟體的 AI 平臺。加入 YC 後,Auctor 從頭重寫產品,使用量因此成長 5–10 倍;創辦人也分享,他們曾在產品還沒準備好前就辦了數百場展示,後來決定重寫雖然冒險,卻成了重要轉折。他們認為企業仍需要 Salesforce 和 SAP,Auctor 是在這些平臺上協助匯入,而不是取代它們。

  3. Aravind Srinivas63

    想在瀏覽器裡探索馬裡亞納海溝,不一定要安裝遊戲。Perplexity 團隊成員用 Fable 5.2 製作了 HADAL,玩家從陽光照得到的珊瑚礁出發,搭上潛水艇一路往深處前進,沿途掃描 18 個發現。畫面中的地形、海帶、海洋生物、潛水艇和聲音都是生成出來的,作者也自行撰寫 WebGPU 畫面,不靠遊戲引擎或 Three.js。整個作品放在一個 373 KB 的 HTML 檔案裡。

    推薦理由:HADAL 把海溝探索做成瀏覽器裡可玩的體驗,並以自行撰寫的 WebGPU 畫面呈現;單一 HTML 檔僅 373 KB,具體展示了生成式工具如何產出完整互動場景。

  4. Arena.ai52

    要測試 AI 助理能不能做出比已發表研究更好的方法,不能讓它直接照著論文找答案。FrontierCS 2 是一項基準測試,要求 AI 助理在看不到原始論文、也不能上網的情況下,挑戰已發表的方法。UC Berkeley 的博士生到 Arena HQ 介紹這項測試,也談到成本和表現如何取捨,以及搜尋取代強化學習、重用快取的圖演演算法結果等評測漏洞。內容提醒,設計可靠的測試仍需要研究者判斷。

  5. AMD60

    打造大規模 AI 算力需要 GPU 與相關基礎建設。AMD 恭喜 TensorWave 達成一項重要協議,將以 AMD Instinct MI455X GPU 為 OpenAI 提供算力;AMD 也表示 Helios 正在為大規模前沿 AI 打造基礎。原文沒有說明協議細節、部署時間或算力規模。

    推薦理由:這項協議點出 AMD Instinct MI455X GPU 將用於支援 OpenAI,也提到 Helios 在大規模前沿 AI 的基礎建設中扮演的角色。

  6. Unsloth AI Releases76

    Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援

    AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。

    推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。

  7. Databricks Blog50

    Databricks Lakebase Postgres 如何靠快取,避免查詢直接讀取物件儲存

    一般人會擔心,Postgres 把資料放在物件儲存裡,查詢就得等很久。Lakebase Postgres 的做法是先找電腦裡的快取,找不到再問 pageserver;只有兩邊都沒有,才去物件儲存找資料。實際上,約 99.46% 的頁面讀取都由電腦本機快取處理,物件儲存平均每秒只收到約 39 次請求。比較少見的情況,是很久沒使用的資料庫剛醒來,或有人還原舊資料;第一次讀取可能較慢,資料放進快取後,後續讀取就會走較快的路徑。這讓 Lakebase Postgres 能把資料放在物件儲存,同時維持快速查詢。

  8. OpenAI News44

    OpenAI 攜手智利政府,培訓公務員並協助新創發展 AI

    OpenAI 與智利政府合作,希望讓 AI 能用在公共服務,也幫公務員學會怎麼使用和檢查 AI 工具,並提醒他們保護敏感資料、由人負責把關。雙方也會探索如何協助智利新創取得相關資源、技術建議和業師指導,讓他們開發能改善民眾生活的 AI 應用。接下來,雙方代表預計會一起排定工作順序和目標;合作備忘錄沒有承諾投資或採購,實際活動與資源還要另外商定。

  9. OpenBMB56

    替影片配上另一種語言的聲音,常得分別處理字幕、配音和時間對齊。社群開發者做了 VoxaDub,能先轉錄對話並對齊時間,再用 Hy-MT2 翻譯,接著以 VoxCPM2 參考各說話者的乾淨音訊來生成配音,並調整語句長度以配合畫面。完成後可把配音和原本的背景音合在一起,也能另外選擇唇形同步。模型設定完成後,配音可全程在本機執行;直播配音仍在實驗階段,時間調整有助於對齊,但不保證完全同步。

  10. NVIDIA Newsroom Press Releases76

    NVIDIA 董事會成立國安與出口管制監督委員會

    先進晶片牽涉國家安全與跨國貿易,NVIDIA 董事會因此成立常設委員會,負責監督公司的國安政策、出口管制合規和全球貿易風險管理。公司原有的國安團隊與全球貿易合規團隊,將直接向委員會及臨時執行長 Colette Kress 回報日常工作;委員會也會聘請外部專家提供法律、國安和貿易合規方面的協助,並至少每季開會一次。

    推薦理由:NVIDIA 將國安政策、出口管制與全球貿易風險交由董事會委員會監督,呈現公司如何把相關合規工作納入董事會治理。

  11. PostgreSQL Official News48

    Navicat 推出 Navicat 18 for PostgreSQL,新增 AI 輔助編輯與資料遮罩

    管理 PostgreSQL 資料庫時,整理資料、修改查詢和保護敏感資料都可能很花時間。Navicat 推出 Navicat 18 for PostgreSQL,新增 AI 輔助功能,可幫資料欄位填入、翻譯或分析內容,也能協助設計資料表;SQL 編輯器則能找出語法問題,並幫忙整理查詢。新版本還能把真實資料換成看起來合理的假資料,供測試使用,也加入匯入 Parquet 檔案、批次修改資料和追蹤資料庫指令等功能。使用者可下載 14 天免費試用版。

  12. PostgreSQL Official News58

    Apache Cloudberry 2.2.0 更新至 PostgreSQL 14.10 核心

    大型分析資料庫要跟上 PostgreSQL 的修補,也得照顧不同作業系統和硬體平臺。Apache Cloudberry 2.2.0 把核心從 PostgreSQL 14.4 更新到 14.10,納入多項上游安全修補,並加入六種擴充功能與多項查詢改進。這個版本支援 Rocky Linux 8、9、10 和 Ubuntu 22.04、24.04,Ubuntu 20.04 則不再支援;安裝套件也支援 x86_64 和 ARM64。