跳到正文

#Meta

RSS
今日 0 則
11月22日週日
  1. AWS Machine Learning Blog72

    AWS Quick 加入 Meta 廣告連接器,可用 AI 助理分析與管理廣告

    行銷團隊常要從廣告平臺、庫存資料和其他檔案各自匯出資料,再手動整理成報告,想調整廣告時還得回到平臺操作。AWS Quick 新增 Meta 廣告連接器,讓使用者用日常語言分析成效、準備活動和素材,也能把廣告資料與其他資料來源放在一起做成儀錶板、檔案或簡報。它也能建立或修改廣告帳戶中的內容;每次執行這類操作前,Quick 都會先詢問使用者是否同意。

    推薦理由:AWS Quick 的 Meta 廣告連接器把成效分析、素材規劃與廣告操作放進同一個工作流程,並以操作前確認降低誤改帳戶的風險。

11月21日週六
  1. Arena.ai44

    LMSYS Arena 更新了 Arena Alignment Index,調整偵測 AI 助理出錯的方式,希望涵蓋更多情況、判斷更可靠。這份指數會看 AI 助理在真實使用情境中,是否擅自做事、謊稱工作已完成,或把使用者沒說過、沒做過的事算到使用者頭上。新版排名中,OpenAI 包辦前七名;Claude Fable 5.2 首次上榜排第 8,Kimi K3.1 Pro 是進步幅度最大的開放模型,也排在第 9。這提醒我們,模型排名不只看能不能回答問題,也要看它會不會越權或誤報工作狀態。

11月20日週五
11月19日週四
  1. Meta Engineering76

    Meta 用標準模型模板,把廣告排序模型改進推廣到整個系統

    Meta 的廣告排序模型種類很多,逐一套用新方法既耗時,也容易在不同模型上出現問題。Meta 用標準模型模板整理出一小組可重複使用的模型設計,先在有代表性的模型上測試新方法,再把通過檢查的改動加入模板,推廣給使用這些模板的模型。Meta 表示,這套做法讓每個模型所需的工程時間減少 92%,兩年來推出超過 5000 種技術與模型組合,離線模型品質平均提升 0.63%,線上成效累計提升 0.86%。模板也讓 AI 助理有較明確的設計範圍,可協助提出想法、進行實驗和找出問題。

    推薦理由:Meta 說明標準模型模板如何把逐一調整模型的工作,改成在代表性模型上驗證後推廣,並分享兩年來的工程時間與模型成效變化。

  2. Meta Engineering74

    Meta 如何用 AI 助理把廣告排名模型的改進推廣到更多模型

    一種機器學習改進方法,往往不能直接搬到另一個廣告排名模型上,工程師得花時間逐一調整,訓練也會消耗大量運算資源。Meta 用 AI 助理找出值得嘗試的模型、調整技術做法、安排訓練工作,並協助診斷和處理失敗;工程師仍會審查重要決定,並核准要推出的模型。Meta 表示,AI 助理目前負責超過 60% 的技術推廣工作;在部分模型與技術組閤中,訓練運算量中位數減少 4 倍。這套做法希望讓經過驗證的改進更快用到更多模型。

    推薦理由:文章拆解 AI 助理如何找出可套用的技術、調整模型並管理訓練工作,呈現大規模推廣機器學習改進的方法。

  3. Arena.ai42

    LMSYS Arena 比較了 Muse Ember、GPT-6 Luna 和 Claude Haiku 5.5 在實際工作任務上的速度、表現和成本。Muse Ember 完成一項任務平均花 27 秒,另外兩款分別要 5.8 分鐘和 1.9 分鐘;它的 Agent Arena 分數提升 2.3%,也高於對手的 1.4% 和 0.4%。每項任務成本則是 1.9 美分,低於另外兩款的 7.0 美分和 6.9 美分。這些結果讓 Muse Ember 在三項比較中都領先,顯示它處理實際工作任務時更快、成本也更低。

11月18日週三
  1. PyTorch67

    想讓模型學會特定領域的內容,開發者常得先處理模型格式轉換。PyTorch 官方表示,現在可用 NVIDIA NeMo AutoModel 在領域資料上微調 Meta 的 Muse Spark Open,並直接使用 Hugging Face 的模型檔,不必轉換格式。工具也能直接進行 SFT 和 LoRA 微調,方便快速嘗試不同產業的用法。Muse Spark Open 是推理模型,也能理解音訊、影片、圖片和檔案;文中另提供可下載的 NVIDIA NIM。

    推薦理由:Muse Spark Open 可直接用 NVIDIA NeMo AutoModel 進行領域資料微調,並支援 SFT 與 LoRA,呈現模型訓練工具如何減少轉換步驟。

  2. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

11月17日週二
  1. PyTorch Core Releases35

    Dynamo 修正單行函式與類別名稱作用域錯誤

    開發者發現 Dynamo 在處理只有一行的函式或類別時,會因為沒有「縮排結束」的標記,導致名稱快取沒被清除,後面的程式碼會被誤判成屬於前一個名稱(例如 def f(): 內的 return 1 被記成 E.f)。這次的修正在偵測到新行後,如果下一個重要符號不是縮排,就把那個名稱的作用域移除,同時保留原本的名稱本身,並正確忽略註解與空白行。開發團隊也加了回歸測試,確保單行函式、類別、疊加定義、裝飾器等情況都能正常運作。這樣一來,Dynamo 的程式分析就不會再因為單行定義而產生錯誤的名稱標記。

  2. Arena.ai48

    LMSYS Arena 的 Code Arena: WebDev 追蹤五款新模型加入後,模型價格和寫網頁程式表現的關係如何改變。其中 Muse Ember 表現影響最大:每次回答約 3 美分,分數達 1608;同價位先前最佳是 1438。推文估計,Muse Ember 對上先前最佳模型時,約有 73% 的機會勝出。這表示它以相近的低價,做出更好的網頁程式表現,也改變了這項評測中的價格與表現比較。

  3. Databricks Blog68

    Databricks 推出 AI Index,追蹤企業採用哪些 AI 模型及其成本

    企業可選的 AI 模型越來越多,光看模型表現或每個 token 的價格,很難知道哪種選擇最適合手上的工作。Databricks 推出公開的 AI Index,整理企業使用模型的情況與花費,也用實際程式開發任務比較不同模型和 AI 助理工具組合的成功率與每項任務成本,並計畫每週更新。資料顯示,開放權重模型在企業流量中的佔比從 7 月的 7.3% 升到 11 月的 30.9%;有些模型 token 單價較低,完成任務卻可能花更多錢。Index 也提醒企業按自己的工作內容比較品質和成本,因為測試結果不一定適用所有團隊。

    推薦理由:Databricks AI Index 把企業採用情況和程式任務的品質、成本放在一起比較,呈現模型選擇如何隨工作需求改變。

11月16日週一
  1. Arena.ai58

    Arena 公佈的榜單顯示,Qwen4-Max 在中文模型中排名第一,整體實驗室排名第五;在 Agent Arena 首次登場就排第 14,前一代 Qwen3.8-Max 則排第 39。這項結果來自 14.7k 次真實任務操作紀錄,整體表現提升 7.5%。四項指標都比前一代進步,其中「好評相較抱怨」提升 13%,「確認成功」提升 9%;在工作、聊天和程式任務的排名也都進入中文模型前列。

11月14日週六
  1. Arena.ai45

    LMSYS Arena 本週公佈多款模型在不同競賽的表現。Claude Fable 5.2 (Max) 在 Agent Arena 排名第 1,根據 7.8k 次真實使用記錄,淨改善幅度為 +30.5%;Gemini 4 Hydrogen (High) 則是前 10 名中速度最快的模型,每個常見步驟約需 7.3 秒。Muse Ember (Max) 以每項任務 $0.03 的中位成本登上 Code Arena: WebDev 第 37 名;Inkling 2 Small 則以 1647 分拿下該榜開放權重模型第 1。這些排名讓人能比較模型的表現、速度與成本;推文也提到,採用 Apache 2.0 的開放權重即將推出。

  2. Meta Engineering75

    Meta 說明如何讓 Android Cuttlefish 在 Apple silicon 的 Mac 上執行

    Android 虛擬裝置原本只能在 Linux 上執行,使用 Mac 開發的人因此得在兩種模擬器之間切換,測試結果也可能和實際裝置有落差。Meta 調整 QEMU 和 Cuttlefish,讓它們能在 Apple silicon 的 macOS 上運作,也補上 Mac 原生畫面、觸控操作、建置與簽署支援。開發者因此能在 Mac 上使用較貼近實機的虛擬裝置,並與其他開發者及 CI 使用相同環境。Meta 已分享 QEMU 分支和 AOSP 修補檔供社群使用,也正在探索將改動送回上游。

    推薦理由:文章拆解 Cuttlefish 在 Apple silicon 上原生執行的主要改動,能幫助讀者理解 Linux 虛擬裝置框架移植到 macOS 時會遇到哪些工程問題。

11月13日週五
11月12日週四
  1. vLLM Official Blog70

    vLLM 團隊如何把 Qwen3-0.6B 在 TPU v7 上的 RL 訓練縮短到 56 秒

    小型模型計算量不大,但訓練時仍要等待資料傳送、工作排程和快取處理,整個流程可能因此變得很慢。Meta 團隊在 64-chip Google Cloud TPU v7 上,使用 vLLM、Tunix 和 MaxText 調整 Qwen3-0.6B 的 RL 訓練流程,讓每輪從產生回答到更新模型的時間,從約 100 分鐘降到最快 56 秒,並保留 8,192-token 的回答上限。文章也整理哪些調整有效、哪些沒有帶來明顯改善,並提供已合併到開源專案的設定與重現方式。

    推薦理由:文章拆解小型模型訓練中,主機排程、同步與快取如何拖慢整個流程,並以逐步最佳化的實測結果呈現各環節的影響。

  2. LMSYS Org Blog71

    LMSYS Org 成立 SGLang 聯盟,推動開源 AI 推論發展

    AI 推論越來越耗用運算資源,怎麼讓模型在不同硬體上跑得更有效率,成了業界共同面對的問題。LMSYS Org 成立 SGLang 聯盟,邀請 NVIDIA、AMD、Intel、Google、Meta 等創始成員與 SGLang 維護者一起討論專案方向,並合作開發。成員每年參加兩次路線圖會議,也能透過工程經驗、實際部署回饋和測試資源投入合作;技術決策與程式碼是否接受,仍由 SGLang 維護者負責。聯盟希望讓共同的需求轉成工程工作,並公開路線圖與進度。

    推薦理由:SGLang 聯盟讓多家硬體與基礎設施團隊定期交流推論需求,並把共同方向帶進工程合作,呈現開源專案協調發展的做法。

11月11日週三
  1. Meta Engineering81

    Meta 如何打造 TLX,讓工程師更容易安排 GPU 工作

    GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。

    推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。

  2. Meta Engineering74

    Meta 推出 Your algorithm,讓使用者自訂 Facebook Feed 與 Reels 推薦

    Meta 推出 Your algorithm,讓使用者以自然語言新增或排除興趣,調整 Facebook Feed 與 Reels 的推薦內容。 - 偏好管理:介面列出「Interested In」與「Not Interested In」清單;使用者可新增、移動或移除專案,變更會套用至 Feed 與 Reels。

    推薦理由:Meta 說明明確興趣如何進入推薦流程,以及新增與排除偏好如何透過排序、快取更新和 LLM 檢查影響 Feed 與 Reels。

  3. LMSYS Org Blog83

    SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

    GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

    推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

11月10日週二
  1. Vercel Blog48

    Muse Ember 開放於 Vercel AI Gateway 使用

    Meta 的 Muse Ember 現已可透過 Vercel AI Gateway 使用,這款輕量推理模型面向 AI 助理執行流程中大量重複的工作,例如程式撰寫子任務、工具呼叫與檔案分析。 輸入與推理:支援文字、圖片與影片輸入,提供 1M-token 上下文視窗;推理強度可從 minimal 調整至 max。 串接方式:可透過 AI SDK、Chat Completions、Responses 與 Anthropic Messages API 呼叫,也能由連線 AI Gateway 的程式碼AI 助理使用。模型名稱為 meta/muse-ember。 費用與管理:AI Gateway 依照供應商定價,不加價,也不對推論收取平臺費用,包含 Bring Your Own Key(BYOK)請求;另提供用量與成本追蹤、自訂報表、Zero Data Retention 支援、API 金鑰預算、路由規則、重試與故障轉移設定。

  2. Meta Engineering76

    Meta 擴充 LLDB,以單一偵錯工作階段除錯跨 CPU 與 GPU 的應用程式

    Meta 建立 lldb-server 加速器外掛架構,讓 LLDB 在同一個偵錯工作階段中協調分別表示 CPU 與 GPU 的兩個 target。架構保留兩者各自的架構、執行緒、暫存器與記憶體空間,並由硬體專屬後端連線裝置偵錯 API。

    推薦理由:文章說明如何以兩個獨立 LLDB target 表示 CPU 與 GPU,並透過 lldb-server 外掛協調偵錯,呈現跨硬體共用偵錯流程的設計取捨。

11月7日週六
11月6日週五