跳到正文

全部動態

RSS
今日 4 則
11月13日週五
  1. OpenRouter Announcements72

    RAG 重排教學:如何用 Reranker 修正錯誤檢索

    OpenRouter 說明如何在 RAG 向量搜尋後加入 Reranker,重新排序候選檔案,讓較可能包含答案的片段優先送入 LLM。

    推薦理由:文章以 274 題合成資料比較檢索與重排結果,並提供成本、延遲及候選資料,可作為設計自有 RAG 評測的參考。

  2. a16z41

    a16z 的 Anne Neuberger提出公私部門合作防禦計畫,運用 AI 協助保護美國關鍵基礎設施,以跟上攻擊者的行動速度。 防護範圍:聚焦數百家關鍵營運商與共用供應商,涵蓋電力、銀行與支付、供水、通訊及醫院;其中任何一方失守,都可能引發全國性連鎖影響。 風險背景:許多裝置已使用數十年,部分裝置無法在不冒停運風險的情況下安裝修補程式。

  3. Databricks Blog71

    Databricks 解析 Lakebase LTAP 的四種常見誤解

    Databricks 逐一回應 LTAP 的四種常見質疑,說明 Lakebase 如何以單一邏輯資料表支援 Postgres 交易處理與湖倉分析。 - 資料儲存:LTAP 將湖端作為耐久資料層,並以快取與 pageserver 支援讀取;文章主張這些層級不構成可獨立查詢的第二個資料庫。

    推薦理由:文章以儲存層級、雙格式與 LSN 快照逐一拆解 LTAP 的四種常見誤解,呈現 Lakebase 如何兼顧 OLTP 存取與一致性分析。

  4. vLLM49

    我們在 vLLM 上針對 Vera Rubin NVL72 最佳化 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上達到 GB300 NVL72 的 58 倍吞吐量,效能為 1.7 million tokens/s/GPU、387 tokens/s/user。 不同負載下: 🔹 峰值吞吐量為 2.52 million tokens/s/GPU(GB300 的 2.7 倍) 🔹 P90 為 387 tokens/s/user 時,吞吐量為 1.7 million tokens/s/GPU(GB300 的 58 倍) 🔹 使用 TP、單一並行工作階段時為 1,810 tokens/s 1/4

  5. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  6. AWS What's New55

    Amazon Cognito 支援 OAuth 2.0 令牌交換,讓服務用限縮許可權呼叫下游 API

    服務或 AI 助理代表使用者呼叫其他服務時,直接轉送原本的使用者令牌,可能讓下游服務取得超出需求的許可權。Amazon Cognito 現在支援 OAuth 2.0 令牌交換,可把使用者令牌換成只能呼叫特定下游服務、許可權範圍較小的新令牌,而且不含更新令牌。若交換時附上代表中間服務的令牌,Cognito 也會加入 act 欄位,讓下游服務看出請求是由哪個服務代替使用者發起。例如,MCP 伺服器可用限縮許可權的令牌呼叫後端 API。這項功能適用於 Essentials 和 Plus 方案,並已在所有提供 Amazon Cognito 的 AWS 區域推出。

  7. Y Combinator61

    Spaceium 推出太空船在軌補給開放標準 OpenPort,讓太空公司可用 1 美元取得授權並自行製造。 建置計畫:Spaceium 正在打造太空加油站網路,讓太空船能在軌補給,避免燃料耗盡後被丟棄。 後續時程:Spaceium 計畫於 2027 年在 ISS 外轉移氙,並於 2028 年發射首座完整補給站。

    推薦理由:OpenPort 將太空船補給規格設為可授權的開放標準,並以 1 美元授權費與後續任務時程呈現其推動方式。

  8. OpenAI Codex Releases67

    OpenAI Codex 0.168.0 更新加入模型供應商設定與多項 TUI 功能

    OpenAI Codex 0.168.0 新增模型供應商瀏覽與新對話預設選擇,並加入可調整的側邊對話、錄音附件及動畫 GIF 生成等功能。 - 新增功能:可在 TUI 中檢視模型供應商並設定新對話的預設供應商;側邊對話窗格可調整大小或放大。

    推薦理由:本次更新涵蓋模型供應商設定、側邊對話、錄音附件與動畫 GIF 生成功能,並修正多項 TUI 與 Windows MCP 行為,呈現 Codex 的近期使用變化。

  9. AWS Machine Learning Blog68

    Amazon Bedrock 推論成本調整指南:四項請求設定與測試方法

    Amazon Bedrock 說明如何透過調整快取期限、服務層級、推理努力程度與 maxTokens,測量推論成本及輸出變化。 - 快取期限:Claude Sonnet 5 與 Claude Opus 5 的快取讀取費率為輸入費率的 0.1 倍;在每小時至少三次請求、且請求間隔超過 5 分鐘的條件下,文中指出 1 小時快取可比不快取更省成本。

    推薦理由:文章以快取重用率、Flex 支援情況、推理努力程度與輸出上限為例,整理逐項測試成本並同步檢查品質的方法。

  10. Hugging Face Blog82

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型,透過專用標記將指令、資料與要求分開表示,並以執行區塊指定彼此關係。 - 提示注入測試:在 OPI 基準上,LLMON 相較測試中的最佳前沿模型多避免 47% 的攻擊,相較最佳開源模型多避免 95%;在 ASB 與 StruQ 也觀察到類似趨勢。

    推薦理由:文章說明 LLMON 如何以明確的指令與資料分隔降低靜態間接提示注入成功率,並交代基準測試範圍與尚在改進的自適應攻擊。