跳到正文

#GitHub

RSS
今日 0 則
11月17日週二
  1. Dev.to Top Tech71

    在單一卡上跑 65B 密集碼農模型:記憶體頻寬與 2 位元檔案的代價

    開發者常會想在自己的 GPU 上跑大型語言模型,但記憶體和頻寬常成瓶頸。作者測試了 Ripple-65B 在 RTX A6000(48 GB)與 RTX 3090(24 GB)上,發現模型會每個 token 從 GPU 記憶體讀取整個權重檔,速度受限於記憶體頻寬。透過 4 bits、2 bits 量化把檔案大小從 130 GB 縮到 38.8 GB/20 GB,令每秒產生 14‒31 個 token,並利用 llama.cpp 的 KV快取量化讓 256K token 的提示也能放入同一張卡。這樣的配置讓單卡即可支援 AI 助理的長篇對話與程式碼生成,雖不快但足以做開發與測試。

11月16日週一
  1. Dev.to Top Tech73

    Gemini 4 Carbon 12 月調漲後,程式工作會多花多少錢?

    Gemini 4 Carbon 在 GitHub Copilot 的入門價格到 11 月 30 日為止,12 月 1 日起,輸入、快取輸入和輸出的費率都會加倍。作者用三種程式工作量試算,像一項典型的 AI 助理程式任務,費用會從 $0.444 升到 $0.888;長時間重構則從 $2.60 升到 $5.20。這些 token 數量是示範用的假設,沒有算進模型內部推理所產生的 token,因此實際費用可能更高。作者也提醒,Carbon 和 Argon 的每 token 費率相同,但 Google 表示 Carbon 會用更多 token;若工作不需要它較深入的推理,可以考慮 Argon 或 Hydrogen。

11月9日週一
11月8日週日
11月6日週五
11月5日週四
  1. Hacker News (official RSS)82

    Baidu 發布 ERNIE-5.5-Flash-Base 基礎模型

    Baidu 發布 ERNIE-5.5-Flash-Base,這款尚未經過中期訓練或後訓練的 MoE 基礎模型,旨在提供開放的後續訓練起點。

    推薦理由:文章比較 ERNIE-5.5-Flash-Base 與三款相近規模基礎模型的多項基準,呈現其推理、程式與長上下文表現,以及各項評測的差異。

11月4日週三
11月3日週二
11月2日週一
10月25日週日
10月22日週四
  1. The Decoder89

    OpenAI GPT-5.6 Sol 與 Google Gemini 4 Argon 發現影響數百萬網站的 PHP 重大漏洞

    GPT‑5.6 Sol 與 Gemini 4 Argon 兩大 AI 模型先行發現一個影響數百萬網站的 PHP 重大漏洞。 - 發現途徑:屬於 Patch‑the‑Planet 方案,OpenAI 稱此為「近期最具影響力的安全問題」。

    推薦理由:AI模型提前發現 PHP 漏洞,為全球數百萬網站提供修補視窗,凸顯 AI 在安全防護中的潛力。

10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

  2. GitHub Blog · AI & ML77

    GitHub 秘密偵測模型:以更少噪音發現更多秘密

    ModernBERT 版秘密偵測模型結合正規表示式與上下文分類,讓 GitHub 在實際運營中提升 11.5% 的使用者接受度,執行時間縮短 86%,成本降低 98%。

    推薦理由:GitHub 的 ModernBERT 版秘密偵測模型在實際運營中提升 11.5% 的使用者接受度,執行時間縮短 86%,成本降低 98%,證明小型化模型在安全檢測上的高效性。

10月10日週六
  1. Hacker News (official RSS)69

    近期 AI 模型難以匹敵人類演算法創新

    InnovationEval 研究測試大型 AI 模型在端到端自動化研究中的能力,發現目前主流模型在創新發現上仍遠落後於人類研究者。 - 評估方法:以「on‑policy self‑distillation」為基準,要求模型獨立設計並實現超越 GRPO 基線的後訓練技術。

10月9日週五
  1. Hacker News (official RSS)68

    Whistle:16.9 MB 內即時語音轉文字

    Whistle 是一款 16.9 MB 的語音辨識模型,能在單一 CPU 引擎上即時處理七種語言,首詞延遲僅 11 ms。 - 體積與執行:16.9 MB,無需額外依賴,直接載入同一 C++ 引擎,支援 Android、iOS、Windows ARM、RISC‑V、MIPS、瀏覽器及 WASI。

10月7日週三
10月6日週二
9月25日週五
9月21日週一
  1. Microsoft Research66

    RetroChimera 提升大規模小分子合成預測

    微軟研究團隊釋出 RetroChimera,一種用於大規模小分子合成預測的框架,並在 Nature 論文中展示其效能。RetroChimera 結合 R‑SMILES 2 與 NeuralLoc 兩種模型,通過學習式重排序實現更準確的合成路線預測。其開源實現已在 GitHub 上釋出,旨在加速藥物與材料研發。

9月1日週二
  1. Google Research63

    Google Research 釋出 TimesFM-3:支援多變數預測的零樣本時間序列基座模型

    Google Research 推出 TimesFM-3,這是一個擁有 3.3 億引數、原生支援多變數預測的零樣本時間序列基座模型。該模型採用解碼器架構與交替注意力機制,支援單次前向傳遞生成整個預測區間,在 Gift-Eval、FEV-Bench 和 Time 等基準測試中表現優於其他預訓練基座模型,目前已在 GitHub 和 Hugging Face 上線。

7月27日週一
  1. Hugging Face Blog63

    NVIDIA 釋出 Cosmos-H-Dreams 即時生成式手術機器人模擬器

    NVIDIA 推出 Cosmos-H-Dreams,這是一個針對手術機器人的即時、動作條件生成式模擬器。該模型將 Cosmos-H-Surgical-Simulator 的能力蒸餾為因果學生模型,並通過 FlashDreams 庫在單張 NVIDIA RTX PRO 6000 GPU 上實現每秒約 160 幀的互動式執行,支援在閉環中進行策略評估和資料生成。

5月21日週三
  1. Mistral AI83

    Mistral AI 釋出 Devstral

    Devstral 是 Mistral AI 與 All Hands AI 合作推出的面向軟體工程的AI 助理 LLM,已在 SWE-Bench Verified 上取得 46.8% 的得分。

    推薦理由:Devstral 在 SWE-Bench Verified 上顯著領先開源模型,並可在單張 RTX 4090 上本地部署,適合企業私有程式碼庫。