跳到正文

#Meta

RSS
今日 0 則
10月3日週六
9月25日週五
  1. Trail of Bits Blog75

    不要讓 TEEs 破壞你的 MPC

    TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。

    推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。

9月24日週四
  1. ollama release44

    Ollama v0.34.4 釋出更新

    summary_zh: Ollama 釋出 v0.34.4 更新,新增單次傳遞結構化輸出、修復本地大型庫錯誤與 macOS 應用程式無回應問題,並提升 Qwen 3.8 與 Gemma 4 在 Apple Silicon 上的效能。

9月11日週五
  1. Together AI Official Blog81

    Together AI 擴充 Fine‑Tuning 服務:新增多款模型、即時指標與更精細控制

    Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。

    推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。

9月10日週四
9月3日週四
8月17日週一
  1. LMSYS Org Blog78

    SGLang 如何用 CUDA Graph 降低推論啟動開銷

    大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。

    推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。

8月12日週三
8月10日週一
  1. Hugging Face Blog86

    Meta 釋出開源多模態模型 Muse Glimmer

    Meta 推出了全新的 30B 引數開源多模態模型 Muse Glimmer,採用 Apache 2.0 協議釋出,專門面向本地AI 助理和隱私保護應用。該模型結合了 2B 的視覺感知編碼器與 28B 的文本解碼器,支援影像、影片理解以及多模態工具呼叫,並提供 transformers、llama.cpp 和 vLLM 的首日支援。

    推薦理由:文章詳細介紹了 Meta 開源多模態模型 Muse Glimmer 的架構設計與本地部署方法,讀者可以據此瞭解其在端側AI 助理和多模態任務中的應用潛力。

  2. LMSYS Org Blog62

    SGLang 首日支援 Muse Glimmer,讓多模態模型能在本機硬體執行

    想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。

    推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。

7月29日週三
3月26日週四
3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

5月28日週三
5月15日週四
  1. Ollama Blog72

    Ollama 推出多模態模型新引擎

    Ollama 推出多模態模型新引擎,首次支援 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型,並可在本地即時處理影像與文字互動。

    推薦理由:Ollama推出的新多模態引擎與多款視覺模型支援,讓使用者能即時測試影像與文字互動,對於需要本地多模態推理的開發者提供可直接落地的解決方案。

3月13日週四
2月25日週二
  1. Ollama Blog80

    Minions:本地與雲端 LLM 協同的實驗研究

    Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。

    推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。

11月6日週三
9月25日週三
  1. Ollama Blog66

    Meta Llama 3.2 釋出小型多模態版本

    Meta Llama 3.2 現已透過 Ollama 可本地執行,提供 1B、3B、11B、90B 四個版本。 - 1B、3B:純文字模型,專為手機或邊緣裝置最佳化,可即時處理訊息或行事曆摘要,並保留隱私。 - 11B、90B:視覺模型,支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源,使用者可自行下載 Ollama 並直接執行。

5月31日週五