AI metrics:衡量生成式 AI 的使用與成長面臨多重定義與指標挑戰
summary_zh: Benedict Evans 在《AI metrics》一文中指出,衡量生成式 AI 的使用量與成長仍缺乏統一且有意義的指標。 - 早期網路指標:1995 年 Mary Meeker 的 Internet Trends Report 以「internet hosts」為首,後續跟進全球 PC 使用者、網路骨幹流量與 AOL 訂閱者。
summary_zh: Benedict Evans 在《AI metrics》一文中指出,衡量生成式 AI 的使用量與成長仍缺乏統一且有意義的指標。 - 早期網路指標:1995 年 Mary Meeker 的 Internet Trends Report 以「internet hosts」為首,後續跟進全球 PC 使用者、網路骨幹流量與 AOL 訂閱者。
Ollama 於 2025 年 5 月 28 日發布即時串流工具呼叫功能,讓聊天應用可同步顯示內容並即時執行工具。 - 支援模型:Qwen3、Qwen2.5、Qwen2.5-coder、Llama3.1、Llama4 等已訓練工具使用的模型。
Ollama 推出多模態模型新引擎,首次支援 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型,並可在本地即時處理影像與文字互動。
推薦理由:Ollama推出的新多模態引擎與多款視覺模型支援,讓使用者能即時測試影像與文字互動,對於需要本地多模態推理的開發者提供可直接落地的解決方案。
Sneaky Bits 是一個可將任何 Unicode 字元或位元組序列編碼為兩個隱形字元的工具,讓 LLM 能夠進行資料隱匿與指令注入。 - 核心功能:利用兩個隱形 Unicode 字元(U+2062、U+2064)將任何字元轉換為二進位碼,支援 ASCII、Unicode、Emoji 等。
Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。
推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。
Llama 3.2 Vision 已在 Ollama 上線,提供 11B 與 90B 兩個尺寸。 - 模型尺寸:11B 需至少 8GB VRAM,90B 需至少 64GB VRAM。
Meta Llama 3.2 現已透過 Ollama 可本地執行,提供 1B、3B、11B、90B 四個版本。 - 1B、3B:純文字模型,專為手機或邊緣裝置最佳化,可即時處理訊息或行事曆摘要,並保留隱私。 - 11B、90B:視覺模型,支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源,使用者可自行下載 Ollama 並直接執行。
Meta 釋出 Llama 3.1,首次公開 100T 引數生物神經網路的訓練流程。 - 模型規模:405B 引數,使用 8 pods × 3072 H100,總計 885k H100‑days。
推薦理由:Meta 釋出 405B Llama 3.1,展示 100T 生物神經網路訓練流程與大規模合成資料策略,對未來開源模型效能與成本曲線提供實證參考。
Continue 與 Ollama 讓開發者可在 VS Code 或 JetBrains 內部直接使用開源 LLM 進行程式碼補完與聊天。 - Codestral 22B:具備補完與聊天功能,需 22B 引數、較高 VRAM,適合研究測試。
summary_zh: Chip Huyen 在 LinkedIn 與 Twitter 上討論了 LLM 研究的 10 大主要方向,並特別關注降低幻覺、最佳化上下文學習與多模態整合等議題。
Davis Blalock 整理多篇 arXiv 研究,涵蓋梯度下降、CPU 矩陣乘法、模型訓練與影片測試時適應等主題。 - 梯度下降:研究指出,重複使用不同步長的序列,即使其中個別步長過大,也可能比固定步長帶來更好的收斂保證。
本文精選並評析多篇近期 arXiv 機器學習與大型語言模型領域的重要論文,涵蓋資料訓練、模型微調、量化壓縮及架構設計等技術進展。 - 指令微調與模型能力:探討使用 GPT-4 輸出進行微調的侷限與優勢,指出引入逐步解釋能提升模型表現,但也可能僅學會模仿風格。
summary_zh: Generalized Visual Language Models 文章探討將預訓練語言模型擴充套件至視覺訊號的三大策略:VisualBERT、SimVLM 與 CM3。
股票價格預測 RNN Part 2示範如何將股票符號嵌入加入 RNN,並利用 TensorBoard 進行嵌入視覺化,對想實作多股價預測的工程師具有實務參考價值。