NanoDet 量化模型在 Qualcomm RB3 Gen 2 遭 QNN 拒載,在 Galaxy S25 以 1.39 ms 執行
作者在 Dragonwing RB3 Gen 2(QCS6490)與 Galaxy S25 上測試相同的 w8a8 NanoDet,結果一臺拒絕載入,另一臺以 1.39 ms 在 NPU 上執行全部 324 層。
作者在 Dragonwing RB3 Gen 2(QCS6490)與 Galaxy S25 上測試相同的 w8a8 NanoDet,結果一臺拒絕載入,另一臺以 1.39 ms 在 NPU 上執行全部 324 層。
Git 修補 6 項資安漏洞,其中 CVE-2026-111760 可能在遞迴複製含子模組的不受信任儲存庫時,觸發任意程式碼執行。 - 觸發條件:攻擊者利用特製的超長路徑;Git 專案指出,漏洞可能在使用 --recurse-submodules 遞迴複製儲存庫及子模組時觸發。
POCKET GGUF 文章依模型檔、GGUF 標頭與張量清單估算本機執行所需的 RAM,說明檔案大小並不等於每個 token 都要讀取的權重量。 - KV 快取:在 262,144 個 token 的脈絡長度下,26B、35B 與 180B 的估算值分別為 5.20GiB、5.00GiB、6.00GiB;計算採用 fp16 快取。
推薦理由:文章以 GGUF 標頭與張量清單拆解 RAM 預算,說明如何把權重、KV 快取與每個 token 讀取量納入本機部署估算。
vLLM、TGI 與 Ollama 都能提供 LLM 推論服務,但在吞吐量、延遲與並行能力上各有取捨;文中的基準比較以 Llama-3-8B-Instruct 為例。
Text Generation Inference(TGI)是大型語言模型服務工具;文章以 ZoomEye 的單筆標題匹配說明如何確認服務曝露,並檢查 API 金鑰與資源管控。
Hugging Face 示範如何透過 Token Pooling 感知訓練,讓多向量嵌入模型在壓縮檔案向量後保留較佳的檢索品質。 - 方法:以 Sentence Transformers 訓練模型,同時使用未壓縮與約四分之一向量數的檢索目標,讓模型學習保留合併向量後仍有用的資訊。
推薦理由:文章以可重現的 Sentence Transformers 範例,說明如何把向量合併納入訓練目標,並比較不同壓縮預算下的檢索品質與儲存量。
作者掃描 51 個擁有 1,000 個以上 GitHub stars 的 Python 專案,並手動檢查 Django、LangChain 與 Airflow 的結果,說明匯入圖示記為不可達的檔案,可能仍由字串、資料夾掃描或外部使用者載入。
MiniMax 推出可下載的開放權重生圖模型 H3-Image,官方服務可在 10 秒內生成一張 4K 圖,授權則排除美國、歐盟、英國與南韓。
本文以實際 API 測試為基礎,對比 Kimi K2.5 至 K3.1 Pro 八個模型在單一企業任務中的表現,並說明各版本的可用性、定價與安全調整。 - 完整 JSON 回傳:kimi‑k2.7‑code‑highspeed 8.48 秒、kimi‑k2.7‑code 36.53 秒、kimi‑k2.5 32.26 秒;其餘五個模型未完成或超時。
作者以標註檢查點示例說明,兩份標註只有一筆紀錄都完成標記且標籤相同時,條件式一致率仍可達 100%,但雙方皆有標籤的覆蓋率只有 1/12。
Tether AI Research 推出 BotPsy,這款以 Qwen3.5-0.8B 為基礎、適用於端側部署的 0.8B 引數模型,專為工具呼叫與AI 助理工作流程設計。
推薦理由:BotPsy 在多項工具使用基準上與較大型模型比較,並揭示多輪任務、低資源語言及高難度搜尋的表現落差。
GitHub Actions 自 2026 年 1 月 1 日起調降 GitHub 託管執行器費率,Linux 2 核心每分鐘 $0.006;自架執行器費用則已延期,目前未收取。
作者以 Python 下載並稽核 Hugging Face 官方 AI 排行榜,指出名次差距必須連同驗證狀態、評測方式與題目數一起解讀。 - 資料概況:截至 2026 年 11 月 11 日,資料包含 59 個基準與 1,389 筆結果;沒有結果帶有 verified 標記,590 筆附有評測備註。
OpenRouter 說明 LLM 量化如何影響模型端點的品質與價格,並以 Qwen3.8 27B 測試 fp8、fp4 與 fp16 的表現。
推薦理由:OpenRouter 以 Qwen3.8 27B 的端點測試比較精度與價格,並說明樣本限制及路由篩選方式,可供評估不同端點的選擇策略。
Philipp Schmid 與 Artificial Analysis 推出 MKA(Multimodal Knowledge Agent),用來評估 AI 代理處理視覺複雜檔案與知識工作的表現。
Hugging Face 現在可連結組織與 Google Cloud 帳戶,讓 Hub 用量列入既有的 Google Cloud 帳單。- 涵蓋專案:Team 或 Enterprise 訂閱、Jobs、Inference Endpoints、Inference Providers、GPU Spaces、ZeroGPU 額度擴充及額外儲存空間。
Google DeepMind 推出機器人控制模型 Gemini Robotics 2.5,並在 Mercedes-Benz 生產線試點中完成金屬零件分揀,據報成功率達 96%。
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。
推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。
Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。
推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。
NeuraCryption 發表 SPECTRA 研究與開源實作,提出免校準的 4-bit 權重量化與 Triton 推論架構,並報告在 4GB 筆電 GPU 上執行多種模型的測試結果。
Hugging Face 政策長 Irene Solaiman 警告,針對開放 AI 平臺與基礎設施的攻擊,可能促使平臺收緊參與與存取規則,影響研究者和業餘開發者參與社群。
Abliteration AI 等倡議者透過 abliteration 移除開放權重模型的拒答限制,主張讓使用者自行設定護欄;作者實測則顯示,這類模型也可能讓網路安全代理程式採取未預期的行動。
pypa/gh-action-pypi-publish 的 1.14.2 之前版本仍內含已撤銷的 emSign 根 CA,影響 Sigstore Trusted Publishing 與 Digital Attestations 使用的信任鏈;公告未證實憑證遭濫用,也未指出特定套件或證明資料已遭破壞。
GitHub 的 Secret Scanning 在公開預覽中新增對 Actions 工作流程記錄的掃描,並將偵測結果列入儲存庫的金鑰警示清單。 - 掃描方式與適用資格:工作流程執行完成後,系統會掃描記錄中的供應商模式,並附上外洩記錄連結;支援的金鑰型別也會進行有效性檢查。
Arete 27B 在 Nous Research 的價值觀評測中,相較基礎模型 Qwen3.8-27B,宣傳式回答比例從 22% 降至 0.9%,事實分數從 2.32 升至 2.98。
Tabernetes 將 Kubernetes v1.37 控制平面編譯為 WebAssembly,讓整個控制平面在瀏覽器分頁中執行,並可連線真實節點組成叢集。
推薦理由:Tabernetes 將上游 Kubernetes 控制平面編譯為 WebAssembly,並以瀏覽器分頁作為節點,展示了叢集管理與 GPU 推論在瀏覽器中的整合方式。
Elith 與 NVIDIA 推出 Nemotron-Personas-Finance-Japan,以日本人口統計與家庭金融情境建立合成人物資料集,供金融 AI 開發與評估使用。
推薦理由:資料以日本官方統計為基礎,結閤家庭財務與金融素養資訊,提供金融 AI 開發與評估可用的合成資料。
HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。
推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。
DeepSeek‑V4‑Flash 是一個 284 B 引數的 MoE 模型,作者驗證其 56.6 GiB 的檔案大小與 1.71 bpw 的數學關係。
summary_zh: 一個 AI 伺服器利用 KV cache 與 continuous batching 技術,使 1,000 位使用者同時獲得回覆,將單個答案的延遲從 567 ms 降至 39 ms,並將第一個 token 的平均等待時間(TTFT)從 452 秒 縮短至 14 秒。
導語:研究者 Vidraft_lab 透過解析 Darwin‑180B‑RSI‑R3 的六份 GGUF 量化檔,發現「2bit 名稱」的檔案實際上比「3bit 名稱」更大,原因在於模型中 28.9% 的引數被固定為 4.5/8.5 位元的 per_layer_token_embd 表。
summary_zh: Black Forest Labs 表示 FLUX 3 Image Klein 可在 8GB GPU(如 RTX 3070)上本地執行 ComfyUI,雖然完整 int8 堆疊總共 20.8 GB 權重。
Frontier LLM 價格指數 十月整月保持不變,至十一月初兩款更便宜的旗艦模型奪取席位,導致指數下跌 4.9% 至 $4.89/Mtok。
LFM3-Omni-2B 是 Liquid AI 推出的多模態模型,支援文字、影像、影片與語音輸入,並可輸出文字或語音。 - GGUF 雙檔結構:語言模型檔 1,099,630,080 bytes + 投影檔 291,586,720 bytes,合計 1,391,216,800 bytes(1.296 GiB),約佔 BF16 雙檔的 31.5%。
本文示範如何僅讀取 229 KB safetensors 標頭,即可驗證 180 B Darwin‑180B‑RSI‑R3 模型的完整性與引數分佈,避免下載 360 GB 權重。
Spark X2.5 與 X2.6 在六個追蹤平臺累計約 5,101,393 次下載與拉取,社群衍生模型共 276 個。 - 下載量分佈:官方管道約 2,189,056 次,Hugging Face 社群衍生模型為 2,912,337 次。