#部署/工程
RSS 訂閱#部署/工程
RSS
vLLM@vllm_project品質評分3838
Together AI Official Blog精選品質評分6565 Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲
想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。
推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。
Dev.to Top Tech品質評分6666 Gemini 4 Neon 怎麼計費?比較不同思考等級與實際呼叫成本
使用 Gemini 4 Neon 時,光看每百萬 token 的價格,不容易知道一次工作會花多少錢,尤其模型思考時用掉的 token 也要計費。這篇整理了不同方案的價格,並用程式碼檢查、重複提示詞和長檔案提問等例子,試算每次呼叫的費用。文中也比較不同思考等級:等級提高可能讓測試分數上升,但會用掉更多輸出 token;重複提示詞若命中快取,費用也會降低。作者建議先用 medium 測試,再依任務需要調整,並用自己的提示詞實測成本。
SenseTime@SenseTime_AI品質評分4444cloudflare blog精選品質評分7878 Cloudflare 推出更新版 Clairic 和 9B 的 Clairic-flash
從收據、圖片和 PDF 擷取資料,常會遇到表格難讀、欄位分散在不同頁面的問題。Cloudflare 更新了 Clairic,並推出較小、較快的 9B 模型 Clairic-flash;兩者能讀取最多 4 張圖片或 PDF 頁面,整理供應商、品項和總額等資料,也能處理估算、日期計算與明確的算術。Cloudflare 表示,兩款模型的權重已在 Hugging Face 開放,並可透過 Workers AI 使用。Clairic-flash 每百萬輸入 token 收費 $0.10,Clairic 為 $0.24;到 2026 年 12 月 1 日前,兩者都以每百萬輸入 token $0.10 優惠。文中的比較資料來自 Cloudflare 自行測試,適合用來瞭解其測試結果,不能當成公開基準。
推薦理由:Clairic 改用新的欄位生成方式,並加入專門處理估算與日期計算的能力;文中也比較了文字、圖片與 PDF 的擷取表現及回應速度。
ModelScope@ModelScope2022精選品質評分7474


推薦理由:SenseNova-Loop-9B 以重複運算部分層的方式增加計算深度,文中也提供多項基準分數與低位元部署所需的記憶體資訊。
ModelScope@ModelScope2022精選品質評分7474推薦理由:Hy4-flash把長上下文、圖片理解與較低推論成本放進同一模型,文中也提供內部測試和部署資料,可用來瞭解它的定位。
Rohan Paul@rohanpaul_ai品質評分4545
Latent Space品質評分6565 Cloudflare 為何自稱 Neolab,從網路基礎設施走向自研模型
大型語言模型有時會把資料中的數字看錯,也可能輸出格式不合用的答案。Cloudflare 開始推出自己的小型 System One 模型:Clef 參考 TypeSafe AI 的 Jev,Clairic 則用來從零散資料中擷取或估算指定的值,例如從發票讀出訂單號碼。這類模型希望用更快的方式處理部分工作,減少每個請求都交給大型語言模型的需要。文章也指出,Cloudflare 已有大量營收,和一般所說的「Neolab」條件不完全相同;公司把自研模型視為從基礎設施、運算和模型服務一路延伸而來的下一步。
Dev.to Top Tech品質評分7171 在單一卡上跑 65B 密集碼農模型:記憶體頻寬與 2 位元檔案的代價
開發者常會想在自己的 GPU 上跑大型語言模型,但記憶體和頻寬常成瓶頸。作者測試了 Ripple-65B 在 RTX A6000(48 GB)與 RTX 3090(24 GB)上,發現模型會每個 token 從 GPU 記憶體讀取整個權重檔,速度受限於記憶體頻寬。透過 4 bits、2 bits 量化把檔案大小從 130 GB 縮到 38.8 GB/20 GB,令每秒產生 14‒31 個 token,並利用 llama.cpp 的 KV快取量化讓 256K token 的提示也能放入同一張卡。這樣的配置讓單卡即可支援 AI 助理的長篇對話與程式碼生成,雖不快但足以做開發與測試。
Dev.to Top Tech精選品質評分7676 Qwen4-Max 開放使用,Windows 即時語音工具仍得先顧好音訊擷取
大型模型回覆再快,通話工具也可能先卡在聲音進電腦的路上。Alibaba Cloud 在 11 月 16 日推出 Qwen4-Max,模型有 2.4T 個引數,但每個 token 只啟用 71B;它支援圖片,並提供 1 million token 的上下文視窗。文章也指出,Windows 共用音訊模式可能多出 10–40+ ms 延遲,而專用模式在裝置支援時可降到十多毫秒。Talkaside 的雙軌 WASAPI 做法會分開收錄對方聲音和本機麥克風,讓即時語音辨識與處理更順。
推薦理由:文章把 Qwen4-Max 的雲端推論成本與 Windows 即時音訊流程放在一起看,說明錄音擷取延遲也會左右通話工具的反應速度。
ModelScope@ModelScope2022精選品質評分7676推薦理由:Edge0-145B以稀疏架構減少每個 token 啟用的引數,並列出單張 RTX 5090 D 上的速度與測試成績,可瞭解它如何兼顧模型規模和本機部署。
Dev.to Top Tech品質評分3737 Google 將在 12 月 1 日把 Gemini 2.5 API 請求改由新模型回答
使用 gemini-2.5-pro 和 gemini-2.5-flash 的程式,到了 12 月 1 日仍會收到回答,但回答會改由 gemini-3.8-flash 和 gemini-3.5-flash-lite 提供。除了換模型名稱,Gemini 3 也要求調整部分請求設定,例如移除 temperature 等引數、把 thinking_budget 改成 thinking_level,並檢查 function calling。文章建議先找出程式裡使用舊模型的地方,再拿 10 到 20 個常見提示詞,趁舊模型還能回答時比較新舊結果,確認格式和 JSON 等內容是否仍符合需求。
aihot精選品質評分8787 Edge0 開源 Edge0-145B 與 Edge0-120B,推出統一推理框架
Edge0 開源 Edge0-145B、Edge0-120B,並發布統一推理框架與部署工具;公司稱 Edge0-145B 可在相容筆記型電腦上本機執行。
推薦理由:原文列出 Edge0-145B 的基準分數、記憶體與解碼速度,並說明部分基線資料為估算,便於評估其端側部署表現與比較範圍。
vLLM Official Blog精選品質評分8585 vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能
vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。
推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。
Dev.to Top Tech品質評分5858 DeepSeek R1 與 OpenAI o1-preview 比較:推理準確度、Token 成本與自架總持有成本
DeepSeek R1 與 OpenAI o1-preview 在公開推理基準、API 成本、延遲和自架條件上各有差異;文章建議依任務型別、服務需求與使用量安排模型路由。
Hao AI Lab@haoailab品質評分4646
elvis@omarsar0品質評分4343Dev.to Top Tech品質評分7373 Arete 27B 與 Qwen3.8-27B 評測比較:宣傳式回答比例降至 0.9%
Arete 27B 在 Nous Research 的價值觀評測中,相較基礎模型 Qwen3.8-27B,宣傳式回答比例從 22% 降至 0.9%,事實分數從 2.32 升至 2.98。
Dev.to Top Tech品質評分4343 如何在 8GB VRAM 的 ComfyUI 上執行 FLUX 3 Klein(Upsampler 單獨佔用 9.8GB)
summary_zh: Black Forest Labs 表示 FLUX 3 Image Klein 可在 8GB GPU(如 RTX 3070)上本地執行 ComfyUI,雖然完整 int8 堆疊總共 20.8 GB 權重。
Dev.to Top Tech品質評分5353 Z-Image Turbo 全解鎖文本編碼器:20+ LoRA、單張影像、五個工作流程
Z-Image Turbo 在此教學中說明如何解鎖所有文本編碼器,並結合 20+ LoRA 與五種工作流程,提供完整的實作步驟與 GPU 推薦。 - 核心功能:解鎖文本編碼器、20+ LoRA、五個工作流程(Prompt polishing、Text‑to‑Image、Image‑to‑Image、ControlNet、Tiled upscale)。
elvis@omarsar0品質評分4343summary_zh: Nace AI 釋出 Drex 系列決策模型,27B 版在 Decision Bench v4 與 Claude Opus 5.5 只差 1.6 分,回應時間 183 ms。
Artificial Analysis@ArtificialAnlys品質評分6565
Dev.to Top Tech品質評分5757 Alpie Seed:9B 編碼模型可離線於筆電執行
Alpie Seed 是一款 9 B 引數的開源編碼模型,能在筆電、手機甚至無 GPU 的 Windows PC 上離線執行。 - 模型規格:9 B 引數,5 GB 大小,Apache 2.0 授權,可商業使用。
Dev.to Top Tech品質評分5757 Qwen3 ASR 1.7B 於 Coval 基準下達成 35 毫秒 Time‑to‑Final,Windows 捕獲仍佔據即時預算
Qwen3 ASR 1.7B 在 Coval STT 基準中以 35 ms 的 mean time‑to‑final 成為 28 個系統中的佼佼者,詞錯誤率僅 2.9 %。
Dev.to Top Tech品質評分5353 Inkling 2 Small 已上線,權重仍待發布
Inkling 2 Small 已於 2026‑11‑05 上線,為一 594B 引數稀疏 MoE 模型,主動工作、編碼、視覺與知識任務設計。 - 結構與規模:48 層解碼器,總引數 594B,單次推理僅 17B 活躍引數;上下文視窗 1M token。
vLLM@vllm_project精選品質評分6363vLLM 宣佈在 vLLM 0.32.0 支援百度 ERNIE 5.5 Flash Base,並提供 FP8 與 BF16 推論部署方式。
推薦理由:同一評測設定下,ERNIE 5.5 Flash Base 在兩項程式基準高於 DeepSeek-V4-Flash-Base,並提供引數規模與推論部署方式供比較。
Baidu Inc.@Baidu_Inc品質評分5959Dev.to Top Tech品質評分3535 Ripple-65B:可支援 1M 上下文的開源編碼模型,DGX Spark 指令碼限制 128K
summary_zh: Ricursive Intelligence 於 11 月 4 日發布 Ripple-65B Preview,這是一個 65B 引數的密集型模型,訓練於 12 兆 token,支援最高 1 M 上下文,並能在 NVIDIA DGX Spark 上高效執行。
OpenAI@OpenAI品質評分4848
The Economic Times · ETtech品質評分5353 印度AI Mission 推出三款本土 AI 模型,支援離線手機與關鍵領域安全使用
IndiaAI Mission 於 2026 年 11 月正式推出三款本土 AI 模型:EKA‑1、Dhīr‑2B 與 Dhīr‑5B,針對離線手機與關鍵領域的安全使用。
Dev.to Top Tech品質評分3838 Qwen3.8 27B 在 RTX 5090 上測試 — 為何 vLLM 無法執行
summary_zh: 作者在 RTX 5090 (32GB) 上測試 Qwen3.8 27B,發現其生成速度約為 124‑149 tok/s,約是前一代 Qwen3.6 的兩倍,但 vLLM 無法執行。
Dev.to Top Tech品質評分5858 Spark-X2.6-4B 在兩個網頁助手中的實作示範:分享您的應用
導語:Spark-X2.6-4B 已在兩個網頁助手中實際部署,錄製影片展示英語提問、模型回覆與思考層級控制。 - 模型與部署:Spark-X2.6-4B 透過 iFLYTEK Astron MaaS 連線,伺服器將"None/Low/High"思考層級對映至模型請求。
MarkTechPost品質評分4747 Meet qwenGPU:Qwen3.5-2B 搭載 45 層編譯 GPU 層,能執行 CUDA
summary_zh: 開發者 Vixhal 在 GitHub 上發布了 qwenGPU,將 45 層編譯的 SIMT GPU 嵌入 Qwen3.5-2B 的權重中,實現了在前向傳遞中執行真實 CUDA 的功能。
Dev.to Top Tech精選品質評分8787 Mistral Large 4 開源模型:完整安裝與部署指南
Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。
推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。
Dev.to Top Tech品質評分5959 Speculative Decoding 與 Distillation:降低延遲的兩種方式,品質成本各異
本文對比 Speculative Decoding 與 Distillation 兩種降低延遲的技術,說明它們在成本、品質與可擴充套件性上的差異。 - Speculative Decoding:在大模型前先跑小模型草稿,驗證後接受相符 token;保持輸出分佈不變,成本取決於草稿接受率。
MarkTechPost品質評分4545 Samaya AI 發布 Sterling:3B‑Active 金融研究代理模型,以 11 倍更低成本擊敗 Claude Fable 5.1 在 FrontierFinance 上
summary_zh: Samaya AI 發布了 Samaya Sterling,一款以 NVIDIA Nemotron 3.5 Lightning 為基礎。
MarkTechPost品質評分5050 Edge0 釋出 Audio8‑TTS‑Realistic,0.6B 版語音克隆 TTS 模型
summary_zh: Edge0 釋出 Audio8‑TTS‑Realistic,一款 0.6B 引數的零‑shot 語音克隆 TTS 模型,支援 23 語言並以 4.86% 的 CV3 平均誤差領先多數同類模型。
MarkTechPost品質評分4949 **title_zh:**
Baseten 發布 joey-1 2B 決策模型,單位 100 萬 tokens 價格 $0.01 summary_zh: Baseten 發布了 joey-1,一款 2B 引數的決策模型,單位 100 萬 tokens 價格 $0.01。
Vercel Blog品質評分7171 Mistral Large 4 在 AI Gateway 更新權重並降低價格
Mistral Large 4 在 AI Gateway 釋出更新權重,並將輸入、快取輸入及輸出 token 的價格調低。 - 效能提升:更新權重增強 agentic coding、保護網路安全,並提升程式碼任務的 token 效率。