跳到正文

#部署/工程

RSS
今日 0 則
11月21日週六
11月20日週五
  1. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

11月19日週四
  1. Dev.to Top Tech66

    Gemini 4 Neon 怎麼計費?比較不同思考等級與實際呼叫成本

    使用 Gemini 4 Neon 時,光看每百萬 token 的價格,不容易知道一次工作會花多少錢,尤其模型思考時用掉的 token 也要計費。這篇整理了不同方案的價格,並用程式碼檢查、重複提示詞和長檔案提問等例子,試算每次呼叫的費用。文中也比較不同思考等級:等級提高可能讓測試分數上升,但會用掉更多輸出 token;重複提示詞若命中快取,費用也會降低。作者建議先用 medium 測試,再依任務需要調整,並用自己的提示詞實測成本。

  2. cloudflare blog78

    Cloudflare 推出更新版 Clairic 和 9B 的 Clairic-flash

    從收據、圖片和 PDF 擷取資料,常會遇到表格難讀、欄位分散在不同頁面的問題。Cloudflare 更新了 Clairic,並推出較小、較快的 9B 模型 Clairic-flash;兩者能讀取最多 4 張圖片或 PDF 頁面,整理供應商、品項和總額等資料,也能處理估算、日期計算與明確的算術。Cloudflare 表示,兩款模型的權重已在 Hugging Face 開放,並可透過 Workers AI 使用。Clairic-flash 每百萬輸入 token 收費 $0.10,Clairic 為 $0.24;到 2026 年 12 月 1 日前,兩者都以每百萬輸入 token $0.10 優惠。文中的比較資料來自 Cloudflare 自行測試,適合用來瞭解其測試結果,不能當成公開基準。

    推薦理由:Clairic 改用新的欄位生成方式,並加入專門處理估算與日期計算的能力;文中也比較了文字、圖片與 PDF 的擷取表現及回應速度。

11月18日週三
  1. ModelScope74

    模型要做更複雜的工作,通常得增加引數,但更大的模型也比較吃硬體。SenseNova-Loop-9B 改用 Loop + mHC,讓 32 個不同的解碼器層在一次運算中執行 56 次,重複使用中間層的權重。它能讀取文字和圖片、產生文字,並支援最高 512K 的上下文視窗。原文列出的測試分數也比 Preview 高,例如 AutomationBench 從 14.33 升到 36.67;官方 4-bit AWQ 權重約 4.9 GB,搭配 4-bit KV cache 時,64K 上下文可在約 9 GiB VRAM 上部署。

    推薦理由:SenseNova-Loop-9B 以重複運算部分層的方式增加計算深度,文中也提供多項基準分數與低位元部署所需的記憶體資訊。

  2. ModelScope74

    長上下文模型常需要更多運算成本,Tencent Hy 推出開放權重模型 Hy4-flash,想讓長時間工作更省資源。它有 220B 引數,每個 token 只啟動 12B 引數,能理解圖片,並支援 1M-token 上下文。Tencent Hy 表示,在自家 WorkIndex 測試中,Hy4-flash 略勝較大的 Hy4 Preview,每項任務成本是 Hy4 Preview 的 1/13、Hy4 的 1/20;解碼速度超過每秒 150 tokens。模型也提供不同用途的版本,並支援 vLLM、SGLang、Transformers 和 OpenAI 相容 API。

    推薦理由:Hy4-flash把長上下文、圖片理解與較低推論成本放進同一模型,文中也提供內部測試和部署資料,可用來瞭解它的定位。

11月17日週二
  1. Latent Space65

    Cloudflare 為何自稱 Neolab,從網路基礎設施走向自研模型

    大型語言模型有時會把資料中的數字看錯,也可能輸出格式不合用的答案。Cloudflare 開始推出自己的小型 System One 模型:Clef 參考 TypeSafe AI 的 Jev,Clairic 則用來從零散資料中擷取或估算指定的值,例如從發票讀出訂單號碼。這類模型希望用更快的方式處理部分工作,減少每個請求都交給大型語言模型的需要。文章也指出,Cloudflare 已有大量營收,和一般所說的「Neolab」條件不完全相同;公司把自研模型視為從基礎設施、運算和模型服務一路延伸而來的下一步。

  2. Dev.to Top Tech71

    在單一卡上跑 65B 密集碼農模型:記憶體頻寬與 2 位元檔案的代價

    開發者常會想在自己的 GPU 上跑大型語言模型,但記憶體和頻寬常成瓶頸。作者測試了 Ripple-65B 在 RTX A6000(48 GB)與 RTX 3090(24 GB)上,發現模型會每個 token 從 GPU 記憶體讀取整個權重檔,速度受限於記憶體頻寬。透過 4 bits、2 bits 量化把檔案大小從 130 GB 縮到 38.8 GB/20 GB,令每秒產生 14‒31 個 token,並利用 llama.cpp 的 KV快取量化讓 256K token 的提示也能放入同一張卡。這樣的配置讓單卡即可支援 AI 助理的長篇對話與程式碼生成,雖不快但足以做開發與測試。

  3. Dev.to Top Tech76

    Qwen4-Max 開放使用,Windows 即時語音工具仍得先顧好音訊擷取

    大型模型回覆再快,通話工具也可能先卡在聲音進電腦的路上。Alibaba Cloud 在 11 月 16 日推出 Qwen4-Max,模型有 2.4T 個引數,但每個 token 只啟用 71B;它支援圖片,並提供 1 million token 的上下文視窗。文章也指出,Windows 共用音訊模式可能多出 10–40+ ms 延遲,而專用模式在裝置支援時可降到十多毫秒。Talkaside 的雙軌 WASAPI 做法會分開收錄對方聲音和本機麥克風,讓即時語音辨識與處理更順。

    推薦理由:文章把 Qwen4-Max 的雲端推論成本與 Windows 即時音訊流程放在一起看,說明錄音擷取延遲也會左右通話工具的反應速度。

11月16日週一
  1. ModelScope76

    大型模型通常需要很多運算資源,Edge0-145B則主打能在單張消費級 GPU 上本機執行。它採用稀疏架構,每個 token 只啟用 10.12B 個引數;原文列出的 RTX 5090 D 24GB 測試中,Q3_K 版本每秒可處理 121.2 個 token。Edge0-145B在 Terminal-Bench 2.1 得分 86.5,在 DeepSWE 1.1 得分 64.6;若偏好更快的版本,Edge0-120B每個 token 啟用 8.64B 個引數。兩款模型都提供 Q3_K 和 NVFP4 版本,透過 Edge0 專用的本機執行環境部署。

    推薦理由:Edge0-145B以稀疏架構減少每個 token 啟用的引數,並列出單張 RTX 5090 D 上的速度與測試成績,可瞭解它如何兼顧模型規模和本機部署。

11月14日週六
  1. Dev.to Top Tech37

    Google 將在 12 月 1 日把 Gemini 2.5 API 請求改由新模型回答

    使用 gemini-2.5-pro 和 gemini-2.5-flash 的程式,到了 12 月 1 日仍會收到回答,但回答會改由 gemini-3.8-flash 和 gemini-3.5-flash-lite 提供。除了換模型名稱,Gemini 3 也要求調整部分請求設定,例如移除 temperature 等引數、把 thinking_budget 改成 thinking_level,並檢查 function calling。文章建議先找出程式裡使用舊模型的地方,再拿 10 到 20 個常見提示詞,趁舊模型還能回答時比較新舊結果,確認格式和 JSON 等內容是否仍符合需求。

11月13日週五
  1. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

11月11日週三
11月10日週二
11月9日週一
11月7日週六
11月6日週五
11月5日週四
11月4日週三
11月3日週二
11月2日週一
  1. Dev.to Top Tech87

    Mistral Large 4 開源模型:完整安裝與部署指南

    Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。

    推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。

10月30日週五