跳到正文

#DeepSeek

RSS
今日 3 則
11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
10月30日週五
10月29日週四
  1. openrouter blog75

    如何使用LLM從PDF提取表格

    LLM 直接讀取 PDF 表格並以嚴格 JSON 模式輸出,開發者可即時驗證精確度與成本。 - 支援格式 數位 PDF 與掃描檔,掃描需加 OCR(mistral‑ocr)或使用能讀檔的模型 - 成本 GPT‑6 Luna 與 Claude Haiku 5.5 以每 1。

    推薦理由:本文示範如何使用LLM直接讀取PDF表格並以嚴格JSON模式輸出,讓開發者能即時驗證精確度與成本。

  2. Armin Ronacher (lucumr)65

    Armin Ronacher 示範用 Qwen3-TTS 混合聲音與調整語氣

    想替遊戲做旁白時,現成的 AI 聲音可能不夠有特色。Armin Ronacher 用自己的演講錄音測試 Qwen3-TTS,示範把錄音和文字描述產生的聲音混合,也試著替克隆出的聲音加上悲傷等語氣指示。他發現,混合聲音向量能做出不同音色,克隆聲音也能配合指示改變語氣,但效果不如內建聲音穩定。文章也提醒,普通錄音就可能做出相當像本人的聲音,低音質通話情境下尤其可能讓人誤認。

    推薦理由:作者以自己的錄音示範如何混合 Qwen3-TTS 的聲音向量,也測試克隆聲音加上情緒指示的效果,提供製作旁白的實作參考。

  3. CVE news83

    PHP2Shell 攻擊成功入侵 25 臺伺服器,突破美國政府關聯網路

    PHP2Shell 攻擊成功入侵 25 臺伺服器,突破美國政府關聯網路。 - 攻擊手法:結合 PHP2Shell 漏洞 (CVE-2026-109618/109619) 與 Linux 核心本地提權漏洞 (CVE-2026-46300)。

    推薦理由:此事件展示了 AI 助攻的攻擊鏈,提醒網路安全人員須加強管理介面防護、即時監測及對跨國網路基礎設施的持續評估。

10月28日週三
10月27日週二
10月26日週一
  1. Cline Coding Agent Releases53

    Cline Coding Agent v4.1.26 發布

    Cline Coding Agent v4.1.26 正式發布,新增雲端任務、模型切換、錯誤重試等功能。 - 雲端模式:新增「Local | Cloud」切換,雲端會使用獨立模型,並在進行雲端沙盒時顯示進度卡。

10月25日週日
  1. Nathan Lambert (Interconnects)52

    Nathan Lambert 播客深度解析 Kimi K3.1 Pro、資安新規與 AI 代理應用實踐

    在這期播客節目中,主講人 Nathan Lambert 與 Florian Brand 深入探討了近期 AI 領域的熱門話題,分析範圍涵蓋模型發布策略、資安漏洞與代理程式的實際應用: - Kimi K3.1 Pro 評價與基準:分析了該模型在 Artificial Analysis 上亮眼的跑分與部分細分基準表現的落差,以及開源權重和行銷宣傳引發的爭議。

10月24日週六
  1. thehype.61

    kimi k3.1 pro 以 $6.06 成本,完成最佳巴黎勝景,最便宜的 DeepSeek V4.1 Flash 僅 $0.78。\n\n- 成本比較:DeepSeek V4.1 Flash $0.78,kimi k3.1 pro $6.06,GLM 5.3 Prime $7.36,Qwen 3.8 Max $8.88。\n- 表現評估:kimi k3.1 pro 具備雕刻浮雕、全城天際線,且最快;DeepSeek 8 倍便宜且幾乎同等;Qwen 最貴但仍非最佳。\n- 使用建議:若追求價效比可選 DeepSeek,若重視細節與速度則選擇kimi k3.1 pro。

  2. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。