跳到正文

#DeepSeek

RSS
今日 3 則
11月17日週二
  1. Dev.to Top Tech67

    沒有信用卡怎麼付 AI API 費用?作者整理各地可用方式與挑選閘道的要點

    不少開發者想使用 AI API,卻卡在付款頁不收當地常用的卡片或付款方式。作者查了多家服務商的帳單說明,也整理印尼、印度等地的刷卡困難與合法替代選項:例如印尼可透過 QRIS 付款,部分服務也收加密貨幣;印度的 UPI 目前出現在部分消費者方案,文中查到的 API 儲值頁則沒有列出 UPI。作者也提醒,挑選代付閘道時要先確認價格、最低儲值額、餘額期限與模型轉送規則,並避免購買他人帳號或用 VPN 隱瞞所在地。

  2. ChinaTalk84

    ChinaTalk 專訪兩位前官員,解析美國 AI 晶片出口管制新規

    中國企業取得 AI 算力的管道包含走私晶片、租用海外算力,以及透過台積電代工。ChinaTalk 邀請兩位曾任美國國安職務的研究者,解讀一項 132 頁的新出口管制規定:新規要求部分國家和地區的晶片買家申請許可,也限制中國企業租用大量 AI 晶片,並要求部分中國晶片設計業者申請代工許可。受訪者認為,這些措施能堵住幾個既有漏洞,但美國境內的算力租用仍未納入限制,執法是否到位也會影響成效。

    推薦理由:兩位前美國國安官員拆解新出口管制涵蓋的走私、雲端租用與晶片代工,並指出美國境內仍有遠端算力漏洞。

  3. Dev.to Top Tech72

    中國 LLM API 價格差 85 倍,作者整理 114 款模型

    挑選中國 LLM 時,只看每百萬 token 的牌價,可能會低估實際花費。作者整理同一個 API 金鑰可用的 114 款模型,發現輸出價格從每百萬 token $0.17 到 $14.50,相差 85 倍;但不同模型的計價單位也不一樣,有些按 token 收費,有些按圖片或影片等成品收費,不能直接放在一起比。實際成本還會受到重試次數、輸入快取折扣和輸出長度影響,因此作者建議用自己的工作內容比較每項任務完成的成本。這份整理沒有延遲資料,價格也以 2026-11-17 的資料為準。

  4. Dev.to Top Tech57

    ChatGPT 搜尋沒引用你的網頁?Charlie 分享檢查清單

    網頁在 Google 排名很前面,ChatGPT 等 AI 搜尋服務仍可能不引用它,因為排名和成為答案的證據是兩回事。Charlie 分享一套檢查順序:先確認搜尋爬蟲能讀取網頁,再看內容有沒有直接回答使用者的問題,並提供案例、數字、適用條件等可查證資訊。測試時也要分開記錄品牌是否被提到、網頁是否被引用,以及商家是否獲推薦;單次沒被引用,不能說明太多。提交網站地圖有助搜尋系統找到內容,但不保證網頁會被收錄或引用。

  5. Dev.to Top Tech66

    Web MCP Bridge v1.8.0 讓免費網頁版 AI 串接本機工具

    免費網頁版 AI 通常只能在瀏覽器裡回覆文字,要讓它使用本機工具,還得有一層連線方式。作者推出 Web MCP Bridge,用瀏覽器擴充功能和 Python 橋接程式,將 DeepSeek、Gemini、ChatGPT 和 Claude 的網頁介面連到本機 MCP 工具;工具清單變大時,模型可以分頁查詢,不必一次載入整份清單。v1.8.0 也加入修復格式錯誤 JSON 的功能,並預設每次執行工具前都先詢問使用者。作者表示,資料都在本機處理,無須 API 金鑰、訂閱或本機 GPU。

  6. Dev.to Top Tech58

    CodeWikiBench 之外,哪些評測能看出 AI 是否懂軟體架構?

    AI 會回答架構知識題,不代表它能看懂系統關係、找出設計風險或評審整套架構。作者比較多款架構工具與公開測試:有些測模型看架構圖和專業知識,有些則讓模型從需求檔案畫出系統架構。測試顯示,模型辨認系統元件的表現不錯,但元件之間的依賴關係仍很難判斷。文章也提醒,部分高分來自選擇題或有明確規則的特定評測,不能直接代表模型能勝任銀行等複雜系統的架構評審;作者建議用相同檔案讓模型和工具接受專家盲測。

  7. Dev.to Top Tech56

    Worker 755 把 AI 助理當主管,讓玩家在終端機裡接任務

    平常是 AI 助理接到工作後指揮其他程式執行,Worker 755 把角色反過來,讓 AI 助理當主管、玩家當工作者。玩家要在瀏覽器裡操作 Linux 終端機,在 90 秒內完成指派工作;主管會自行檢查檔案內容,發現錯誤就要求修改,並把表現寫進評語。遊戲也設有可能誤刪個人檔案的情境,玩家可以選擇不同主管個性和工作場所。作者表示,終端機在瀏覽器內執行,指令不會送到真實伺服器;遊戲已上線,程式碼也已開源。

  8. Dev.to Top Tech56

    實測 GLM 5.3 Flash 和 DeepSeek V4.1 Flash:改用 Mistral 服務後生成速度更快

    同一個大型語言模型換一家服務商,回覆速度可能差很多。作者用 200 次串流請求,比較 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 透過原服務商與 Mistral 回覆的速度;在測試的長篇輸出中,Mistral 的可見文字生成速度高出 1.75 到 2.27 倍。等待第一段文字出現的時間則因模型和輸入長度而不同。這次測試沒有評估答案品質,也無法確認速度差異來自哪種硬體或服務方式,因此結果適合當作選擇服務商時的參考,不能直接當成長期固定的速度表現。

  9. Databricks Blog68

    Databricks 推出 AI Index,追蹤企業採用哪些 AI 模型及其成本

    企業可選的 AI 模型越來越多,光看模型表現或每個 token 的價格,很難知道哪種選擇最適合手上的工作。Databricks 推出公開的 AI Index,整理企業使用模型的情況與花費,也用實際程式開發任務比較不同模型和 AI 助理工具組合的成功率與每項任務成本,並計畫每週更新。資料顯示,開放權重模型在企業流量中的佔比從 7 月的 7.3% 升到 11 月的 30.9%;有些模型 token 單價較低,完成任務卻可能花更多錢。Index 也提醒企業按自己的工作內容比較品質和成本,因為測試結果不一定適用所有團隊。

    推薦理由:Databricks AI Index 把企業採用情況和程式任務的品質、成本放在一起比較,呈現模型選擇如何隨工作需求改變。

  10. Dev.to Top Tech53

    用 OpenCode 和 Motion Video Director 製作產品宣傳短片

    想替自己的產品做宣傳短片,可能得付費使用昂貴的 AI 服務。作者分享用 OpenCode 製作的 Motion Video Director 外掛,串接開源工具來完成動畫、配音和影片輸出,也能選用付費服務。作者用同一段提示詞,讓 DeepSeek V4.1 Flash 和 GLM-5.3 製作短片,並拿其他模型的成果比較。這套做法讓人能用較便宜或免費的模型試做影片;作者也提醒,免費模型不一定總能比上昂貴模型。

  11. aihot76

    Databricks 推出 AI Index,追蹤企業採用哪些 AI 模型與編碼成本

    企業可選的 AI 模型越來越多,只看模型排名或 token 單價,很難知道哪種選擇最適合自己的工作。Databricks 推出 AI Index,整合使用 Unity Gateway 的企業匿名用量資料,以及用 Databricks 自家程式碼庫和隱藏測試進行的編碼評測,並計畫每週更新。資料顯示,開放權重模型的企業 token 用量佔比從 7 月的 7.3% 升到 11 月的 30.9%;編碼任務的成本也會受到模型完成工作所需步數影響,例如 GPT-6 Luna 和 Claude Opus 5.5 的任務成功率同為 89.1%,平均每項成本卻分別是 $0.05 和 $1.62。這些比較能協助企業依自己的工作需求衡量品質與花費。

    推薦理由:Databricks 把企業採用情況和編碼任務的成功率、每項成本放在一起比較,能看出模型選擇如何影響品質與預算。

  12. vLLM52

    同一個模型和推論軟體,換到不同硬體後,每張晶片能處理多少 token 可能差很多。vLLM Project 公佈 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的 AgentX 基準測試結果,使用 Dynamo 和 vLLM,並與同樣搭配 Dynamo 和 vLLM 的 GB300 NVL72 比較。每位使用者以 400 tok/s 生成時,Vera Rubin 的每張晶片總 token 吞吐量是 GB300 的 63.4 倍;以 600 tok/s 生成時則是 93.3 倍。這些數字呈現了特定模型、硬體和測試條件下的效能差距。

  13. Dark Reading (Information Security)77

    中國關聯攻擊者用 AI 工具入侵 10 個組織

    攻擊者用 AI 工具加快入侵速度,但這些攻擊仍從常見的帳號與系統弱點下手。Palo Alto Networks 的 Unit 42 追蹤到,攻擊者讓 Cairn 自動安排偵查、嘗試利用弱點並記錄結果;這波行動在 8 月至 9 月間針對至少 19 個組織,其中 10 個遭未授權存取或資料被取走。部分組織的個資外流超過 100 萬筆,攻擊也取得有效帳密、建立管理員帳號或修改檔案。研究人員指出,攻擊利用了已知問題,例如驗證漏洞、弱密碼和過期的公開 CVE。持續盤點對外服務、縮小可存取範圍、修補軟體並設定誘餌警報,仍是可行的防禦做法。

    推薦理由:Unit 42 說明 Cairn 如何接手規劃與執行多個入侵步驟,也指出攻擊仍利用常見弱點,可用來理解防禦工作的著力點。

  14. Dev.to Top Tech82

    FBI 警告 ARTEX 可在數小時內自動串接入侵手法

    ARTEX 不是漏洞,而是一套開源的自動滲透測試平臺;FBI 警告,攻擊者已用它把偵察、入侵到取走資料等步驟串起來。操作者用日常語言設定目標後,平臺會交由不同 AI 助理執行;部分攻擊從鎖定目標到取得高許可權不到三小時。FBI 通報的案例包括南韓金融機構約 67,000 人的個資遭取走,以及 ConnectWise Cloud Backup 事件波及超過 2,250 個下游租戶。通報建議盤點容易被忽略的外部網站與整合服務,並檢查雲端許可權、應用程式憑證和異常大量存取。由於 ARTEX 沒有可安裝的修補版本,防守重點是減少曝露並及早發現快速連續的異常操作。

    推薦理由:FBI 通報指出,ARTEX 能把熟悉的入侵手法快速串接,部分攻擊從鎖定目標到取得高許可權不到三小時,凸顯盤點外部入口與縮短偵測時間的關鍵。

  15. Dev.to Top Tech57

    實測 Qwen3-1.7B 能否比得上 Qwen3-8B,整理葡萄牙文電商評論

    電商客服每天要看很多顧客留言,得從中找出問題型別、情緒和是否需要立刻處理。作者用葡萄牙文評論比較 Qwen3-1.7B、Qwen3-8B 和 TF-IDF 分類器,發現小模型在問題型別和處理急迫度上與大型模型差不多,情緒判斷則少了 4 個百分點;但 TF-IDF 在情緒分類上也沒有明顯落後。小模型批次處理速度較快,每秒可處理 2.6 則評論,大型模型是 0.71 則;單筆處理時間卻只從 3.82 秒降到 3.09 秒。測試也發現,「中性」怎麼定義會影響情緒分類結果,模型變小不會自動解決這個問題。

11月16日週一
  1. Dev.to Top Tech58

    如何依工作需求選擇開放權重模型或專有 LLM

    團隊挑模型時,常得在資料控制、成本、畫面理解能力和上手速度之間取捨。文章整理訪談中的做法:若需要控制訓練方式、資料用途、資料留存、部署位置或模型大小與速度,可考慮開放權重模型;若更在意視覺表現、快速開始使用或特定工作的品質,專有模型可能更合適。DeepSeek V3 被受訪者視為開放模型在效能與價格上的轉折點。文章也建議先寫下每項工作的需求與要檢查的失敗情況,再透過可切換的模型服務層配置不同模型,避免綁死單一供應商。

  2. BlockTempo 動區動趨68

    烏蘭察布趕建 AI 資料中心,算力熱潮與居民生活仍有落差

    AI 資料中心蓋得快、裝置又貴,城市要投入多少土地、電力和人力,才能換來長期收益?《晚點 LatePost》記者走訪內蒙古烏蘭察布,記錄近 3 萬名工人趕建資料中心,液冷裝置和發電機也因需求大增而供不應求。資料中心完工後,常駐維運人員不到 20 人;報導指出,算力產業帶來的稅收多集中在建設期,營運收益則多流向外地總部。這座城市因此成了 AI 基礎設施的重要據點,當地居民卻未必能分享到同等的經濟好處。

  3. Dev.to Top Tech71

    DeepSeek Harness 遠端工作站實作指南:串接媒體生成、手機操作與網路搜尋

    DeepSeek Harness 原本只能在所在電腦讀取檔案和執行指令,遠端使用時也看不到存在本機的圖片與影片。作者整理一套實作流程,示範如何加入遠端連線、ComfyUI 媒體生成、檔案發布、瀏覽器與 Android 手機操作,以及網路搜尋;也分享自己透過相容 OpenAI API 的閘道測試模型設定,並獨立核對答案。動手前要留意兩個容易卡關的地方:發布連結繫結公網 IP,動態 IP 改變後舊連結會失效;模型設定要填目錄中的 ID,輸入供應商頁面上的模型名稱可能讓呼叫失敗。

  4. Dev.to Top Tech78

    Tencent 推出 Hy4 flash,以較低成本處理日常工作

    日常工作常要處理長檔案、圖片和表格,但使用大型模型的費用可能不低。Tencent 推出 Hy4 flash,主打保留 Hy4 的長篇上下文和文字、圖片輸入能力,降低處理費用;它有 224B 引數,每次運算只啟用其中 12B。Tencent 表示,在自家 WorkIndex 測試中,每項任務的成本是 Hy4 的二十分之一,但這是廠商內部測試,不能當成能力排名。另有 85 位 WorkBuddy 使用者評分 259 項任務,結果只反映他們在該產品中的使用感受。模型可透過 WorkBuddy、Yuanbao 和 Tencent Cloud TokenHub 使用,Tencent 也計畫釋出權重。

    推薦理由:Hy4 flash 以較低成本換取部分能力,文中比較了定價與內部測試,也說明盲測範圍有限,可供評估日常工作是否適用。

  5. SemiAnalysis49

    SemiAnalysis 提出一個支援讓中國租用美國算力的理由:即使中國公司不能買晶片,若能租用雲端算力,仍得向美國的 AI 產業付費。推文估計,每部署 1 MW 算力,Nvidia 可賺約 $7 million,雲端業者還能賺 $7 to 10 million。以 ByteDance 和 Meta 競爭全球影片推薦為例,推文認為,租用算力可能讓 Meta 的運算成本只有 ByteDance 的四分之一。推文也提到,使用開放模型的應用公司年經常性收入合計超過 $10 billion,DeepSeek 從提供模型服務賺的錢少於 Baseten 和 Fireworks。作者的看法是,美國也能從中國模型與相關服務中賺到不少收入。

  6. Dev.to Top Tech67

    Qwen4-Max 主打長時間工作,每項任務平均成本降低 62%

    AI 助理處理長時間、多步驟工作時,可能耗用大量 token,費用也會跟著增加。Qwen 團隊發布 Qwen4-Max,主打較省 token 的長任務處理;在 Qwen 自家的 Work360 測試中,每項任務平均成本從 $4.43 降到 $1.67,並展示了製造、法律和科學研究等工作流程。這些數字來自 Qwen 自家測試,不能直接當成所有工作都會省下 62%;文中的新材料和藥物候選物示範也尚未經獨立驗證,其中藥物候選物仍待實驗室測試。

  7. Dev.to Top Tech49

    DeepSeek-V4-Pro-Qwen3.5-9B 數學考試分數更高,真的代表它比較強嗎?

    一支 TikTok 影片說,9B 的模型在數學考試贏過 DeepSeek V4 Pro,但「贏」只是在特定考題上的比較。這個模型用 DeepSeek V4 Pro 產生的約 250,000 組數學與 STEM 答案訓練;在 GSM8K 的分數是 94.50%,高於 DeepSeek V4 Pro 的 92.60%。不過,這些數字來自模型開發者整理的資料,還沒有相同條件下的獨立測試,而且考題公開已久,可能有些題目在訓練時就看過。 它的檔案大小是 5.78 GB,適合想在自己的電腦上練數學題的人;但資料列出的支援語言沒有中文或臺灣常用的繁體中文,因此不能只看數學分數,就認定它適合回答中文問題。簡單說,它在特定數學考試表現不錯,但這不代表它在寫程式、讀檔案或日常聊天也比大型模型厲害。

  8. 少數派 (sspai)50

    聯署逾 10.8 萬人要求黃仁勳復職

    黃仁勳辭職後,許多投資人、員工和科技業名人公開聲援,希望他回到輝達掌舵。截至 11 月 14 日下午,聯署信「Stand with Jensen」已收到超過 10.8 萬個簽名,其中包括逾 5.8 萬名股東和 5,600 多名現職員工;主辦方也正在清理假簽名。投資人呼籲董事會別急著換人,黃仁勳也正和親近的人討論回公司的可能。 報導分析,黃仁勳在輝達只有 3.6% 股份和同樣比例的投票權,因此不像採用雙重股權制度的公司創辦人,能靠額外投票權牢牢掌握公司。聯署者擔心,他離開後,輝達可能失去仰賴他個人關係維繫的重要合作。

  9. Dev.to Top Tech57

    本週資安事件整理:Check Point、Apache 與 AI 工具相關漏洞和攻擊

    這週多起資安事件顯示,常見設定問題也可能讓攻擊者取得更高許可權、竊取憑證或讓內部資料對外公開。Check Point 表示,攻擊者先利用 PHP 漏洞進入防火牆,再透過 Gaia OS 的漏洞取得 root 許可權,部分受害組織還遭遇資料破壞;官方已提供 hotfix,暫時無法更新時可停用 dynamic_server。Apache httpd 2.4.71 修補一個可能造成遠端程式碼執行的重大漏洞,受影響版本為 2.4.55 至 2.4.70。文章也整理了 AI 助理用來尋找憑證的攻擊活動,以及 Grok Build 部分應用程式未登入即可瀏覽的情況,並提醒更新軟體、輪替外洩的金鑰,檢查應用程式的分享許可權。

  10. Dev.to Top Tech47

    如何在 Android 手機上私下使用 DeepSeek R1 精簡模型

    把問題傳給 DeepSeek App,聊天內容可能會送到 DeepSeek 的伺服器;想讓資料留在手機上,可以改用 Off Grid AI。它會下載 DeepSeek R1 的精簡模型,透過 llama.cpp 在 Android 手機上執行,下載完成後即使沒有網路也能使用。模型大小要配合手機記憶體,例如 6 GB 記憶體的手機可用 1.5B 模型,8 GB 則可嘗試 7B,但可能比較吃緊。小模型比較容易答錯,推理也可能花較久時間;好處是提問內容不必送到 DeepSeek。

  11. Dev.to Top Tech85

    黃仁勳辭去 Nvidia 執行長,市場關注接班與公司如何回應

    Nvidia 執行長黃仁勳辭職後,市場除了關心公司接下來由誰帶領,也在追問中國銷售與國安疑慮。作者整理董事會調查、股價下跌與投資人要求黃仁勳回任等訊息,並指出 Nvidia 將在 11 月 17 日公佈財報,由暫代執行長的財務長 Colette Kress 主持。文中提到,間諜疑慮尚未證實,也沒有人證明有資料外洩;另有前 OpenAI 研究員聲稱,DeepSeek、Moonshot、MiniMax 和 Ant 的模型曾用 Blackwell 晶片訓練。作者認為,財報數字之外,Kress 如何說明公司路線和晶片銷售,才是市場關注的焦點。

    推薦理由:文章把執行長更替、股價反應與出口管制疑問連在一起,聚焦接班人如何說明公司路線與對外銷售。

  12. Dev.to Top Tech38

    DeepSeek Harness 查得到已知網址,卻無法搜尋網頁

    DeepSeek Harness 的 web_fetch 能開啟已知網址,但 web_search 找不到資料,原因是兩個工具背後用的服務不同。這次設定選用 DeepSeek 搜尋服務,雖然 API 金鑰存在,帳戶仍回傳 402 Insufficient Balance,表示帳戶餘額不足,不能完成搜尋;直接讀取公開網址則不需要這筆搜尋服務的帳戶餘額。 作者另外寫了 Tavily 的替代方案,但沒有用 Tavily 金鑰測試,所以還不能確認它能不能解決問題。這次經驗提醒我們,工具顯示已啟用,不代表背後的服務和帳戶都能正常使用;先確認搜尋服務是否可用,也能看出 AI 助理還有哪些工作做得了。

11月15日週日
  1. Dev.to Top Tech68

    Walid Hadri 用程式例子帶你看懂大型語言模型的演進

    大型語言模型看起來會回答問題,但它一開始學的其實是接著文字往下寫。Walid Hadri 用「法國首都是哪裡?」這個問題,帶讀者看模型如何從預測下一個 token,發展到理解指令、花更多時間推理,以及呼叫工具完成工作;文中也附上程式碼,讓人用開放模型重做部分例子。像 DeepSeek-R1 的小型版本有時會答對、有時會數錯「strawberry」裡的 r,說明多想幾步能幫上忙,卻不保證答案正確。

  2. 🚨 AI News | TestingCatalog38

    這份簡報整理多家公司近期的 AI 產品與服務訊息,包含功能更新、測試與上市計畫。例如,ChatGPT Wallet 正向美國 Pro 訂閱者推出,讓 AI 助理付款時不必看到使用者的真實信用卡資料;DeepSeek API 則加入搜尋、檔案、語音等功能,也提供 OCR、ASR 和 TTS。其他訊息還包括 Claude Code 桌面版支援自訂主題、Grok Bot 可加入會議,以及 Sesame 推出每月 $20 的 Plus 和 Pro 方案。這些更新顯示 AI 工具正逐漸能處理付款、工作協作與語音等更多日常任務。

  3. Dev.to Top Tech36

    ChatGPT、Grok 等 7 款 AI 聊天機器人實測:誰寫行銷文最可靠?

    想用 AI 寫社群貼文或商品介紹,最怕它擅自補上沒說過的產品功能,害人把錯誤資訊直接貼出去。這次測試讓 7 款 AI 聊天機器人各寫 4 種短文,再逐一檢查內容。ChatGPT 每次都只給一個版本,也沒有編造資料;Grok 表現也不錯。Claude 會在缺少資訊時先詢問,但有時會給好幾個版本;其他模型則更常自行加料,例如替水壺寫上「免費配送」。7 款裡有 6 款加了原本沒提供的產品特色,5 款也超過 Instagram 每篇 5 個標籤的限制。AI 寫得像真的,不代表內容正確,發布前還是要逐項確認。

  4. Dev.to Top Tech58

    如何把過去的 AI 程式開發紀錄變成評測案例

    想知道 AI 程式助理的設定改了之後有沒有變好,只看完成時間或成功次數,很難公平比較。作者把一次舊任務整理成新評測案例:從紀錄取回當時的需求和 Git 起始版本,再準備一個有記錄差異的近似執行環境,讓新的 AI 助理重新完成任務。接著用實際執行檢查輸入內容、產生的摘要值和檔案變化,也跑原有的專案檢查。一次新嘗試通過了所有檢查,但環境並未完全隔離,原始解法也可能已公開,因此這個結果只適用於那次執行。儲存需求和起始版本,能讓未來重跑舊任務更容易。

  5. Dev.to Top Tech62

    Agent Relay 重算 AI 助理基準:高分模型不一定最划算

    挑 AI 助理時,只看平均分數,可能看不出每次好答案要花多少錢,也看不出它有多少次完全沒答好。Agent Relay 根據 Deepnote 的 Agent Initiative Benchmark 公開資料,重新計算每個模型取得滿分回答的成本,並比較零分次數和不該發言時的誤報。結果顯示,平均分數最高的 GPT-6 Astra,每次滿分回答約 $1.33;GPT-6.1 Sol 約 $0.255,便宜約 5.2 倍,兩者的分數區間也有重疊。作者提醒,基準只有 50 項任務,這些數字適合用來篩掉不合需求的模型,不能據此精確選出勝者。

  6. Dev.to Top Tech51

    實測 DeepSeek-V3 和 DeepSeek-Coder-V2 在本機 GPU 上的記憶體需求與速度

    把大型模型放在自己的電腦上跑,常會遇到顯示卡記憶體不夠,或速度慢得難以使用的問題。作者實測 DeepSeek-V3 和 DeepSeek-Coder-V2,說明即使模型每次只啟用部分引數,所有引數仍要放在顯示卡或系統記憶體裡。以 DeepSeek-Coder-V2 為例,兩張 RTX 3090 搭配系統記憶體時,速度約為每秒 3.2 到 4.1 個 token;Mac Studio Ultra 的測試則約為每秒 14.8 到 18.2 個 token。文章也指出,把資料搬到系統記憶體會拖慢運算,可用這些實測結果估算本機部署需要的硬體。

  7. Hacker News (official RSS)68

    DeepSeek-V3 的核心架構濃縮成 190 行 JAX 程式碼

    DeepSeek-V3 的完整模型很大,不容易直接看懂架構怎麼運作。作者用 190 行純 JAX 程式碼重現其中幾個核心設計,並在 MacBook Air 上從頭訓練一個小型示範模型。程式包含壓縮注意力、專家路由,以及讓專家工作量更平均的調整方式;實驗中,加入調整後,各專家的工作量較平均,驗證損失則與未加入時相近。這個模型只有 36.2M 個引數,作者也提醒,它是架構示範,不是能力強大的語言模型。

11月14日週六
  1. Tom’s Hardware AI & Computing68

    研究者比對模型權重,推測 DeepSeek、Kimi 等模型用過 Blackwell 晶片訓練

    研究者想知道中國的開放權重模型是否用過受出口管制的 NVIDIA 晶片,於是比對模型權重的統計分佈與不同晶片訓練時留下的特徵。他們表示,DeepSeek V4、Kimi K3.1、MiniMax-M3 和 Ling-3.1-Flash 的資料與 Blackwell 或 Hopper 晶片相符;分析也排除了 DeepSeek V4 使用 AMD 晶片的可能。不過,這種方法只能辨認晶片家族與推估使用數量,無法確認晶片在哪裡、如何取得,也不能證明有人違反出口管制。

  2. Tom’s Hardware AI & Computing68

    律師升級 8 張 V100 伺服器,讓 DeepSeek V4.1 Flash 多數運算升至 4-bit

    這臺用 8 張 V100 顯示卡執行 DeepSeek V4.1 Flash 的私人伺服器,原本只能把模型權重壓到 2-bit,升級後約 80% 的運算路徑能用 4-bit NVFP4。做法是把常用的模型部分升到較高精度,其餘仍維持 2-bit,並把記憶體加到 1TB、加入 RTX 3090。測試顯示,輸出速度比原本慢,但結果更接近參考版本;兩個請求同時執行時,總輸出量也比單一請求高。伺服器原先的當機問題最後被認為可能來自故障電源供應器,換掉供電後,9 次長時間對話都沒有出錯。

  3. Dev.to Top Tech42

    如何在 Azure 部署 DeepSeek-R1 和 Qwen,沒人使用時自動停機省費用

    自行架設 DeepSeek-R1、Qwen 這類開放模型,可以讓資料留在自己的環境裡,但 Azure 的 GPU 虛擬機器若整天開著,就算半夜沒人使用也會一直花錢。這篇教學用 FastAPI 做一個入口,部署到 Azure Container Apps;連續 5 分鐘沒有請求,服務就會停下來,閒置時的運算費用是 $0。有人送出請求時,Azure 會重新啟動服務,第一次要等約 25–35 秒,之後就能逐段顯示回答。原本使用 OpenAI SDK 的程式只要改連線網址,就能呼叫這個入口;適合想自己架設模型、又不想讓服務整晚空轉的團隊。

  4. Dev.to Top Tech82

    DeepSeek API 加入網頁搜尋、檔案與語音功能,並分項收費

    DeepSeek 把原本在自家 App 裡的搜尋、讀取網頁、檔案和語音功能開放給開發者透過 API 使用,模型會依設定搜尋網頁、讀取連結或把檔案內容放進對話,也能處理語音。除了模型 token 費用,各項工具還會另外收費,例如搜尋與讀取網頁每 1,000 次成功請求 US$0.75,掃描頁面辨識文字每 1,000 頁 US$0.225。安全設定可檢查輸入和輸出;若服務對外提供,開發者也要負責內容安全檢查、模型登記與 AI 生成內容標示。示範聊天工具會把 API 金鑰和對話存在使用者的瀏覽器,文章提醒不要拿它處理敏感資料。

    推薦理由:DeepSeek 把搜尋、讀取網頁、檔案與語音功能接進 API,並分項計價,文中也整理了公開服務需要留意的安全責任。

  5. Dev.to Top Tech74

    MIT CSAIL 團隊用 50 次模型執行,修正 Qwen3.5-0.8B 的重複輸出

    小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重;在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力;每種修改只測了一次,結果仍需小心解讀。