跳到正文

#推理

RSS
今日 9 則
11月18日週三
  1. Rohan Paul53

    一般模型要先生成文字再選答案,處理大量搜尋或推薦問題時可能比較慢。Karpo-Decision-31B 改用選項評分:每個選項對應一個程式碼,模型替程式碼打分,再從中挑出答案,因此不必生成文字。原文列出它在 Decision Index Full 得分 73.9,與 GLiDE 27B 並列 300 個模型中的第一名;和 Jev 1.14 相比,中位處理時間是 95 毫秒,對方是 196 毫秒。作者認為,開放權重也適合需要大量相關性判斷的搜尋與推薦服務。

  2. Rohan Paul51

    用 AI 助理幫忙挑選下一個模型設定,聽起來能省下試錯時間,但錯誤建議也可能把搜尋帶偏。Amazon 與麻薩諸塞大學的論文比較加入 LLM 評審和不加入時的結果:Llama-3.1-8B 在 8 個資料集中的 7 個表現較差,AUC 最多下降 0.245;理想的評審最多隻提高約 0.005 AUC。作者也發現,使用 250 組設定、進行 20 輪搜尋時,傷害大多會減少。團隊可用相同的搜尋預算做對照,確認評審有幫助再採用。

  3. aihot95

    OpenAI 推出 GPT-6.2 Astra 與 Sol,分別主打專業工作和日常任務

    處理複雜工作時,模型可能花很多時間和 token,成果也未必符合專業格式。OpenAI 推出 GPT-6.2 Astra 與 GPT-6.2 Sol:Astra 主打法律、金融、科學、程式開發與設計等複雜工作,Sol 則面向日常辦公和多步驟任務。OpenAI 表示,兩款模型在多項測試中用更少 token 做出更好的結果;Astra 的 API 價格是每百萬 token 輸入 8 美元、輸出 40 美元,Sol 沿用 GPT-6.1 Sol 的價格。兩款模型都達到 OpenAI 所定的網路安全 Critical 門檻,因此發布時也加強了高風險網路安全工作的防護措施。

    推薦理由:兩款模型分別瞄準複雜專業工作與日常任務,原文以多項基準、每項任務成本和防護門檻呈現差異,可據此比較用途與成本。

  4. a16z39

    研究品味,是看出哪些點子長遠來說重要、能被其他想法接著使用,最後也可能超越最初發表的論文。John Schulman 認為,研究直覺來自親自做研究,也要大量閱讀過去的成果,從中吸收經驗。Mark Chen 則說,現在的模型還不太會想出好點子,反而更擅長調整超引數等細節。未來公司可能用人類回饋強化學習,請研究人員評分哪些想法好、哪些不好,讓模型從中學習。這很重要,因為做研究不只要把引數調好,還得知道哪些問題值得花時間。

  5. Dev.to Top Tech86

    Gemini 4 Hydrogen 在整體指數上高於 Argon,各項任務表現仍有差異

    挑模型時,只看一個總分或每個 token 的價格,可能看不出它在哪些工作上更合適。Google 推出 Gemini 4 Hydrogen,並公佈它和其他模型在多項測試中的成績:它在程式修補與自動化測試表現較好,但在電腦操作和科學類終端任務落後 Claude Sonnet 5.5。Hydrogen 有四種思考等級,也採用固定單價;Google 另稱,Antigravity 的 Orchestrator 能在同一段工作中切換 Carbon 與 Hydrogen,減少用量並縮短完成時間。文章建議團隊依實際任務測量完成工作的成本和速度,再決定怎麼分配模型。

    推薦理由:文章把 Gemini 4 Hydrogen 的多項基準表現與價格放在一起比較,說明團隊如何依工作型別評估模型分流。

  6. OpenAI News73

    OpenAI 更新 Astra for Law,提升法律研究與檔案撰寫表現

    法律工作需要查詢判例、整理資料並寫出有根據的答案,引用錯誤可能造成嚴重影響。OpenAI 更新了 Astra for Law,將 GPT‑6.2 Astra 搭配更大的法律搜尋資料庫與法律研究指引,協助模型查法規、衡量不同依據並撰寫答案。在一項測試中,它有 20.8% 的作業拿到滿分;在另一項法律研究測試中,滿分比例從約 46% 升到 53.8%。搜尋資料庫也增加超過 80 million 個網址。ChatGPT Enterprise 客戶現在可申請使用,也可申請 API 存取權。

    推薦理由:原文比較 Astra for Law 在多項法律測試中的表現,也說明法律搜尋資料庫擴充後,研究答案的完整得分比例有所提升。

  7. AWS Machine Learning Blog63

    AWS SageMaker JumpStart 開放部署 OpenTSLM 時間序列模型

    只看大量裝置數字,很難及早看出問題從哪裡來。OpenTSLM 能把 CPU 使用量、磁碟空間等數值,和維修紀錄或文字說明放在一起分析,再整理可能的狀況、建議檢查方式和預期結果。文中以 Nexthink 的 IT 支援為例,Spark 會先確認磁碟空間是否不足,經員工同意後才進行清理,並確認問題是否改善。AWS 也示範如何在 SageMaker JumpStart 部署模型,以及用 ARFBench 資料微調;這提供了把時間序列資料接進實際工作流程的做法。

    推薦理由:OpenTSLM把數值變化和文字背景放在一起分析,文中也示範如何部署與微調,呈現從資料到實際 IT 支援的做法。

  8. TechCrunch · AI64

    決策模型使用快速增加,客製化會成為下一個發展方向嗎?

    有些工作需要快速從幾個選項中做決定,不一定要等大型語言模型完整推理。決策模型會在預設選項中挑答案,並標示自己有多大把握;文章提到,去年 10 月 Vercel 的 AI 模型路由器中,超過四分之一的請求交給了這類模型。Sqwish 提供工具,讓客戶用自己的資料持續調整模型的判斷;Microsoft 也宣佈在 Azure 推出 Microsoft-Decision-1.1。業者認為,模型在實際工作中的表現,不能只看基準測試,還要看準確度、速度、可靠性和成本是否合用。

  9. 🚨 AI News | TestingCatalog69

    TestingCatalog 貼文稱,OpenAI 已宣佈 GPT‑6.2 Astra 和 Sol,並引用基準測試比較它們的表現與成本。貼文表示,GPT‑6.2 Astra 在 Agents’ Last Exam 的分數比 GPT‑6 Astra 高 5.2 分,成本不到三分之一;比 Claude Fable 5.2 高 5.5 分,成本是其 5%。貼文也稱,6.2 Sol 的表現勝過 Opus 5.5。這些是貼文轉述的測試結果;文中沒有提供測試細節。

  10. BlockTempo 動區動趨90

    OpenAI 發布 GPT-6.2 Astra 與 Sol,主打省成本和多步驟工作

    OpenAI 推出 GPT-6.2 Astra 和 GPT-6.2 Sol,讓高難度工作與日常任務各有一款模型可用。Astra 面向複雜專案,官方表示它在部分測試中比前代表現更好,單項任務成本不到前代三分之一;Sol 則適合多步驟工作,程式測試成績接近 Astra,成本約為五分之一。兩款模型也在資安測試中達到官方所說的高風險能力門檻,因此發布時加上更嚴格的防護與監控。新模型已開放給付費訂閱使用者和 API 開發者使用,Astra 的 API 價格比前代降低 20%。

    推薦理由:文章比較兩款模型在任務成本、程式與專業測試上的差異,也交代資安防護門檻,能看出它們各自適合的工作情境。

  11. Dev.to Top Tech39

    四篇 AI 研究改善圖片推理、語音合成與模型運算速度

    AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。

  12. Artificial Analysis83

    OpenAI 發布 GPT-6.2 Astra 和 GPT-6.2 Sol。Artificial Analysis 的評測顯示,Astra 在 Intelligence Index 排名第二,僅次於 Claude Fable 5.2;Sol 得分 57,和 GPT-6 Astra 相當,完成任務的成本約為其 15%。Astra 的價格是每百萬輸入與輸出 token $8/$40,比 GPT-6 Astra 低 20%,快取輸入則從 $1.00 降到 $0.40;Sol 的價格維持每百萬輸入與輸出 token $2/$10。兩款模型在科學、3D 和機器人評測表現突出,但編碼助理評分沒有提升:Astra 持平,Sol 比前代低 3 分。

    推薦理由:GPT-6.2 Astra 與 Sol 在多項評測的名次和價格效率各有表現,也出現編碼評分停滯或下滑,便於比較不同用途的取捨。

  13. a16z38

    AI 已經能幫研究人員更快做實驗、寫程式和測試想法,但它離自己規劃並完成研究還有多遠?a16z 的節目邀請 OpenAI 的 Mark Chen,以及 Thinking Machines Lab 的共同創辦人 John Schulman,討論「遞迴式自我改進」:AI 能不能研究如何讓自己變得更好,再用新方法繼續改進。他們也談到研究直覺為何難教,以及 AI 為什麼可能成為協助解決 AI 對齊問題的重要工具。

  14. aihot81

    OpenAI 發布 GPT-6.2 Astra 和 Sol,科學與機器人評測領先,編碼助理沒有進步

    OpenAI 發布 GPT-6.2 Astra 和 GPT-6.2 Sol,Artificial Analysis 的評測顯示,兩款模型在不同任務上的表現有高有低。Astra 在智慧指數排名第二,也在 3D 和機器人評測中領先;Sol 的智慧指數分數則比前一版高 2 分。價格方面,Astra 比 GPT-6 Astra 便宜 20%,Sol 的價格維持不變。不過在編碼助理評測中,Astra 和前一版打平,Sol 則少了 3 分。

    推薦理由:Artificial Analysis 的評測顯示,Astra 在多項科學、3D 與機器人測試表現突出,但編碼助理指數沒有提升,可用來比較不同任務的進步幅度。

  15. ARC Prize71

    GPT-6.2 Astra 在 ARC-AGI 的三個版本測試中拿下不同分數,ARC Prize 貼出成績與部分測試成本。ARC-AGI-3 的標準測試分數是 70.3%,成本為 $24.2K;透過 provider adapter 測試則是 100.0%,成本為 $4.1K。ARC-AGI-2 得分 95.8%,每題 $0.50;ARC-AGI-1 得分 98.5%,每題 $0.17。貼文稱,這是第一個在 ARC-AGI-3 得到 100% 的模型。

    推薦理由:這組結果同時列出三個 ARC-AGI 版本的分數與部分成本,能看出同一模型在不同基準上的表現差異。

  16. Hacker News (official RSS)94

    OpenAI 推出 GPT-6.2 Astra 與 Sol,分別主打複雜工作和日常任務

    OpenAI 推出兩款新模型,讓使用者能依工作難度和成本選擇。GPT-6.2 Astra 主打複雜專業任務,能製作更貼近範本的簡報、試算表和檔案,也能寫程式、操作設計工具;GPT-6.2 Sol 則主打日常工作,能處理多步驟任務,API 價格沿用 GPT-6.1 Sol。兩款模型都已提供給部分 ChatGPT Work 和 Codex 方案使用,也能透過 OpenAI API 呼叫。OpenAI 表示,模型的資安能力提升,因此加強了高風險資安協助的限制;GPT-6.2 Astra 也達到 AI 自我改進能力的 High 門檻。

    推薦理由:GPT-6.2 Astra 與 Sol 分別瞄準複雜專業工作和日常任務,文中以基準測試與每項任務成本比較兩者表現。

  17. Hacker News (official RSS)60

    RunAnywhere 開源 TrnRT,讓 GLM-5.3-Flash 在 AWS Trainium2 上運作

    大型語言模型要在 AWS Trainium2 上提供服務,需要配合硬體準備模型和程式。RunAnywhere 開源了 TrnRT,能在一臺 trn2.48xlarge 上運作 GLM-5.3-Flash,並提供相容 OpenAI 的 API,讓現有使用者端可以呼叫。它也會記住已處理過的文字,讓相同開頭的請求少做一些重複工作。作者列出不同批次設定下的速度、延遲和成本;例如批次 12 每分鐘處理 3.57M 個 token,每百萬 token 的 spot 成本為 $0.040。這些數字來自較早版本的 TrnRT。

  18. vLLM58

    AI 模型在長對話中會用掉大量記憶體,草稿模型也需要推論系統配合才能投入實際使用。vLLM 團隊公佈為 Kimi K3.1 Pro 設計的 DSpark,這項工作由 Inferact 與 Red Hat Speculators 團隊共同開發。每個草稿層都使用 2K 的滑動視窗,讓草稿 KV 記憶體用量維持在固定範圍,即使上下文長達 1M tokens 也一樣。HumanEval 測試中,DSpark 的接受長度比預覽版提高最多 30%;vLLM 重新設計的 KV 管理也支援分離式推論與不同的平行配置。

  19. The New Stack72

    CoreWeave Forge 串起自訂模型訓練與線上服務

    模型上線後,實際使用時遇到的問題可能不會出現在基準測試裡;而且出錯原因也可能在提示詞、工具或資料檢索,不一定要重訓模型。CoreWeave 推出 Forge,讓團隊把線上使用資料整理成訓練資料、調整模型,再和目前使用的版本比較。文章也介紹可用 Python 自訂訓練流程的 API,以及 RL Rollouts 如何在訓練時把新權過載入服務中的模型。文中一個網頁搜尋案例的 BrowseComp 準確率從 36.97% 提升到 45.45%,平均工具呼叫次數減少 30.24%;這些結果來自多項調整共同作用。

  20. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

  21. ByteByteGo Newsletter (Alex Xu)47

    為什麼 LLM 想得越久,有時反而越容易答錯?

    多想幾步有時能幫 LLM 找出錯誤,但也可能讓它把原本正確的答案改錯。LLM 會一小段一小段地寫出內容,前面寫下的想法會影響後面的推算。像商品先漲 20% 再降 20%,最後是 $96;先算出漲價後的 $120,就比較不容易把兩次變化誤認為互相抵銷。 DeepSeek 用評分方式訓練 R1-Zero,讓模型從多次嘗試的結果中學習哪些解法比較好,也可能回頭檢查先前的步驟。不過,模型有時答對後還會繼續推演:研究中的模型算出「2 + 3」等於 5 後,又接著寫出其他解法。這提醒我們,多花時間思考不一定讓答案更好;模型也得學會何時該停下來。

  22. NVIDIA Newsroom Press Releases79

    NVIDIA 推出 Nemotron for Science,讓 AI 助理協助規劃科學實驗

    研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。

    推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。

11月17日週二
  1. Dev.to Top Tech64

    為什麼讓模型多想一會有幫助?測試時運算如何改變模型擴充套件方式

    模型多花時間思考,有時能答對原本容易答錯的數學或程式題,但也會增加等待時間和每次回答的成本。文章整理三種做法:多試幾個答案再投票、搜尋多條解題路徑,以及先作答再檢查修改。研究顯示,依題目難度分配運算,效果可能比每題都用同樣力氣好;較小的模型在簡單或中等難度題目上,有時能靠額外運算勝過大 14 倍的模型,但碰上它幾乎答不出的難題時,多想幫助有限。這套方法也仰賴可靠的檢查方式,否則模型可能花更多時間,卻把錯誤答案說得更有把握。

  2. Hacker News (official RSS)79

    OpenAI 推翻一項電腦科學假設,但目前還沒有實際應用

    電腦科學家長期認為,有些問題很難快速解出來,即使答案一旦找到就很容易檢查。OpenAI 表示,它用 AI 推翻了相關的「指數時間假設」;這項結果不等於解開了「P vs. NP」,也不代表電腦現在就能快速破解加密或設計新藥。研究者認為,這可能指出找到更快演演算法的方向,甚至幫助電腦設計更好的晶片;但眼下的快速解法仍只存在理論上,還沒有直接的實際應用。

    推薦理由:這項結果動搖了「某些問題無法快速求解」的假設,但目前仍只有理論意義,實際應用還需要多年工程工作。

  3. Dev.to Top Tech73

    阿里推出 Qwen4-Max,但只提供封閉 API,沒有可下載的模型權重

    團隊想用更省成本的模型,又希望能在自己的伺服器上部署;Qwen4-Max 在這兩件事上帶來不同取捨。阿里推出的 Qwen4-Max 有 2.4 兆個引數,每個 token 啟用 710 億個引數,支援 1M-token 上下文視窗,但只能透過封閉的 QwenCloud API 使用,沒有可下載的模型權重。文章指出,它在指定測試中的 token 用量減少 48%–49%,Work360 平均任務成本從 $4.43 降到 $1.67;不過,想用自家 GPU 執行模型的團隊無法自行部署,也少了改用本地模型的退路。

  4. ARC Prize64

    ARC-AGI 不同版本的測試結果和每題費用,能讓人看出模型在各項測試中的表現。ARC Prize 分享了 Mercury 3 Preview 的評測數字:ARC-AGI-3 在 provider adapter 下為 0.2%、費用 $299,在 standard 下為 0.1%、費用 $333;ARC-AGI-2 為 61.8%、每題 $0.06;ARC-AGI-1 為 88.5%、每題 $0.03。ARC Prize 也表示,這是他們評測的第一個擴散模型,速度最高可達每秒 1,743 tokens。

  5. Understanding AI (Timothy B. Lee)80

    七位物理學家談 AI 如何改變物理研究與年輕研究者的未來

    AI 已經能替物理學家做不少計算,甚至解出研究者私下準備的難題,但大量新論文也讓人難以判斷哪些值得讀。作者訪問七位物理學家,談到他們如何用 AI 助理檢查計算、找出舊論文的錯誤,以及探索其他領域的想法;其中一項物理題目測試,在正式公開前就被 GPT-6 Astra 幾乎全部解出。物理研究仍要靠實驗檢驗想法,這和數學不同;受訪者也擔心,若 AI 接手例行計算,年輕研究者要怎麼累積經驗、建立研究能力。

    推薦理由:七位物理學家的經驗呈現 AI 加快計算與論文產出的同時,也帶來訓練新一代研究者與判讀大量研究的難題。

  6. Latent Space65

    Cloudflare 為何自稱 Neolab,從網路基礎設施走向自研模型

    大型語言模型有時會把資料中的數字看錯,也可能輸出格式不合用的答案。Cloudflare 開始推出自己的小型 System One 模型:Clef 參考 TypeSafe AI 的 Jev,Clairic 則用來從零散資料中擷取或估算指定的值,例如從發票讀出訂單號碼。這類模型希望用更快的方式處理部分工作,減少每個請求都交給大型語言模型的需要。文章也指出,Cloudflare 已有大量營收,和一般所說的「Neolab」條件不完全相同;公司把自研模型視為從基礎設施、運算和模型服務一路延伸而來的下一步。

  7. Dev.to Top Tech68

    Wan 3.0 和 Kling 4.0 長影片評測:比較畫面控制、測試結果和價格

    要做 30 秒影片時,Wan 3.0 和 Kling 4.0 都能輸出 1080p,但整理素材和控制畫面的方式不同。Wan 3.0 可把圖片、影片、音訊或檔案當作參考素材;Kling 4.0 則能用最多 10 個關鍵畫面安排鏡頭移動。文中整理的排行榜把 Wan 3.0 列在文字生成影片第 1 名,但 Kling 4.0 當時還沒有自己的排行榜成績,兩者不能直接用這項排名比較。價格方面,30 秒 1080p 影片的公開 API 費用約為 Wan 3.0 的 $6.00、Kling 4.0 的 $7.05;社群測試也提到,Wan 3.0 要產生角色說話聲,通常得另外使用對嘴功能。

  8. Dev.to Top Tech46

    GRPO 如何運作:省掉 Critic,讓 AI 用同一題的多種答案互相比較

    用 PPO 訓練大型語言模型時,通常得另外放一個 Critic 模型來估算每一步答得好不好,吃掉不少 GPU 記憶體;但數學題或程式題常常只有最後答案才知道對錯,中間每一步很難評分。GRPO 會讓模型針對同一題產生多種答案,再用答案的分數互相比較:比平均好就鼓勵,比平均差就減少這種答法的機會,因此不必另外訓練 Critic。 像凸五邊形內角和,模型試出 4 個答案,其中 2 個正確、2 個錯誤,GRPO 就能依照這群答案的表現調整模型。DeepSeek-R1-Zero 的數學與程式任務也採用規則檢查答案對錯;訓練久了,模型可能會學會停下來重新檢查。這種做法能省下 Critic 佔用的記憶體,也讓答案有明確對錯的任務更容易用結果來訓練。

  9. Dev.to Top Tech50

    AI 影片生成如何運作?從雜訊一步步變出畫面

    AI 生成影片時,不是去找現成片段來剪,而是先把影片壓縮成電腦好處理的小區塊,再從一片雜訊開始,依照提示詞反覆修整,慢慢拼出畫面。模型會一起比對不同時間、不同位置的區塊,讓同一個人看起來前後一致;有些模型也能在生成畫面的同時做出聲音。比如輸入「烘焙師把可頌端上櫃檯」,還能指定鏡頭、光線、動作和聲音。 不過,AI 並不真的懂重力或物品怎麼碰撞,所以手可能融進杯子,背景文字也可能變成亂碼;影片越長,運算越吃力,小錯誤也越容易一路累積。想讓角色或商品在多個鏡頭裡保持一致,可以提供參考圖片,並把提示詞寫清楚。這些工具已能用來做短片、分鏡和社群影片素材,但要做出可靠成品,仍得靠人把關和安排工作流程。

  10. Dev.to Top Tech83

    Mistral Large 4 正式推出,開放權重供下載

    Mistral Large 4 已從預覽版轉為正式版,並開放模型權重下載;不過,各家測試它寫程式的結果差距不小。Mistral 表示,它在 Terminal-Bench 4.0 得到 41%,比預覽版高 13 個百分點,輸出 token 也少了 30%;獨立測試則約為 23% 到 25%,文章提醒這些差異可能來自測試工具和設定不同。另一項較有把握的優點是完成任務所用 token 變少,測得的單次任務成本也從 $5.54 降到 $2.06。API 價格已下調;Large 3 和 Medium 3.5 預計於 2027 年 4 月 30 日停止服務,使用者需要安排遷移。

    推薦理由:不同評測環境得出的程式任務分數差距很大,文中也比較了輸出量與單次任務成本,能幫助讀者判斷該怎麼看這些數字。

  11. Solidot45

    加州理工教授 Yi Ni 因數學作業容易用 AI 完成,改為只看有沒有交

    加州理工教授 Yi Ni 教的是所有學生都要修的數學必修課,但他發現,學生可以用 AI 解出作業題,光看答案對不對,已經很難知道學生是不是真的會。他現在只看作業有沒有完成,不再按答案正確與否打分。一名數學系學生說,自己不用 AI,因為依賴 AI 的人到了現場考試就會露出破綻。這也讓老師很難從數學答案看出學生是否用過 AI。

  12. MarkTechPost76

    Sarvam 推出 Token Factory,讓 8 款開放權重模型在印度提供推論服務

    把模型放在海外雲端,印度團隊可能會遇到連線延遲;Sarvam 推出 Token Factory,讓開發者透過同一個 OpenAI 相容 API,使用部署在印度 GPU 叢集上的 Sarvam 與開放權重模型。平臺也提供企業在自家環境部署的選項。Sarvam 表示,部分測試中首個 token 等待時間較短,Kimi K3.1 Pro 的每張 GPU 每秒輸出量是 InferenceX 的 1.9 倍;但在 DeepSeek V4.1 Flash 的測試裡,Together 的串流速度較快。文中的效能數字都來自 Sarvam 自行測量。

    推薦理由:Sarvam Token Factory 把多款模型放在印度的 GPU 叢集上提供服務,報導也比較了自家測試結果與其他平臺,能看出速度優勢並非每項都領先。

  13. Dev.to Top Tech81

    IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數

    許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。

    推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。

  14. Dev.to Top Tech39

    從一個可訓練引數看懂:next-token prediction 怎麼學數學?

    next-token prediction 是一種訓練目標,不代表模型只能處理前後相鄰的文字。文中用一個很小的模型示範:模型只調整引數 w,學會把輸入乘以 2。輸入 3、5 時,目標分別是 6、10;學好後,模型遇到沒練過的 7,也算出約 14,因為它沿用了引數裡學到的關係。 大型語言模型的結構複雜得多,但研究顯示,Transformer 可以在這種訓練方式下學會算術;題目怎麼寫、是否提供中間步驟都會影響結果,而且模型把學到的規則用在更長的算式上仍有困難。這個小模型只是在說明引數如何學習,不能代表大型語言模型完整的運作方式,也不保證它能通用地解數學題。

  15. Dev.to Top Tech64

    用 Laplace 近似估算神經網路有多不確定

    一般神經網路只給出一個預測,卻不會說自己有多確定;完整的貝葉斯推論又很難直接用在大型網路上。文章說明 Laplace 近似如何從已訓練模型的最佳解附近,檢視損失變化有多快,再用這些資訊估算權重和預測的不確定性,不必重新訓練模型。實作時可只看最後一層,或用 KFAC 等方式簡化計算;不同方法在準確度和成本之間各有取捨。這種估算適合當作快速參考,但它只看最佳解附近,遇到多個可能解或不符合常態分佈的情況,可能低估不確定性,因此仍要用保留資料檢查校準結果。

  16. Dev.to Top Tech60

    實測 Qwen3.6 在單張 Radeon RX 6900 XT 上同時服務多人有多快

    一張顯示卡同時服務多人時,總速度會變快,但每個人分到的速度會下降。作者用一張 16 GB Radeon RX 6900 XT,測試 Qwen3.6-27B 和 Qwen3.6-35B-A3B:MoE 模型從 1 個連線增加到 4 個時,總速度約為 240 tokens/s,每個連線約 60 tokens/s;增加到 8 個時,每個連線約 33 tokens/s。提示詞越長,等到第一個 token 的時間也越久;記憶體不足時,速度可能大幅下降。作者提醒,規劃多人使用時要替每個連線預留顯示卡記憶體。這是單張卡、兩個模型的速度測試,不能代表其他硬體的結果。