跳到正文
aihot(aihot.news)· noreply@aihot.news (Together AI 研究與產品部落格)·· 2 天前精選品質評分74

Together AI 上線 Qwen4 Max,實測一次修好 Tornado 整個程式庫的 bug

Qwen4 Max 上線 Together AI,單次呼叫修復 Tornado 整倉 bug

重點導讀

修理大型程式庫的 bug,常得先找出相關檔案,再確認修改有沒有弄壞其他功能。

  • Together AI 把 Tornado 的 344 個檔案和一份 bug 說明一次交給 Qwen4 Max,沒有先挑檔案或使用工具。
  • 模型在 72 秒後提出修補方式,並找出程式庫裡可參考的舊寫法。套用修補後,兩個針對這個問題的測試和整套 1,673 個測試都通過。這次請求用了 652,519 個輸入 token,促銷價約 69 美分。
  • 重送相近內容時,快取讓輸入費用降到約 3 美分。Qwen4 Max 已在 Together AI 上線,支援 100 萬 token 的上下文視窗,但目前只接受串流請求。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次實測把整個 Tornado 程式庫一次交給模型,呈現長篇程式碼修補的流程、測試結果與費用。

正文

Together AI 研究與產品部落格·2026-11-21 08:00· 22 小時前精選AI 評分72

Qwen4 Max is live on Together AI

AI 導讀

Together AI 宣佈阿里旗艦模型 Qwen4 Max 上線其 Serverless 推理平臺(模型串 Qwen/Qwen4-Max),1M token 上下文,截至 2026 年 11 月 22 日 7 折。

推薦理由

Together AI 用一次 65 萬 token 的整倉修 bug 實測展示 Qwen4 Max 的長上下文編碼能力,並給出價格、快取和呼叫細節。

我們把一份 bug 報告和整個程式碼庫一次性交給了 Qwen4 Max。程式碼庫是 Python Web 框架 Tornado:全部 344 個檔案,652,519 個 token。模型沒有工具可用,我們也沒有預先挑選相關檔案或先跑一遍檢索。72 秒後它返回了一個補丁,而這個補丁通過了 Tornado 維護者為該 bug 編寫的測試。這次請求花了 69 美分。

它還在倉庫的其他地方找到了先例。bug 報告裡從未提到 tornado/iostream.py,但模型指出那裡的程式碼已經用它的補丁所需的方式處理了錯誤。Tornado 維護者在自己修復時也引用了同一處程式碼。

Qwen4 Max 是阿里巴巴的旗艦 Qwen 模型。它今天已在 Together AI 上線,並在 2026 年 11 月 22 日前享受 30% 折扣。

測試

Tornado 是一個開源 Python Web 框架。它的倉庫包含約 340 個程式碼、測試和文件檔案。這能放進 Qwen4 Max 的上下文視窗,而且遠超任何人會手動貼上進提示詞的內容。我們挑選了維護者在 2026 年 11 月 18 日提交的一個修復——也就是 Qwen4 Max 釋出兩天後——並針對該提交之前的倉庫狀態進行了測試。

這只是一個例子,用來展示單次呼叫能做到什麼,以及它的成本。

這個 bug 出在 Tornado 的 websocket 程式碼裡。當連線關閉時仍有訊息未傳送,每一個未被 await 的 write_message() 呼叫都會記錄一條錯誤,儘管 await 它是可選的。我們把該檢出中的每個文本檔案作為一個提示詞傳送,並附上一份只描述症狀的 bug 報告:

write_message logs "Task exception was never retrieved" when the connection closes

當 websocket 連線在仍有訊息未傳送時關閉(例如,客戶端傳送了訊息和一個 FIN,或重置了連線,卻沒有讀取回復),每一個結果未被 await 的 write_message() 呼叫都會在 ERROR 級別記錄“Task exception was never retrieved”。

await write_message 返回的 Future 是可選的,因此未 await 的呼叫不應記錄任何內容。而確實 await 它的呼叫方仍應收到 WebSocketClosedError。

我們要求給出原因和補丁。這是重放後的請求:

返回結果

第一個 token 在 54 秒後到達,回覆在 72 秒時完成。Qwen4 Max 將錯誤追溯到 tornado/websocket.py 中的 WebSocketProtocol13.write_message。該方法把每次寫入包裝在一個任務中。當連線關閉時,任務因一個無人必須收集的異常而失敗,Python 會將其記錄為“Task exception was never retrieved”。

模型的補丁將該異常標記為已檢索。這樣就不會記錄任何內容,而確實 await 寫入的呼叫方仍會收到錯誤:

-        return asyncio.ensure_future(wrapper())
+        task = asyncio.ensure_future(wrapper())
+
+        # Awaiting the returned Future is optional, so an error nobody looks
+        # at must not be reported as "Task exception was never retrieved".
+        # Retrieving it here leaves it in place for callers that do await.
+        def _mark_retrieved(t: "asyncio.Task[None]") -> None:
+            if not t.cancelled():
+                t.exception()
+
+        task.add_done_callback(_mark_retrieved)
+        return task

先例讓這個補丁讀起來像是專案本身的一部分。模型的解釋稱,修復應當做 BaseIOStream.write 已經為其自身的 future 所做的事。該方法位於 tornado/iostream.py 中,比 websocket 程式碼低一層,並且用同樣的方式解決了同樣的問題。維護者的提交也做了同樣的比較。

A grid of 344 squares, one for each file in the Tornado repository, grouped by folder. Two squares in the tornado folder are highlighted and joined by a line: websocket.py, where the bug was, and iostream.py, the precedent the model pointed to.

沒有人替它挑選這些檔案。全部 344 個檔案都放進去了,而模型找到了關鍵的那兩個。

我們如何驗證

Tornado 維護者在修復中增加了兩個迴歸測試:一個針對未 await 的寫入,一個針對已 await 的寫入。在修復前的程式碼上,第一個測試失敗。應用模型的補丁後,兩個測試都通過。隨後我們在應用補丁的情況下運行了 Tornado 的完整測試套件,共 1,673 個測試,沒有一個失敗。

成本

按折扣價計算,這次請求約為 69 美分,幾乎全部花在 652,519 個輸入 token 上。按原價計算則是 98 美分。

再次傳送同一個倉庫,費用會低得多。Together AI 會自動快取提示詞輸入,促銷期間快取輸入的價格是每百萬 token \$0.0525。我們重複傳送一個約 63 萬 token 的請求時,幾乎全部命中快取。首個 token 8 秒就返回了,而不是 54 秒;輸入費用約 3 美分,而不是 66 美分。

關於 Qwen4 Max

阿里巴巴於 2026 年 11 月 16 日釋出 Qwen4 Max,稱其為 Qwen 系列迄今能力最強的模型。該模型面向長時間執行的AI 助理任務,包括跨大型倉庫的編碼,這正是我們測試的那類任務。

Qwen4 Max 是一個稀疏混合專家模型,總引數 2.4 萬億,每個 token 啟用 71 億。在 Work360 上——這是阿里巴巴自建的基準,覆蓋 721 個專業領域的行業任務——阿里報告稱其整體表現優於 Qwen3.8 Max,在高推理強度下少用 35% 的 token,平均每個任務成本低約 60%。這些是阿里巴巴的資料,其釋出公告中有詳細說明。

在 Together AI 上執行

Qwen4 Max 已上線 Together Serverless Inference,模型字串為 Qwen/Qwen4-Max。下面這個指令碼像我們的測試那樣,在一次請求中傳送整個倉庫和一份缺陷報告。你需要 Together Python SDK(pip install together)、一個 TOGETHER_API_KEY、倉庫的本地克隆,以及儲存為 bug_report.md 的缺陷報告。指令碼會發送 git 跟蹤的所有文本檔案,所以先檢查倉庫裡有沒有金鑰。

import subprocess
from pathlib import Path

from together import Together

repo = Path("tornado")
bug_report = Path("bug_report.md").read_text()

# Every file git tracks, skipping the ones that aren't text
names = subprocess.check_output(
    ["git", "-C", str(repo), "ls-files"], text=True
).splitlines()
files = []
for name in names:
    try:
        files.append(f"=== FILE: {name} ===\n{(repo / name).read_text()}\n")
    except UnicodeDecodeError:
        continue

client = Together()

stream = client.chat.completions.create(
    model="Qwen/Qwen4-Max",
    messages=[
        {
            "role": "system",
            "content": f"This is a complete repository, {len(files)} files.\n\n"
            + "".join(files),
        },
        {
            "role": "user",
            "content": f"Here is a bug report.\n\n{bug_report}\n\n"
            "Explain the cause, then write a patch.",
        },
    ],
    stream=True,
)

for chunk in stream:
    if not chunk.choices:
        continue
    delta = chunk.choices[0].delta
    # delta.reasoning carries the model's thinking, delta.content the answer
    if delta.content:
        print(delta.content, end="", flush=True)

其中有兩點是該模型特有的。請求必須設定 stream=True,因為 Together AI 上的 Qwen4 Max 只接受流式請求。另外思考預設開啟,所以模型的推理會先在 delta.reasoning 中流式輸出,然後停頓一下才開始給出答案。思考 token 計入輸出 token。如果簡單請求想跳過思考,傳入 reasoning={"enabled": False}。

不想寫程式碼的話,可以在 playground 裡試用。模型頁面有同樣的資訊。

常見問題

Qwen4 Max 在 Together AI 上多少錢?

Together AI 上 Qwen4 Max 的標價是每 100 萬輸入 token \$1.50、每 100 萬輸出 token \$4.50、每 100 萬快取輸入 token \$0.075。2026 年 11 月 22 日之前打七折:\$1.05、\$3.15 和 \$0.0525。思考 token 計入輸出 token。

Qwen4 Max 在 Together AI 上的上下文視窗有多大?

Qwen4 Max 在 Together AI 上的上下文視窗為 100 萬 token。在我們的測試中,一個輸入 652,519 token 的請求在 54 秒後返回首個 token。

Qwen4 Max 接受圖片嗎?

接受。Qwen4 Max 在 Together AI 上支援文本和圖片輸入,輸出文本。每張圖片以 image_url 塊的形式放在訊息內容中,具體見視覺文件。

為什麼我的 Qwen4 Max 請求不開流式就會失敗?

Together AI 上的 Qwen4 Max 只接受流式請求。不帶 "stream": true 的請求會返回 400 錯誤,錯誤碼為 streaming_required。在 SDK 中設定 stream=True,或在請求體中設定 "stream": true,然後從流中讀取回復。

如何關閉 Qwen4 Max 的思考?

在 Python SDK 中傳入 reasoning={"enabled": False},或在請求體中傳入 "reasoning": {"enabled": false},即可關閉 Qwen4 Max 的思考。思考預設開啟,會通過 reasoning 欄位在答案之前返回。遇到難題想讓它多想一些,把 reasoning_effort 設為 "max"。

Qwen4 Max 支援工具呼叫嗎?

支援。Qwen4 Max 在 Together AI 上通過標準的 tools 引數支援工具呼叫,一輪中可以返回多個呼叫。

提示詞快取對 Qwen4 Max 有效嗎?

是的,在 Together AI 上,Qwen4 Max 的提示詞快取是自動開啟的,快取輸入 token 按標價每 100 萬 token 收費 \$0.075。在我們的測試中,重複傳送一個 63 萬 token 的請求,返回結果幾乎全部命中快取,首個 token 的到達時間從 54 秒縮短到 8 秒。快取是盡力而為的,所以並非每次重複請求都能命中快取。

我可以對 Qwen4 Max 進行微調,或在專用端點上執行它嗎?

不行,目前 Qwen4 Max 在 Together AI 上僅提供無伺服器版本,也不支援微調。阿里巴巴表示,Qwen4 系列中更小的開放權重模型後續會推出。

來源:Together AI 研究與產品部落格 · together.ai

事件後續 · 3

檢視事件全部

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論