AI 寫作為何仍像機器廢文——專訪 Towards AI 的 Louis-François Bouchard

Towards AI 共同創辦人 Louis-François Bouchard 主張，AI 的「垃圾內容」（slop）不是靠更好的模型就能解決的訓練問題；寫作者該做的是挑一個編輯起來最不惱人的模型，然後餵給它極長、充滿範例的提示詞。本集節目大致上是在走一遍 ToneBench——他團隊為了衡量垃圾內容而推出的創意寫作基準測試——以及建置它的成本，還有它對模型選擇與 LLM 評審偏誤所揭示的現象。標題的框架「為什麼 AI 寫作讀起來還是像垃圾內容」只是引子；18 分鐘的內容主體是基準測試方法論與實用寫作建議。

Bouchard 發言的立足點是規模：Towards AI 出版 AI 工程的教學內容，他說公司已發布數百支影片、數千篇文章，並出版一本書，第二本正在進行中。他從碩士到博士階段就一直在評測模型，團隊則有 15 位 AI 工程師，外加創意寫作者與編輯。讀者讀完應該帶走的是：垃圾內容的具體定義、ToneBench 背後的九項指標與五稿設計、迭代這類基準測試的成本，以及一條模型選擇的經驗法則（便宜模型負責起草，加上一次高強度思考的審查）。

垃圾內容是六種具體缺陷，不只是「delve」

Bouchard 把垃圾內容定義為六種缺陷的組合，並強調更好的模型並沒有消除它們——他舉 GPT-6.1 為例，說垃圾內容「就是持續跟著規模成長」。他列出的六項是：模型偏愛、被過度使用的詞，例如「delve」；過度空泛、講不出任何具體內容；聽起來悅耳卻什麼都沒說；嚴重的自我重複；幻覺，導致文本無法完全信任；以及語氣錯誤或缺失，讀起來像每個人、也像沒有人。他坦承自己在 LinkedIn 上就是空泛問題的「慣犯」，並稱之為「LinkedIn 的套路」。

這個定義之所以重要，是因為它界定了基準測試的範圍。他明確表示自己無意重造 EQ-Bench 的垃圾內容分數：「重點是在衡量一段寫作有多隨便」，而不是數垃圾詞。他也把這項工作放在一個他歸給 Carpati 的預測脈絡下——一場預計 2026 年開始的「垃圾內容末日」（slop-ocalypse）——並說社群媒體上已經看得到了。

「讀到一段感覺是生成出來的東西，真的很痛苦。」

ToneBench 每項任務以五稿評分九項指標

這套基準測試的公開目標，是衡量模型能不能寫得像 Bouchard——操作型定義是：他能不能把產出朗讀出來，「不會因為那些我自己根本不會用的詞而尷尬到皺眉」。每個模型會收到一份詳細的任務簡報加上研究資料，必須產出一份完整的影片指令碼。提示詞包含大量關於他說話與寫作方式的指引、許多他過往影片內容的範例、一般敘事與主動句的指示，以及各任務專屬的說明。

流程跑十項任務（部分公開、部分不公開，隱藏起來以檢查是否遭到汙染），每個模型每項任務生成五次，並由四個 LLM 評審評分（Gemini 是測試性加入，未必會保留）。九項指標可歸納為五個面向：

| 面向 | 衡量內容 |
|---|---|
| 語氣／聲音 | 產出是否聽起來像 Bouchard，並能配合指定的語氣 |
| 寫作品質 | 開場鉤子、情緒轉折、故事鋪陳 |
| 指令遵循 | 預期長度、格式、圖片與元素的位置 |
| 研究準確度 | 模型是否正確使用簡報，或產生幻覺 |
| 垃圾內容 | EQ-Bench 垃圾內容分數，加上團隊自訂的衡量方式 |

每個評審會收到約 14,000 個 Token 的提示詞，內含每項指標約 1,000 字的範例與指示、待審指令碼、作為參考的 Bouchard 本人指令碼，以及任務簡報與研究資料。評審只評估寫作品質，不會被告知哪份是哪個模型寫的；長度與模型身分事後在程式碼中處理。在主要的語氣與聲音指標上，評審先歸入六個類別之一，再給出評分——Bouchard 說這種兩步設計比二元判斷、直接分類或直接給百分比都更有效。輸出包含九項指標各自的分數、理由，以及引用的範例。

五稿設計揭露單次排名所掩蓋的變異

Bouchard 把模型內變異（intramodel variability）稱為每項任務生成五份指令碼的理由，並「強烈建議」其他建置評測的人照做。他以 Grok 4.7 為例：五次生成中有一份跟 Opus 5.5 一樣好，這種離群值在單次基準測試中會被誤讀。模型越差，變異越大。五稿是符合成本效益的折衷。

規模正是人工審查無法作為主要方法的原因：120 個模型、五份草稿、十項任務，產出會累積到數千份指令碼。人工比較改為用作校準檢查——Bouchard 與三位團隊成員手動比較了 1,000 組 A/B 配對，每組取自兩次生成中可對比的片段，並計畫做更多，最終開放社群協助。

LLM 評審偏袒自家模型家族，OpenAI 尤其明顯

Bouchard 警告評審有其偏好，而多數模型偏好自己。他特別點名 OpenAI 對自家家族有強烈偏好——不是某一個模型，而是所有 OpenAI 模型——並說 Anthropic 與 OpenAI 似乎都被後訓練成討厭彼此，他覺得「挺有趣的」。他的實用建議是：用 LLM 評審判斷哪個模型最適合某項任務時，要用跟被評模型不同的家族。

「Anthropic 和 OpenAI 在這裡似乎真的在打仗，看起來他們被後訓練成互相討厭。」

迭代基準測試，每改一次就要花數千美元

Bouchard 估計啟動階段約需 500 小時，用來建置十份指令碼、定義評分規準、尋找範例，並嘗試把品質量化。接著他獨自迭代四個月，用四個每月 28 美元的訂閱，花了「數千美元」。邊際成本才是警訊：改動評分規準中的一個地方要花超過 2,000 美元，改動模型輸入提示詞中的一行要花超過 4,000 美元。他說，實驗必須謹慎進行。

挑最不惱人的模型，而不是單稿最佳

最受矚目的發現是：沒有任何模型能一次產出完美的貼文，所以正確的判準是哪個模型在編輯到目標狀態時最不痛苦。在排行榜上，GLM 5.3 Flash 在規模化使用下「極好、極便宜」——比榜首的 Opus 5.5 extra high 便宜 50 倍。Opus 5.5 extra high 比 max thinking 便宜 2.5 倍，結果相同，所以寫作時 max thinking 並不值得。

他的寫作流程，依序如下：

• 使用極長、極詳細的提示詞——「再長都不夠」——把所有正例與反例都放進去，包括要避免的詞；如果適用，把完整的電子報也一併提供。
• 跑一次高強度思考的評審審查，最多一到三次；超過就會開始打轉、變成垃圾內容。
• 大規模使用 API 時，先用 GLM 5.3 Flash 這類便宜模型生成約十份草稿，再讓 Opus 這類更聰明的高強度思考模型挑出並合併最好的部分——預期成本遠低於一次 Opus 5.5 生成，成果卻更好。
• 無論如何都保留人工審查。

他提醒，這套基準測試只衡量他個人的聲音，「非常主觀」，而且只是一個資料點：「這不代表 Opus 5.5 就是最好的模型。」它是一個訊號，指出哪些模型寫得好、哪些比較不隨便；他也邀請其他人建置自己的流程，或向他的團隊求助。

只衡量一種聲音的基準測試是訊號，不是判決

貫穿本集的張力在於：ToneBench 在機制上嚴謹，在範圍上卻狹窄——九項指標、五份草稿、四個評審、1,000 組人工 A/B 配對——全都指向複製單一個人的語氣。Bouchard 對此相當坦率，也因此可轉移的產出與其說是排行榜，不如說是方法：用多份草稿衡量變異、使用跨家族的評審、為昂貴的規準變動編列預算，並把模型選擇視為編輯成本的問題。值得持續關注的未定事項包括：Gemini 是否留在評審池中、人工 A/B 比較是否開放社群參與，以及當 GPT-6.1 這類模型持續擴大規模卻未修正他點名的六項缺陷時，「垃圾內容末日」這個說法是否站得住腳。