跳到正文
Hacker News (official RSS)(trakkr.ai)·· 3 小時前精選AI 評分72

AI 引用統計數字:來源究竟來自何處?

Zombie stats: Where the numbers AI quotes come from

AI 導讀

本文以 5 款 AI 助手回答 200 個需數字的問題為基礎,追蹤 1,285 個統計來源,發現約 40% 的資料缺乏可靠研究支援。

  • - 統計來源可信度:40% 的統計可追溯至原始研究。
  • 8% 的統計雖可追溯,但數值或上下文已變更。
  • 其餘 52% 無法確認來源或無研究支撐。
推薦理由

本文揭示 AI 助手常引用未核實的統計,透過實驗顯示約 40% 的資料缺乏可靠來源,提醒使用者在採用 AI 產出時必須自行核查以確保資訊可信度。

正文 · AI 翻譯

一個數字,接著。

我們向 ChatGPT、Perplexity、Gemini、Claude 以及 Google 的 AI Overviews 提問 200 個需要數字的問題,這類問題是人們每天會問的。 接著我們點選引用,並繼續點選。以下是一條從答案到結束的追蹤路徑。

Google AI Overviews

銷售人員在一次跟進後放棄的比例是多少?

44% 的銷售人員只在一次跟進後就放棄。

  • 44%
  • 44%
  • 44%
  • 44%
  • 44%

一家銷售公司的統計頁面2020

44% 的銷售人員在一次跟進後就放棄 (source).

自由撰稿人範例文章2017 年

80% 的銷售需要在會面後進行 5 次跟進電話;44% 的銷售人員在一次跟進後放棄

沒有研究支援沒有調查、沒有樣本、沒有日期。

  1. In the answer

    每位助手都收到相同的問題:「銷售人員在一次跟進後放棄的比例是多少?」五位助手都給出了相同的數字,只有 ChatGPT 表示背後的證據不清楚。

  2. One click in

    Google AI Overviews 引用了 2020 年一家銷售公司的統計頁面。數字就在那裡。它的「source」連結指向一篇寫作範例。

  3. Two clicks in

    那會導向一篇 2017 年上線的自由撰稿人範例文章。數字出現在標題中。它列出了兩份簡報、一次部落格清單和兩則新聞故事。沒有一項是跟進研究。

  4. The end of the trail

    到此為止。沒有調查、沒有樣本、沒有研究:我們嘗試的其他通往這個數字的路徑都停在一個不引用任何研究的頁面。這個數字仍然在流傳,卻沒有任何根據。這就是「殭屍統計」。

大多數數字不是殭屍。但從答案中無法判斷:殭屍以同樣的自信和同樣的引用出現,這裡五位助手都同意。因此,我們對 1,285 個統計資料做了相同的測試。

不到一半能到達。

我們隨機抽取每位助手引用的統計資料,共 1,285 個,並以相同方式追蹤每條路徑:先到引用頁面,再到該頁面的來源,最多追蹤五層深度。如果某頁面提到來源但未提供連結,我們會自行搜尋。

40% 的路徑到達了一篇說同樣話的研究。另有 8% 的路徑到達了研究,但數字或其背景在途中已變更。其餘則未能到達:40% 停留在我們無法核實的來源,因為它被鎖定、消失或對數字保持沉默,11% 的路徑則完全無法追蹤。

十分之四的路徑到達了一篇說同樣話的研究

每個方格代表我們追蹤的 1,285 個統計資料中的百分之一,按其路徑結束位置排序。

  • 40%已來源我們找到研究,並且說同樣的話。
  • 8%已變更我們找到研究,但數字、被詢問者、地點或時間均不同。
  • 40%無法核實一頁提到真實來源,但數字不在其中,或來源被鎖定或消失。
  • 11%無法追蹤整條路徑上沒有任何研究。每一頁都重複該數字,卻未致謝任何人。

最後 1%:頁面無法為我們載入的路徑。

Trakkr Research,五位 AI 助手於 2026 年 10 月回答 200 個需要數字的問題。隨機抽取每位助手引用的統計資料,按引用量加權,並以 150 條手動檢查的路徑進行校正。來源:40%,95% 信賴區間 34% 至 46%。

ChatGPT 表現最佳,且引用的數字最少:每個答案 1.3 個,Claude 為 6.8 個。其餘四位則在 38% 至 46% 之間,差距太小難以排名。

ChatGPT 引用的數字最少,但引用來源最多

每位助手都使用同樣的百個方格,來自各自引用統計的樣本。

  1. ChatGPT

    57% 有來源

    每答一題 1.3 個統計

  2. Perplexity

    46% 有來源

    每答一題 2.2 個統計

  3. AI Overviews

    39% 有來源

    每答一題 4.8 個統計

  4. Gemini

    38% 有來源

    每答一題 6.2 個統計

  5. Claude

    38% 有來源

    每答一題 6.8 個統計

Trakkr Research,五個 AI 助手於 2026 年 10 月回答 200 個需要數字的問題。按助手追蹤:ChatGPT 108、Perplexity 277、Google AI Overviews 300、Gemini 300、Claude 300。ChatGPT 之後的四個在彼此範圍內,故未排名。

這不是我們問題的怪癖。Google AI Overviews 在 300 個真實日常搜尋答案中的統計,40% 有來源,與前者相同。

AI 引用的是複製品,而非研究。

大多數時候 AI 並未自行造數字:它引用的頁面 82% 時有該數字。問題在於是哪一頁。僅 21% 的引用頁面實際是原始研究。

超過一半來自公司部落格。再加上新聞報導和統計彙總,大多數引用落在專門收集他處數字的頁面,往往沒有回連結。

追蹤的起點決定結束點

每個助手首次引用數字的頁面,依類別分類。每列寬度代表其引用份額。綠色顯示其追蹤到相同研究的頻率。

62%

研究機構13% 的引用

研究機構或調查:13% 為首次引用,62% 有來源。

61%

政府7% 的引用

政府或官方機構:7% 為首次引用,61% 有來源。

37%

公司部落格54% 的引用

公司部落格:54% 為首次引用,37% 有來源。

37%

新聞10% 的引用

新聞或雜誌:10% 為首次引用,37% 有來源。

35%

統計彙整8% 的引用

統計彙整:8% 為首次引用,35% 有來源。

41%

其他8% 的引用

其他:8% 為首次引用,41% 有來源。

Trakkr Research,五個 AI 助手於 2026 年 10 月回答 200 個需要數字的問題。追蹤到 1,268 個統計,且有可讀首頁。頁面型別由頁面本身判斷。結果以 150 條手動檢查的追蹤為校正。

追蹤的起點決定結束點。來自研究機構或政府頁面的引用,61% 時能找到相符研究;來自公司部落格 37%;來自統計彙整 35%。即使是研究機構,也有 38% 的時間未能達成,常因完整報告需填寫表單。

引用告訴你 AI 從哪裡找到數字,而非數字來源。

數字在途中會變化。

到達研究並不總代表數字仍正確。達到的統計中 17% 在途中已變更。數字僅約四分之一會變動。通常是背景改變:測量專案、年份、來源或調查物件。

每一項變更我們紀錄的變動內容

數字變更
26%
測量專案變更
20%
年份變更
17%
來源變更
16%
調查物件變更
14%
地點變更
4%

十五位女性評估健康網站成為每個網站的第一印象。三家公司成為商業規則。以下是我們追蹤到的最清晰案例,皆經手動核對。

觀察數字失去其語境

每條路徑從原始研究延伸到 2026 年 10 月助手給出的答案。沿著它一步步走:數字保持不變,周圍的文字則變化。

Asked網站第一印象中有多少百分比與設計相關?

研究 · Sillence and colleagues, CHI, 2004

之 的 評論 15 女性 所做 關於 拒絕 或 不信任 健康 網站, 94% 為 關於 設計。

2004 年的一項研究觀察 15 位英國女性評估健康網站,且 94% 的評論關於拒絕網站時是關於設計。二十年的傳遞使其變成「94% 的第一印象與設計相關」,Google AI Overviews 將其作為事實。

步驟 1 / 4

每一步都手動在公開網路上檢查,並儲存存檔副本。我們列舉原始研究;重複它們的頁面則以型別描述,而非命名。

殭屍。

向五位助手問同一個問題,你往往會得到五個不同的數字。在 71 個問題中有 28 個所有五位助手都給出百分比,我們得到四或五個不同的數字。

一個問題,五個答案,從 49% 到 96%

同一天逐字逐句詢問「多少比例的行銷人員使用行銷自動化工具?」

49–51%AI Overviews

62%ChatGPT

70–79%Gemini

81%Perplexity

96%Claude

  • ChatGPT沒有一個統一的數字,取決於調查和對「行銷自動化」的定義。常被引用的一項調查顯示 62% 的美國數位行銷人員使用自動化軟體,但該資料來自 2020 年,可能不代表目前的採用情況。

  • Perplexity大約 81% 的行銷組織使用行銷自動化。

  • Gemini在主要產業基準中, 70% 至 79% 的行銷人員和公司以某種方式使用行銷自動化工具

  • Claude96% 的行銷人員已使用或計畫使用行銷自動化平臺

  • AI Overviews大約 49% 至 51% 的公司和行銷團隊目前使用行銷自動化工具,根據 Moosend 及相關研究的產業基準。

Trakkr Research,五位 AI 助手於 2026 年 10 月回答 200 個需要數字的問題。答案於 2026 年 10 月 25 日收集。範圍從最低值到最高值繪製。

這並非一個特殊問題。最高數字與最低數字之間的典型差距為 16 點。

在 71 個問題中,有 31 個問題五個數字相差 20 點或以上

每個所有五位助手都給出百分比的問題,每行一個,從最低數字到最高數字。最接近的排在最上面。

最接近20 點或以上相差最遠

Trakkr Research,五位 AI 助手於 2026 年 10 月回答 200 個需要數字的問題。範圍以中值計算。兩題數字超過 100% 的被排除於刻度之外。

協議看起來像證據,但實際不是。五位助手在10個問題上給出相同的數字,且在我們追蹤的5位中,有2位提供了來源。它們重複最多的統計資料,三位或以上引用,仍然不佳:29個中有11個。

而四項資料被所有五位助手引用,背後沒有任何研究支援。

被所有五位引用。無來源。

每位助手提供的四項統計資料,每一條連結都終於指向一頁未引用任何研究的頁面。

  • 44%

    只跟進一次就放棄的銷售人員

    每條連結都終於指向未引用任何研究的頁面,其中之一是自由撰稿人的範例文章。其完整連結從第一章開啟。

    被所有五位引用

  • 90%

    至少關注一個品牌的社群媒體使用者

    未提供來源。未發現任何使用此數字的研究。

    被所有五位引用

  • 75%

    從未滾動超過第一頁搜尋結果的搜尋者

    重複出現但未提供來源,常被歸因於已不再包含該資料的舊行銷彙總。未發現任何研究。

    被所有五位引用

  • 5 to 25 times

    贏得客戶比保留客戶更昂貴多少

    2014年的《哈佛商業評論》文章給出範圍為「取決於你信任哪項研究」,但未列出任何研究。

    被所有五位引用

Trakkr Research,五位 AI 助手於 2026 年 10 月提出 200 個需要數值的問題。所有五位助手引用的統計資料,其每條連結都指向未引用任何研究的頁面。每條連結均由手動在公開網路上核實。

AI 重複最多的 29 個統計資料

每項統計至少被三位助手引用,最常為第一項,且其連結已手動檢查。

  1. 95%

    未能帶來可衡量財務回報的生成式 AI 試點

    MIT NANDA 2025 年報告指出,95% 的組織未從生成式 AI 中獲得回報。這並不等同於 95% 的試點失敗。

    5 of 5ChangedStudy from 2025
  2. 44%

    只跟進一次就放棄的銷售人員

    每條連結都終於指向未引用任何研究的頁面,其中之一是自由撰稿人的範例文章。其完整連結從第一章開啟。

    5 of 5Nowhere
  3. 4% to 10%

    實際投訴的不滿客戶

    追溯至 TARP 1979 年為白宮消費者辦公室進行的研究。其作者表示,這樣低的比例適用於小額購買;2016 年,22% 至 41% 投訴了他們最嚴重的問題。

    5 of 5ChangedStudy from 1979
  4. 2 hours 21 minutes

    人們每天在社群媒體上花費的時間

    DataReportal 的 Digital 2025 報告,根據 GWI 調查資料:典型網路使用者每天在社群媒體上花費 2 小時 21 分鐘。

    5 of 5SourcedStudy from 2025
  5. 46%

    具有本地意圖的 Google 搜尋

    追蹤至 2018 年一則關於搜尋會議幻燈片的社群貼文。Google 似乎從未發布過,根據我們的調查。

    5 of 5Can’t check
  6. 90%

    至少關注一個品牌的社群媒體使用者

    未提供來源。未發現任何使用此數字的研究。

    5 of 5Nowhere
  7. 94%

    關於網站設計的第一印象

    最初為 2004 年對 15 名女性評估健康網站的研究。其完整連結位於第 4 章。

    5 of 5ChangedStudy from 2004
  8. 75%

    從未滾動超過第一頁搜尋結果的搜尋者

    重複出現但未提供來源,常被歸因於已不再包含該資料的舊行銷彙總。未發現任何研究。

    5 of 5Nowhere
Trakkr Research,五位 AI 助手於 2026 年 10 月提出 200 個需要數值的問題。統計資料按數字和含義分組。當連結到研究時顯示原始年份。

如何處理 AI 統計資料。

將其視為線索,而非來源。六個習慣,分別為引用的兩側各三項。

若您使用它們

  1. 先跟隨引用,然後再次跟隨。

    若被引用的頁面是統計列表或公司部落格,請使用其內部連結繼續一頁。繼續下去,直到到達原始研究,或無法繼續為止。

  2. 檢查被詢問者、數量以及時間。

    我們發現的大部分變動都在背景中,而非數字:一個國家的民調、一項十年舊的研究、十五個人。

  3. 不要把一致性當作檢查。

    五位助手給出相同的數字並不等於五個來源。它們重複的數字與其餘數字的來源質量並無差別。

如果你釋出它們

  1. 把方法放在數字旁邊。

    在同一頁面上提供樣本、日期以及來源連結,這樣下一頁、下一個答案都能追溯回來。

  2. 保持發現公開。

    表單後面的報告往往是常見的死衚衕:即使是從研究公司開始的追蹤,也有 38% 的機會失敗。將主標題數字和方法放在公開頁面。

  3. 檢視 AI 為你的數字引用的是哪一頁。

    往往是匯總或部落格複製了你,有時還帶有較舊的數字。那一頁決定了人們聽到什麼。