跳到正文
Hacker News (official RSS)(alnovis.io)·· 17 天前精選品質評分82

如何在 ClickHouse 中以事件重算處理重複與遲到資料

An Aggregate Is a Function, Not a Sum

重點導讀

作者說明如何在 ClickHouse 中把彙總值設計成來原始檔的函式,藉由重算受影響的細胞處理重複投遞與遲到收據,並降低報表讀取成本。

  • - 設計方式:以收據所屬的收銀機、班次與 UTC 小時作為細胞鍵。
  • 新檔案標記細胞待重算,定期只讀取相關檔案並以檔案鍵去重,再寫入版本化結果。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章以四次實作嘗試說明重複、遲到資料與重算成本如何影響報表設計,並交代細胞式重算的效能收益與複本風險。

正文 · 中文翻譯

一連收據串流上的報表

我負責的系統會儲存銷售收據。每臺收銀機的收據都會透過 Kafka 傳入,再由 ClickHouse 將收據儲存為檔案。

原始檔案之上,還有大家實際會檢視的報表:每個收銀班次的總額、每間商店每小時和每天的總額,以及依照商家放在收據上的自訂欄位分組的營收。

這看起來像是 ClickHouse 的標準使用情境:插入資料列,再進行彙總。但我們試了四次才成功。

難點不在資料量,而在串流的三個特性:

串流的三個特性,讓累加總和難以應付。
  • 檔案會重複送達。Kafka 的傳遞保證是至少一次。批次處理到一半失敗,消費者重試,同一張收據就會再次插入。任何「把插入的資料加總」得出的總額都會因此出錯。
  • 檔案會延遲送達。大多數收據會在幾秒內送達,但離線一週的收銀機重新連線後,會送出積壓的資料。穩定地有一小部分檔案會延遲超過一天,有些甚至會延遲一個月。上週二的報表永遠不會定案。
  • 管線會停止。負責計算彙總資料的系統有時會停機:部署、節點重新啟動或程式錯誤。系統恢復後,不能遺失任何資料。

報表也有延遲時間限制:互動式查詢應在幾秒內回應;涵蓋數百臺收銀機的繁重報表則應在三十秒內完成。

四次嘗試

#做法問題
1插入時累加重複資料會被永久計算兩次
2從寬表重新計算為了使用 508 千列資料,卻讀取了 4,600 萬列
3記住每個鍵鍵集合無法放進記憶體
4什麼都不儲存在測試叢集上,單一報表就產生 35 億列資料

1. 插入時累加

第一個版本採用經典做法:在插入時使用實體化檢視,將部分總和寫入 SummingMergeTree。每次插入都會加上該筆資料的值,背景合併作業會將資料列合併,報表則讀取預先加總的資料列。

第二次插入會把數值加到總額,而不是取代原有數值。總額中沒有任何資訊能指出哪 500 筆資料被重複計算。

這個做法速度很快,但重新傳送的收據會讓總和再增加一次;而且兩個數字一旦相加,之後就無法正確扣除重複的那一筆。彙總資料沒有記錄有哪些檔案計入其中。

2. 從寬表重新計算

第二個版本透過重新計算修正重複計數問題:使用可重新整理的實體化檢視,定期從檔案本身重建近期有異動的班次和時段總額,並依檔案鍵去除重複資料。

這個版本的結果正確,但它讀取的是主要檔案資料表。這張表很寬(包含酬載、狀態和數十個欄位),而且排序依據是收銀機和檔案鍵,不是時間。

重新計算會依日期篩選,而在 ClickHouse 中,若資料表不是依日期排序,日期篩選只能排除整個分割槽,無法排除資料粒度(稍後會說明資料粒度)。單次掃描讀取了 4,600 萬列,卻只使用了 50.8 萬列:

示意圖。日期範圍在月份之間劃分,但在月份內會切過每個資料粒度。

在正式環境中,重新計算作業開始觸及每個查詢的記憶體上限,並一再失敗。

3. 記住每個鍵

第三個版本回到插入時累加,並試著防止重複資料:新增收據前,先檢查是否看過它的鍵。這項鍵查詢功能是透過 ClickHouse 字典,在近期鍵值資料表上實作。

字典會載入記憶體,而其中的一個鍵並不小:在我們的測試叢集中佔 161 個位元組。每個收銀機一個月的鍵值在正式環境中放不下。字典載入失敗。之後,每次新增資料都失敗:

每次重試都會先寫入資料列才失敗,因此每次重試都會多存一份副本。

檔案開始一再重複寫入,因此去重機制本身反而產生了重複資料。

4. 不儲存任何資料

第四個版本完全放棄儲存彙總資料:每次讀取時都從檔案計算報表,並使用檔案鍵上的 GROUP BY 合併重複專案。沒有狀態會失去同步,而且重新傳送和較晚抵達的檔案都能自動處理。

結果正確,但速度慢到無論如何調校都無法改善。彙總 600 個班次的報表會讀取約 35 億列。在我們的測試叢集中,第 99 百分位數如下:

報表1 個使用者端4 個使用者端
600 個班次,依鍵值彙總23.4 秒119 秒
每小時零售資料,150 個收銀機,一個月17.0 秒因記憶體與時間限制而失敗
每日零售資料,150 個收銀機,一個月14.3 秒每次呼叫都逾時

這些失敗的共通點

三次正式環境的失敗都不是因為儲存彙總資料所造成:

每次正式環境的失敗各自落在一個欄位中,第一個欄位則沒有任何失敗。最後一列就是我們要找的設計。

嘗試 4 移除了儲存,卻讓每次讀取都付出代價,結果造成與嘗試 2 相同的失敗。

於是問題變成:能不能儲存彙總資料,在不記住鍵值的情況下處理重複專案,並且不必讀取整個檔案資料表就能重新計算?

稍作岔題:資料粒度

要了解讀取量為何如此重要,先認識 ClickHouse 如何讀取資料會有所幫助。

MergeTree 資料表會分成多個 part,而每個 part 預設再分成每份 8,192 列的資料粒度。主索引是稀疏索引:它記錄每個資料粒度的第一個鍵值,而非每一列的鍵值。

索引知道每個資料粒度從哪裡開始,卻不知道其中有什麼。

查詢依主鍵篩選時,ClickHouse 會找出可能包含相符資料列的資料粒度,並將整個資料粒度讀入。略過索引(例如日期欄上的 minmax)能進一步略過更多資料粒度,但前提是同一資料粒度內的值彼此接近。

因此,查詢讀取哪些資料,與資料列的排列方式大有關係,遠比它需要幾列資料更重要。如果需要的資料列散佈在整個資料表中,就得讀取每列周圍的資料粒度:

兩種排列方式中的十二列資料都相同,只有排序方式不同。

在我們嘗試讀取時運算的版本中,精簡的零售資料表先依小時排序。同一小時內,數千個收銀機的收據彼此交錯,因此查詢 150 個收銀機的報表時,幾乎會碰到整個月的每個資料粒度。

我們甚至必須改寫自己的驗收條件:無論查詢形式如何,都不可能達到「讀取列數」上限,因為邊界資料粒度總會包含其他收銀機的資料列。

反過來說也成立:如果同一個工作單位的資料列彼此相鄰,讀取時只需處理少數幾個資料粒度。最終設計便是以此為基礎。

在我們採用的設計中,彙總資料不是插入資料的累加總和,而是由其檔案計算出的函式。

先看最小且實用的彙總單位:儲存格:

case class CellKey(register: RegisterId, shift: Int, hour: Instant) // hour in UTC

每份檔案都恰好屬於一個儲存格,而這種關聯不會儲存在任何地方。它是根據檔案的三個欄位計算出來的:

程式碼中的寫法相同:

def key(d: Document): CellKey =
  CellKey(d.register, d.shift, d.date.truncatedTo(HOURS))

def docs(k: CellKey): Seq[Document] =
  allDocuments.filter(d => key(d) == k)

def value(k: CellKey): Measures =
  docs(k)
    .groupBy(_.id)
    .values
    .map(_.maxBy(_.writtenAt))        // a re-delivered document collapses here
    .foldLeft(Measures.empty)(_ + _)  // sums, counts, min, max

儲存格的值隨時都能重新計算,因為檔案仍在,而且規則不變。每次重新計算都會寫入新的一列,以重新計算的時間標記版本,並在 ReplacingMergeTree 中取代舊資料。

這帶來三項特性:

  • 重複送達檔案不會造成任何變化。 重新計算時,同一份檔案的各列會依檔案索引鍵合併(argMax 依寫入時間)。兩次送達會合併成一列;儲存格的值維持不變。不需要字典、索引鍵表,也不必記住看過哪些資料。
  • 重複計算不會造成問題。 沒有新檔案時,重新計算儲存格會得到相同的值。在單一節點上,即使兩次重新計算同時進行,也都會寫入一個版本;較晚開始的那次看過的資料至少一樣多,因此會勝出。複本則是另一回事(請參閱「代價」)。
  • 較晚送達的檔案不會遺失。 晚了一個月才收到的收據,會立即將一個月前的儲存格標記為待更新,該儲存格會在下一輪重新計算。

這個想法的另一半是,度量值可以跨儲存格合併。每個儲存格中的度量值都是總和、計數、min 或 max。每份檔案恰好屬於一個儲存格。因此,任何涵蓋任意儲存格集合的報表,都只要合併這些儲存格的值即可,不會重複計算:

同一批儲存格可以沿著不同維度加總。以週、季或任意商店集合為單位,都只是相同的加法。

這些報表都不需要各自建立資料表:新報表只是在相同儲存格上執行新查詢。時區也應該可行,只要與 UTC 的時差是固定的整數小時,因為當地日期的邊界仍會落在整點。

我們用最直接的方法驗證:由儲存格組成的時、日和班次報表,在全部 209 項度量值上,都與直接從檔案計算出的相同報表一致。

不只適用於收據

這種模式並非收銀機和收據專用:

本文中一般而言
收銀機事件來源:裝置、帳戶、感測器
以檔案形式儲存的收據具有穩定索引鍵的事件
班次、小時事件自然落入的時間區間
總和、計數、min、max可合併的度量值

它需要三個條件:每個事件都帶有計算其儲存格索引鍵所需的所有資訊;事件重複送達時,該索引鍵不會改變;度量值可以相加,或至少可以合併。符合這些條件時,彙總就能由事件計算得出,而不必持續累加。

在 ClickHouse 中實作

大部分工作都在處理 ClickHouse 的運作方式。

檔案、精簡副本和待更新標記會透過同一次插入寫入。之後的所有作業都屬於重新計算。

具有正確排序方式的精簡資料表

重新計算永遠不會讀取寬表文件資料表。具體化檢視會將每份檔案的資料列複製到精簡資料表,只保留度量值所需的欄位,並依 (register, document number) 排序。

這個索引鍵中沒有時間欄位,也不需要時間欄位。收銀機會按照發出順序為檔案編號,因此同一臺收銀機在同一小時內的檔案,在每個資料分割槽中都會相鄰。尋找某個儲存格中的檔案只需掃描一小段範圍。在我們測試的歷史資料中,檔案數最多的儲存格略多於 5,000 份,只讀取 20 個 granule,並在 7 ms 內完成。與從寬表讀取相同的一分鐘流量相比,精簡資料表讀取的列數少了 30 至 37 倍。

在同一次插入中寫入的日誌

同一次插入觸發的第二個具體化檢視,會為每個受影響的儲存格寫入待更新標記:儲存格索引鍵和標記時間。不含總和,只記錄「此儲存格需要重新計算」。

兩個檢視都會和檔案本身一起執行同一個 INSERT,因此我們的程式在「檔案已儲存」和「儲存格已標記」之間沒有額外步驟。不過,這並不是交易。ClickHouse 會依序寫入來源資料表及其檢視;如果檢視在檔案儲存後發生錯誤,INSERT 就會回報錯誤,但檔案已經寫入。我們的消費者接著會重試批次,通常會再次寫入標記,而重複的檔案在這裡不會造成問題。我們尚未確認這種重試與複寫資料表上的 INSERT 去重如何互動:如果重複的區塊在檢視執行前就被丟棄,標記就會遺失,儲存格也不會重新計算。

檔案的狀態更新會以沒有日期和班次的獨立資料列送達,而檢視會直接略過這些資料列,因此狀態更新不會觸發重新計算。儲存格中的指標都不依賴狀態。

日誌是一個以儲存格為鍵的 ReplacingMergeTree,因此同一個儲存格的重複標記會合併為一列,並保留最新時間。小型 INSERT 每個儲存格每小時約產生 14 個標記;合併後降至 1.16 個,主要的重新計算作業也因此快了五倍。

「已重新計算」存在於資料中

可重新整理的實體化檢視每 30 秒執行一次,重新計算需要更新的儲存格。追蹤進度最直覺的方式是使用遊標,也就是「已處理至時間 T」。我們沒有使用遊標。

取而代之,每次執行都會比較從資料本身取得的兩個時間:

程式碼中的寫法相同:

def lastMark(k: CellKey): Instant =
  journal.marks(k).max

def lastRecompute(k: CellKey): Instant =
  cells.versions(k).maxOption.getOrElse(Instant.EPOCH) // never computed yet

def dirty(k: CellKey): Boolean =
  lastMark(k).isAfter(lastRecompute(k).minusSeconds(60))

def pass(): Seq[Cell] =
  journal.keys
    .filter(dirty)
    .sortBy(lastMark)
    .take(50_000)
    .map(k => Cell(k, value(k), recomputedAt = Instant.now()))

從未計算過的儲存格還沒有版本,因此會被視為已在紀元時計算過,並在第一次收到標記時變為待更新。

遊標必須與寫入作業一併以原子方式移動,而且在重試、平行執行和重新啟動時都會失效。這種比較不受上述情況影響。停機時間不超過一天時,下一次執行會找出所有在上次重新計算後收到標記的儲存格。60 秒的重疊區間,是為了涵蓋同一個 INSERT 的不同部分在略有時間差的情況下才變得可見,因此標記可能比檔案更早出現。代價是偶爾會多做一次重新計算。

每次執行只會讀取它要重新計算之儲存格的檔案。

兩個不能重疊的時間範圍

主要作業會檢視最近兩小時的標記。第二個補算檢視每十分鐘執行一次,檢視兩小時至一天前的標記。這個檢視是為了處理超過兩小時的停機情況。

兩個時間範圍不能重疊。早期版本曾經重疊,停機後兩個檢視便會同時抓取相同的儲存格:在一個節點上花費 26 秒並使用 2 x 2.8 GB 記憶體,重複執行本來只需要做一次的工作。

依快照時間設定版本

儲存格資料列的版本時間,是重新計算查詢開始的時間,而不是檔案的最新寫入時間。我們一開始嘗試使用後者。當許多檔案在同一秒寫入,且重新計算幾乎同時執行時,版本順序就會變得無法確定。較晚的快照一定會看到至少與較早快照相同數量的檔案,因此以快照時間作為版本永遠是正確的。

這個「至少相同數量」只適用於在同一個節點上取得的快照。跨複本時則不成立,而這是整個設計中最脆弱的一環。

班次依據儲存格而非檔案

透過另一個可重新整理的檢視表,從班次的各個儲存格組合出班次:取出該班次每個儲存格的最新資料列,加總各項指標,並取得數字與日期的 min 和 max。忙碌的收銀機一個班次可能有 142,000 份檔案,有些班次會持續開放數個月。每收到一筆新交易就從檔案重建班次,代表要重新讀取所有資料;從儲存格重建則每小時只需讀取一個資料列。

不使用 FINAL 讀取

讀取器會使用 LIMIT 1 BY,依重新計算時間排序,取出每個鍵的最新資料列,並在每個分片上對其本機資料表執行該子查詢。屬於同一臺收銀機的所有資料(檔案、標記、儲存格、班次)都位於同一個分片,因此「最新資料列」能在本機正確判定,不必等待背景合併。

我們遇到的問題

回填資料淹沒班次檢視表

一次回填 77 天的儲存格資料時,每個回填的儲存格在班次檢視表看來都像是「最近重新計算」的資料。接著它花了兩個小時重新分組數百萬個儲存格,卻沒有寫入任何新資料。

班次檢視表只會檢視最近 2 小時內重新計算的儲存格;它在前一天進行追補。兩天前的資料不在這兩個時間範圍內;不過,新標記仍會產生一個經過回填並重新計算的儲存格。

現在,回填資料列的重新計算時間會設為兩天前,因此不在這兩個時間範圍內。班次檢視表每次處理的資料列從 88 million 降到 4 million,核心用量也從半顆降到幾乎為零。

在 INSERT 檢視表的子查詢中篩選

在 ClickHouse 26.3 中,我們發現 INSERT 檢視表寫入的欄值發生位移。這是三個因素共同造成的:輸出別名與來源欄位名稱相同、在同一個查詢中進行篩選,以及資料區塊混合了檔案與狀態資料列。

將篩選移至子查詢後,問題就解決了;我們也為此新增了一項測試:

-- values came out shifted
CREATE MATERIALIZED VIEW docs_mv TO docs AS
SELECT register_id, doc_number, ifNull(total, 0) AS total, ...
FROM transactions
WHERE type IS NOT NULL;

-- fixed
CREATE MATERIALIZED VIEW docs_mv TO docs AS
SELECT register_id, doc_number, ifNull(total, 0) AS total, ...
FROM (SELECT * FROM transactions WHERE type IS NOT NULL);

寬資料列的 Granule 大小很重要

一個儲存格約有 250 個欄位,而零售報表會讀取其中 189 個欄位。使用預設的 8,192 列 granule 時,查詢 150 臺收銀機的資料,為了使用 22,000 個儲存格,約需解壓縮 1.1 GB 的資料。

我們縮小了儲存格資料表的 granule 和壓縮區塊:

SETTINGS index_granularity = 1024,
         min_compress_block_size = 8192,
         max_compress_block_size = 65536

相同查詢約需解壓縮 0.3 GB,CPU 用量也降低約 30%,磁碟用量則增加 9%。

每份檔案只用一個彙總狀態,而非每個欄位各用一個

使用每個欄位各自的 argMax 來折疊檔案時,每份檔案會建立數十個彙總狀態。對這些欄位的 tuple 使用一個 argMax 就只會建立一個:

-- one state per column
SELECT doc_key,
       argMax(total, updated_at),
       argMax(cash, updated_at),
       argMax(card, updated_at),
       ...
FROM docs GROUP BY doc_key;

-- one state per document
SELECT doc_key,
       argMax((total, cash, card, ...), updated_at) AS doc
FROM docs GROUP BY doc_key;

資料

測試叢集規模不大:一臺機器上有兩個分片、六個實體核心;每個 ClickHouse 節點限制使用五個 CPU;數萬臺收銀機;77 天的歷史資料。報表延遲的第 99 百分位數:

所有使用儲存格的報表都低於預算線,即使在負載下也一樣。使用檔案資料時,只要四個使用者端就足以讓所有報表超出預算線。

相同資料的表格呈現

報表使用檔案,1 個使用者端使用儲存格,1 個使用者端使用檔案,4 個使用者端使用儲存格,4 個使用者端
依鍵查詢 600 個班次23.4 s2.1 s119 s2.7 s
每小時零售報表,150 臺收銀機,一個月17.0 s2.5 s失敗6.1 s
每日零售報表,150 臺收銀機,一個月14.3 s1.3 s逾時3.7 s
依自訂欄位查詢營收,50 臺收銀機7.9 s0.6 s100 s1.6 s

600 個班次的報表最多讀取 360 thousand 列,而非 3.5 billion 列。使用儲存格時,每次報表呼叫讀取的資料列都不超過所需資料列理論 granule 上限的兩倍。

正確性是透過獨立參考資料驗證的:由負載產生器在服務之外計算 1,000 臺收銀機每一天、每個班次、每小時和每個月的預期值。

在三小時的線上流量測試中,負載逐步增加,最後一次達到第一次的三倍;31 項檢查中沒有任何不符。

代價

這種設計有以下取捨,以及我們已知的限制。

這些時間窗限制的是中斷可能持續多久,而不是檔案可能延遲多久。
  • 延遲。報表要到一或兩輪之後才會看到新檔案,通常是在寫入後 75 到 115 秒。我們決定不在讀取時計算尚未處理的部分。
  • 長時間中斷需要人工處理。超過一天的標記不會自動處理。日誌會保留標記七天,因此有時間手動執行一輪。
  • 副本會各自重新計算,這是個漏洞。可重新整理檢視會在分片的每個副本上執行,而每個副本都有自己的檔案和日誌副本,兩者會分別進行複寫。某個副本可能先看到標記,卻還沒看到標記所對應的檔案,於是在缺少該檔案的情況下重新計算資料格,並蓋上比另一個副本正確版本更晚的時間戳記。較晚的時間戳記會勝出。如果這個時間差超過 60 秒的重疊時間,在該資料格出現下一份檔案前,就不會再有任何標記;如果是延遲抵達的檔案,可能永遠都不會有。我們的測試叢集每個分片只有一個副本,因此從未遇到這個問題;這是我們撰寫這篇文章時,在紙上推演才發現的。我們想到的修正方式有:讓每個分片只有一個副本負責重新計算、根據檔案而非時鐘推導版本,或每天不論時間戳記為何,都掃描前一天的資料格一次。
  • 重試的寫入可能會遺失標記。如果檢視在檔案儲存後發生錯誤,批次就會重試;而在複寫資料表上,插入去重可能會在重複區塊執行檢視前將其丟棄。如此一來,直到該資料格出現下一份檔案前,都不會有任何標記。我們還沒檢查這種情況。
  • 僅適用於可合併的度量值。總和、計數、min 和 max 都能跨資料格合併。精確的不重複計數和精確的中位數無法像一般數字那樣相加。ClickHouse 可以在資料格中保留可合併的彙總狀態,而非數字:uniqState 和 quantileState 可透過 uniqMerge 和 quantileMerge 跨資料格合併,結果為近似值,且所需儲存空間相對少。精確版本也能合併,但會保留每個值。目前我們的報表不需要這些功能;如果有需要,資料格可以存放這類狀態。
  • 回填是一項作業流程。既有歷史資料的資料格由另一個指令碼建立;我們的 77 天測試資料約需一個半小時。

結語

每次嘗試都修正了前一次的失敗,接著又遇上下一個問題:重複資料、分散式讀取、去重所需的記憶體,最後是每次請求都讀取所有資料的成本。

這些都不是新問題,我們本可以早些知道。資料庫將此稱為增量檢視維護:記錄變更影響了實體化結果的哪些部分,只重新計算這些部分,並取代舊值。Oracle 的 分割區變更追蹤正是以此方式維護實體化檢視,而一份1995 年的調查早已整理出這些技術。我們自己的做法只有兩個部分:選擇資料格,並將標記、版本和「已重新計算」旗標儲存在 ClickHouse 資料表中。

最後奏效的並不是 ClickHouse 的新功能,而是對彙總採用不同的定義。只要彙總是插入資料的總和,每筆重複資料和延遲檔案都得靠你記住並修正。當彙總是檔案的函式時,重複資料或延遲檔案都不需要修正:重新計算資料格即可。

讀者討論

理性交流 · 即時討論