跳到正文
Hacker News (official RSS)(s2.dev)·· 7 天前精選品質評分76

S2 為了讓客戶不限量建立 basin,改用自建 DNS

It's always DNS, so why are we running our own?

重點導讀

客戶建立 basin 的速度一快,DNS 服務商的更新限制就會讓新網址無法立刻使用,惡意大量建立 basin 也曾塞住 S2 的更新工作。

  • S2 因此改用自建的權威 DNS 伺服器,直接查詢 Cloud Spanner 裡最新的 basin 資料,並讓 Cloudflare DNS Firewall 擋在伺服器前面,降低 DNS 攻擊帶來的風險。新系統部署在不同地區的兩個 GKE 叢集,客戶現在能建立數千個 basin,並立即用來串流。
  • 團隊也得自行準備監控和故障處理流程。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

S2 分享自建 DNS 的取捨,從資料庫即時查詢到加上 DNS 防火牆,呈現擴大服務規模時如何兼顧更新速度與防護。

正文 · 中文翻譯

這將是一段跌宕起伏的歷程,講述我們如何決定不再使用 Route53,改為自行架設權威 DNS 伺服器。

改變人生之前

某個時候,我們決定應該能為客戶提供不限數量的 basin。Basin 是 S2 的核心名稱空間結構,用來做為串流的頂層容器(串流的數量早已不受限制)。我們發現,客戶一直設法繞過每個帳戶最多 100 個 basin 這項並非不可變動的限制。這可不是理想的使用體驗。

就這篇文章而言,重要的是,客戶建立的每個 basin 都會成為自己的子網域:my-basin.b.s2.dev(這與 AWS S3 的 bucket 運作方式相同)。每個 basin 對應的 DNS 專案都是 CNAME,會將使用者端導向我們架構中的正確儲存格。因此,要支援不限數量的 basin,我們就得支援不限數量的 DNS 紀錄。

這些紀錄也必須具備強一致性。建立 basin 後,它的位址應該立即就能解析,否則使用者端就得等快取中的 NXDOMAIN 到期。

想到要自行架設 DNS 伺服器,我的心跳都快飆到天花板了,哎呀!

沿用既有系統

我的研究一開始充滿希望。我希望既有的 AWS Route53 DNS 設定能符合這些新需求。我真的非常不想讓我們自行建置並維運 DNS 伺服器。

Route53 是個很棒的系統,而且看起來能支援不限數量的紀錄。但它有個致命限制:API 的速率限制約為每秒最多 5 次 UPSERT(AWS 節流說明檔案最近有更新,現在的限制可能更高)。

其實,這是我們付出代價才學到的教訓。我確實讀過說明檔案,但 API 限制當時並未引起我的擔憂。直到有惡意使用者迅速建立數萬個 basin,耗盡我們所有的 Route53 紀錄額度,問題才變得明顯。這造成待處理工作大量堆積,花了好幾個小時才處理完。在此期間,平常的 DNS 更新全都卡住,有些程式試著刪除紀錄,另一些則試著新增紀錄。不過,這倒是讓我們在事後檢討會上有很棒的素材。也正是在那時,我們開始強制限制每個帳戶最多建立 100 個 basin。

我們研究過批次處理,但這會違背讓專案立即生效的目標。即使採用批次處理,這套作法也稱不上「不限量」;合法使用系統的客戶仍可能觸及速率限制。

我們考察過的其他代管 DNS 服務(GCP Cloud DNS、Cloudflare、Azure DNS)也有類似限制:透過服務商的 API 更新、插入或 UPSERT 紀錄時,都會受到嚴格的速率限制。

看來別無他法,只能自行建置自訂權威 DNS 伺服器(更讓人心驚膽戰了!)

新的 DNS 系統

Our new authoritative DNS server

技術需求相當直接:對於收到的任何 DNS 請求,我們都必須查詢最新的區域對照表。這份對照表必須能容納不限數量的紀錄,並將相應的回應傳回用戶端。

為了避免與另一套系統同步,並免得多出另一個需要維護的環節,DNS 紀錄會直接取自我們既有的 basin 資料庫。透過即時執行 SELECT,就能一致地「解析」DNS 請求所需的對應資訊。換句話說,我們希望 DNS 成為既有強一致性帳戶資料庫的新呼叫端。

我們的帳戶資料庫位於 Google Cloud Spanner,原本預期效能會很好(前提是投入足夠的資金)。

接下來是核心功能。

我們反覆評估要以函式庫為基礎開發,還是撰寫 CoreDNS 模組。最後覺得函式庫最有彈性,能讓我們打造完全符合使用情境的方案。我們主要使用 Rust,但這個專案決定採用 Go,主要是因為 Spanner 工具(以及 GCP 生態系)相對成熟。我們很快就選定 miekg/dns 函式庫,因為它的檔案品質出色,也已支援許多 RFC。

我們需要支援多種記錄型別的權威 DNS 查詢:A、AAAA、NS、CNAME、SOA。由於我們使用函式庫,因此必須自行建構回應。正確性測試著重於這些記錄,包含單元測試、使用 Ferret 進行 RFC 相容性測試(我們是在這篇出色的論文中發現它的:SCALE:自動找出 DNS 名稱伺服器的 RFC 相容性錯誤),以及部署後使用即時資料進行的冒煙測試。

S2 的 basin 區域使用萬用字元憑證,因此必須讓 ACME DNS-01 驗證正常運作。我們決定不在自己的伺服器提供 DNS 驗證,而是透過 CNAME 委派,將驗證交由獨立的 Route53 區域處理,避免還得調整憑證續約系統,也無須提供動態 TXT 記錄。

接著,我們與一套熱門 AI 系統進行了幾輪規劃。設計相當簡單,整體也很合理(連我都看得懂),但它的建議總是包含各種額外功能:合併請求、負向快取、節流、速率限制、DNS Cookie 等等。這也在意料之中,畢竟系統會在開放而危險的網際網路上運作;不過,它提出了許多防護措施。

我們越深入探究……事情就越令人害怕。DNS 層級可能遭遇許多種攻擊,有些可怕的情況我早就知道,也有些是我從未聽聞的。

NXDOMAIN 攻擊最讓我們害怕。每一筆隨機且不存在的 DNS 查詢,都會觸發一次全新的資料庫查詢。我們試著在應用程式內加入 NXDOMAIN 防護,但在我看來,這是最糟糕的 DDoS 攻擊,幾乎沒有任何方法能真正阻止。真糟。

DNS 防火牆的必要性

長話短說,DNS 基礎架構可能遭遇的攻擊,比我願意承認的還要令我害怕。我們開始尋找 DNS 防火牆方案,原本以為一定有類似用於 DNS 服務的反向代理架構。這或許是個小眾需求,也或許這個領域非常危險;但符合我們「記錄數量不限」及「DNS 反向代理防火牆」需求的廠商,我們只找到兩家:Cloudflare 和 Akamai。兩家都是各自領域的巨頭,提供的方案也相似(這類服務不會公開定價)。

做了幾次概念驗證後,我們最後選擇了 Cloudflare 的 DNS 防火牆方案。我們將 DNS 伺服器的來源端設定為只允許來自 Cloudflare 已知 IP 位址的流量,這是相當標準的 Cloudflare 反向代理架構(由 Cloudflare 居前,其他人都無法連到來源端,否則就失去意義了)。補上這個環節後,最終設計便已完成,我們也準備好將新系統部署至正式環境。

身為權威 DNS 伺服器,我們必須回應 SOA 和 NS 查詢,而這些查詢會指向名稱伺服器的 IP。我們特別謹慎,確保回傳的 IP 一律是 Cloudflare 的 IP,而非負載平衡器的 IP;其中包含一個 ns-leak-test,確保來源 IP 不會因某次回歸性變更而外洩。

最終架構

The same authoritative server with protection

至於最終架構與高可用性(是的,故障總是難免),我們在兩個不同區域的 GKE 叢集上執行 DNS 伺服器,並盡量選擇靠近 Spanner 的區域。每個叢集都有多個複本,置於 TCP 和 UDP 負載平衡器後方。

可觀測性,以及讓所有人熟悉新系統,也是這次推出的關鍵環節。我認為沒有人會特別留意 Route53,也沒有人會另外監控它(畢竟代管服務出狀況時,值班警報是別人的事);但我們必須建立警示和操作手冊,並安排深夜故障復原流程。

這套架構有個有趣之處:要解釋完整的委派鏈相當不容易。主網域由 Cloudflare 以一般區域管理。接著,它會將 basin 子網域委派給 Cloudflare,但不是委派給一個區域,而是委派給一項服務(DNS Firewall)。接著,該服務會連線至 GKE。此外,Route53 上還有另一個用來管理憑證的區域(祝你看懂這一段,Codex)。

這還不是最終形態,內部 TODO 還包括調整 DNS 快取,以及如何妥善最佳化使用者端、DNS Firewall 和 DNS app 之間的配置(再多 AI 也解決不了這件事)、未來的 DNSSEC 擴充功能,以及其他許多工作。至於那些我們尚未遇過的故障,這仍是個未知系統(或者用我喜歡的方式來說:事情看起來一切正常時,你要怎麼知道它出了問題?)。

Served queries

目前一切穩定。檢視過去幾週的統計資料,線上流量表現良好;過去幾週的提交紀錄大多是修補 CVE、更新相依套件,以及節省成本。客戶現在建立了數千個 basin,而且都能立即開始串流。

我想我們現在終於到了能在某次事件檢討中怪罪 DNS 的地步。

讀者討論

理性交流 · 即時討論