跳到正文
Hacker News (official RSS)(theregister.com)·· 6 天前精選品質評分88

Microsoft 說明 Exchange Online 大當機與 7 月程式缺陷有關

Microsoft blames monster email outage on software defect introduced in July fix

重點導讀

Microsoft 365 的電子郵件服務大當機,起因是 7 月更新留下的程式缺陷,遇上流量增加和可用伺服器減少後被觸發。

  • Microsoft 的初步報告指出,伺服器上的程式互相卡住,耗盡 CPU 和記憶體。
  • 流量接著被轉到其他伺服器,讓問題一路擴大,最嚴重時超過 80% 的伺服器沒有回應。工程師無法直接退回幾個月前的更新,只能再推出修正程式,逐步恢復服務。部分服務能改走其他網路閘道,Exchange Online 則無法這樣切換,因此中斷時間較長。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Microsoft 的初步報告串起程式缺陷、流量轉移與容量下降如何互相放大,呈現雲端服務故障從區域性問題擴散成大規模中斷的過程。

正文 · 中文翻譯

廣告

SaaS

夏季的程式碼變更導致秋季故障——工程師只能慌忙修補補丁,無法回復變更

Microsoft 將上週的重大服務中斷歸咎於 7 月的一項變更。這項變更一直潛伏在網路閘道伺服器中,直到負載激增、容量下降,才觸發缺陷,讓 Microsoft 365 的使用者有一天無法收發電子郵件。

根據 Microsoft 於 11 月 15 日發布的初步事後報告,這項缺陷是在 2026 年 7 月引入的。Microsoft 表示,當時這項更新看起來沒有問題,通過了負載測試,部署後也未造成任何影響。

然而,測試並不夠完善。Microsoft 在報告中指出:「我們的負載測試往往著重於核心數較少、硬體規格較低的裝置。」這項缺陷導致「Windows 內部程式發生鎖定競爭,耗盡了機器的資源(CPU 與記憶體)。」

廣告

「在核心數較多、硬體較新的機器上,鎖定競爭問題會更加嚴重。」

廣告

修正缺陷的更新是專為 Microsoft 365 網路閘道伺服器準備的。接著有兩件事同時發生。Teams 切換至支援 Exchange Online 的「主要」閘道,造成負載激增;這種情況本身並不算特別異常。與此同時,網路閘道有近 14% 的伺服器容量暫停服務;這件事單獨來看也不是問題:相關容量正準備恢復,而且 Microsoft 表示「服務有足夠的容量餘裕」。兩件事加在一起,讓閘道觸發了缺陷,接著便陷入混亂。

這是典型的連鎖故障情境。伺服器失去連線時,流量會被導向下一個正常運作的端點,而該端點也遇到相同問題。於是流量再次改道……接下來會如何發展不難想像。兩小時內,Microsoft 整個伺服器群都遇到了這項缺陷。報告指出:「情況最嚴重時,超過 80% 的伺服器沒有回應。」

那該怎麼辦?讓伺服器恢復服務也無濟於事——它們馬上就因負載過重而再次故障。

「我們平時採用的自動復原程式,並未設計用來從這種大範圍無回應的狀態中恢復服務。」由於這項缺陷已存在數月,也無法直接回復變更。

工程師改為開發修補補丁的補丁;用 Microsoft 的說法,就是「更新程式碼路徑,讓它回到 Windows 中先前已知可正常運作的狀態」。補丁分批套用到各組伺服器,服務也逐步恢復。

時間線呈現出客戶所承受的影響,以及 Microsoft 在雷德蒙德摸索 Exchange Online 與其他雲端服務為何嚴重異常的過程。Teams 切換至備援系統,後來證實是這次服務中斷的因素之一,時間是 11 月 12 日 01:07 UTC。當天負載逐漸升高,直到 16:03 UTC,Microsoft 的連線異常偵測監控系統發現連線問題增加。

16:33 UTC,Microsoft 收到第一起支援案件。

不難想像,工程師在接下來 15 小時裡一定承受了極大壓力,因為他們嘗試的各種方法都無法解決問題。團隊試圖恢復服務期間,所有進行中與規劃中的部署和設定變更都暫停了。他們增加了額外容量,也重新導引流量,但伺服器仍不斷故障。

廣告

「報告指出,能夠切換的服務——例如 Teams、OneDrive、SharePoint 和 Office 應用程式——都因故障的網路閘道基礎架構而切換失敗。」「但受規模因素限制,並非所有服務都能切換離開這個網路閘道,例如 Exchange Online。」

因此,Exchange Online(或從許多使用者的角度來看,Outlook)停擺了這麼久。

截至 11 月 13 日 0030 UTC,Microsoft 已確認連線交涉是存取失敗的主要原因,並判定有互相競爭的處理程序阻礙連線處理。

不過,直到 0720 UTC,Microsoft 才表示:「我們找到了緩解措施並已套用——透過更新回復有缺陷的變更。」

Microsoft 在 1610 UTC 確認服務狀況再度恢復正常,並於 11 月 14 日 0415 發布最後一則客戶更新。

最終的事後報告預計於 11 月 20 日發布。不過,初步報告無法安撫人心。三個月前套用的一項更新,竟造成 Exchange Online(以及其他服務)在全球大規模中斷?而且負載測試並未涵蓋 Microsoft 能掌控的情境?

那些不眠不休、努力恢復服務的工程師值得嘉許;希望他們在 Redmond 再也不用自己買飲料(至少也能躲過下一波裁員)。然而,讓帶有潛在缺陷的更新進入正式環境的流程,值得徹底檢視。®

來源: Hacker News (official RSS) (theregister.com)
開啟原文

讀者討論

理性交流 · 即時討論