Microsoft 說明 Exchange Online 大當機與 7 月程式缺陷有關
Microsoft blames monster email outage on software defect introduced in July fix
Microsoft 365 的電子郵件服務大當機,起因是 7 月更新留下的程式缺陷,遇上流量增加和可用伺服器減少後被觸發。
- Microsoft 的初步報告指出,伺服器上的程式互相卡住,耗盡 CPU 和記憶體。
- 流量接著被轉到其他伺服器,讓問題一路擴大,最嚴重時超過 80% 的伺服器沒有回應。工程師無法直接退回幾個月前的更新,只能再推出修正程式,逐步恢復服務。部分服務能改走其他網路閘道,Exchange Online 則無法這樣切換,因此中斷時間較長。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Microsoft 的初步報告串起程式缺陷、流量轉移與容量下降如何互相放大,呈現雲端服務故障從區域性問題擴散成大規模中斷的過程。
廣告
夏季的程式碼變更導致秋季故障——工程師只能慌忙修補補丁,無法回復變更
Microsoft 將上週的重大服務中斷歸咎於 7 月的一項變更。這項變更一直潛伏在網路閘道伺服器中,直到負載激增、容量下降,才觸發缺陷,讓 Microsoft 365 的使用者有一天無法收發電子郵件。
根據 Microsoft 於 11 月 15 日發布的初步事後報告,這項缺陷是在 2026 年 7 月引入的。Microsoft 表示,當時這項更新看起來沒有問題,通過了負載測試,部署後也未造成任何影響。
然而,測試並不夠完善。Microsoft 在報告中指出:「我們的負載測試往往著重於核心數較少、硬體規格較低的裝置。」這項缺陷導致「Windows 內部程式發生鎖定競爭,耗盡了機器的資源(CPU 與記憶體)。」
廣告
「在核心數較多、硬體較新的機器上,鎖定競爭問題會更加嚴重。」
廣告
修正缺陷的更新是專為 Microsoft 365 網路閘道伺服器準備的。接著有兩件事同時發生。Teams 切換至支援 Exchange Online 的「主要」閘道,造成負載激增;這種情況本身並不算特別異常。與此同時,網路閘道有近 14% 的伺服器容量暫停服務;這件事單獨來看也不是問題:相關容量正準備恢復,而且 Microsoft 表示「服務有足夠的容量餘裕」。兩件事加在一起,讓閘道觸發了缺陷,接著便陷入混亂。
這是典型的連鎖故障情境。伺服器失去連線時,流量會被導向下一個正常運作的端點,而該端點也遇到相同問題。於是流量再次改道……接下來會如何發展不難想像。兩小時內,Microsoft 整個伺服器群都遇到了這項缺陷。報告指出:「情況最嚴重時,超過 80% 的伺服器沒有回應。」
那該怎麼辦?讓伺服器恢復服務也無濟於事——它們馬上就因負載過重而再次故障。
「我們平時採用的自動復原程式,並未設計用來從這種大範圍無回應的狀態中恢復服務。」由於這項缺陷已存在數月,也無法直接回復變更。
工程師改為開發修補補丁的補丁;用 Microsoft 的說法,就是「更新程式碼路徑,讓它回到 Windows 中先前已知可正常運作的狀態」。補丁分批套用到各組伺服器,服務也逐步恢復。
時間線呈現出客戶所承受的影響,以及 Microsoft 在雷德蒙德摸索 Exchange Online 與其他雲端服務為何嚴重異常的過程。Teams 切換至備援系統,後來證實是這次服務中斷的因素之一,時間是 11 月 12 日 01:07 UTC。當天負載逐漸升高,直到 16:03 UTC,Microsoft 的連線異常偵測監控系統發現連線問題增加。
16:33 UTC,Microsoft 收到第一起支援案件。
不難想像,工程師在接下來 15 小時裡一定承受了極大壓力,因為他們嘗試的各種方法都無法解決問題。團隊試圖恢復服務期間,所有進行中與規劃中的部署和設定變更都暫停了。他們增加了額外容量,也重新導引流量,但伺服器仍不斷故障。
廣告
「報告指出,能夠切換的服務——例如 Teams、OneDrive、SharePoint 和 Office 應用程式——都因故障的網路閘道基礎架構而切換失敗。」「但受規模因素限制,並非所有服務都能切換離開這個網路閘道,例如 Exchange Online。」
因此,Exchange Online(或從許多使用者的角度來看,Outlook)停擺了這麼久。
截至 11 月 13 日 0030 UTC,Microsoft 已確認連線交涉是存取失敗的主要原因,並判定有互相競爭的處理程序阻礙連線處理。
不過,直到 0720 UTC,Microsoft 才表示:「我們找到了緩解措施並已套用——透過更新回復有缺陷的變更。」
Microsoft 在 1610 UTC 確認服務狀況再度恢復正常,並於 11 月 14 日 0415 發布最後一則客戶更新。
最終的事後報告預計於 11 月 20 日發布。不過,初步報告無法安撫人心。三個月前套用的一項更新,竟造成 Exchange Online(以及其他服務)在全球大規模中斷?而且負載測試並未涵蓋 Microsoft 能掌控的情境?
那些不眠不休、努力恢復服務的工程師值得嘉許;希望他們在 Redmond 再也不用自己買飲料(至少也能躲過下一波裁員)。然而,讓帶有潛在缺陷的更新進入正式環境的流程,值得徹底檢視。®