軟體正確性與程式語言:專訪 Sean Allen
軟體正確性與程式語言:專訪 Sean Allen
Antithesis 紅隊測試專家 Sean Allen 主張,軟體正確性來自更強的型別系統、基於性質的工作負載與內建品質,而非測試關卡;他也認為技術債未必總得償還。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Antithesis 紅隊成員 Sean Allen 主張,軟體正確性應該從一開始就納入工程設計——靠型別系統、窮盡式匹配(exhaustive matching)與語言層級的保證——而不是等到最後才用測試把關。這場對談大部分時間花在程式語言設計(OCaml、F#、Ada、Pony、Rust)、記憶體管理與延遲,以及如何設計真正能操到系統的「工作負載」(workload);供應鏈安全與機密運算(confidential computing)在接近尾聲時有較短但紮實的一段。
Allen 在這裡的可信度不太尋常:他學 C++ 有一部分是靠 Neal Stephenson 在郵件論壇上的指點,之後多年寫並行 C 與 C++,待過微軟研究院的機密運算團隊,現在投入 Pony——這套 actor 模型語言是他大學友人 Sylvan Clebsch 在倫敦帝國學院唸完博士後創造的。主持人為 Gergely Orosz。讀者讀完應該能建立一個可用的心智模型:正確性可以在測試之前於哪些環節強制落實、為什麼垃圾回收的延遲是設計選擇而非自然定律,以及為什麼技術債是融資決策而不是道德瑕疵。
正確性要早早內建,而非最後把關
Allen 的核心主張是:測試是最後、也是最弱的一道防線;把品質當成一道關卡——CI/CD 檢查點、預備環境、程式碼審查——的團隊,結構上就是比從第一次提交就為正確性而設計的團隊來得慢。他對正確性的寬鬆定義是「我的程式做了我預期它做的事」,更正式的說法則是從不變數(invariant)出發:軟體必須維持的保證。他對正確軟體的實務定義是:這種軟體「不會在凌晨兩點把人叫醒」。
他引用的部落格文章標題刻意挑釁:「沒人在乎測試」。他至今仍這麼認為,把測試定位成一種手段,而手段本身並不重要。他的論證從手動測試——最糟的情況——往回推,經過自動化,最後結論是:再精密的測試都發生在「賽局的很後段」。替代方案是讓非法狀態在型別系統裡根本無法表達,這樣整類的 bug 連寫都寫不出來,更別說上線。
他小心地不把測試全盤否定。他說自己很愛測試驅動開發(TDD),稱它是設計出人們真的會用的 API 的最佳機制之一,因為先寫測試會逼你去看這個東西實際上怎麼被使用。他反對的是把 TDD 當成正確性策略,而不是當成設計工具。
講到品質關卡,他承認瑞士起司模型確實能攔下一些缺陷,但認為這個框架在某個意義上是「謊言」:沒有任何額外的關卡能把剩下的洞封起來。他頗為認同 Honeycomb 那件「我在生產環境測試」的 T 恤——不管你承不承認,每個人都在生產環境測試,因為沒有任何工具能生成線上系統裡已經存在的那些特定髒資料。他畫出的分野是:動作慢、或不斷出緊急修補的團隊(關卡思維),對比動作快卻有把握的團隊(設計思維)。
「品質不是一道關卡。整個關卡的概念建立在一個我們正把它拖到陽光下的信念上。這個信念就是:品質是靠把壞東西擋在外面來維持的。」
Orosz 用 Google 搜尋當反例:排序相關性真的很難寫成測試。Allen 接受這個切分——「它有沒有在運作」(我有沒有拿到結果、查詢的標記有沒有回來、每秒一千次請求下還撐不撐得住)是可以測的;「它有沒有相關」則是另一個難得多的問題。他提到自己做的機器學習是在推薦系統,這種區分是每天的現實。
型別系統做的是測試原本得做的事
ML 語言家族——OCaml、F#,以及受其影響的 Rust——都圍繞著和型別(sum type)、模式匹配與窮盡式匹配建構。Allen 的舉例:定義一個有五種變體的型別,然後加上第六種,編譯器會逐一指出程式庫裡所有沒處理到它的地方。他稱這是「痛快到不行的體驗」。它把 TypeScript 或 C 會拖到執行期才做的驗證,提前到了最前面。
OCaml 的諷刺之處在於,名字裡那個物件導向的部分根本沒人用。Allen 說他想不出有誰寫 OCaml 還真的用到它的 OO 特性;這語言在 Jane Street 這類公司流行起來,純粹是靠它的函式式核心。F# 起初是「.NET 上的 OCaml」,由微軟研究院的 Don Syme 推動。Allen 對 F# 的讚美不在語言特性,而在整合紀律:Syme 讓語言慢慢演進,等 .NET 執行環境跟上,而不是搶先衝出去、留下一堆粗糙邊角。他拿自己在 JVM 上用 Scala 的經驗對比,說它跟 Java 互通時滿是粗糙邊角。多年下來,F# 的許多特性都搬進了 C#,和型別與窮盡式匹配是明顯還缺的一塊——他預期 C# 終究會補上。
Ada 則是他自己職涯裡的反面教材。年輕時在 C 與 Ada 之間做選擇,他挑了 C,因為他的 Ada 程式編譯不過。他現在懂了:編不過的原因是那些程式本質上記憶體不安全——編譯器是在資料競爭與記憶體損毀發生之前就把它們擋下來。他的 C 程式倒是編得開開心心,然後一天到晚 segfault。他花了多年建立一套讓並行 C 與 C++ 不當掉的個人規則,愈來愈嚴謹,結果還是會出錯,「因為我是人」。他形容 Ada 現代的推銷話術是直接衝著 Rust 使用者來的:「所以你喜歡 Rust。想不想要再多一些保證?」
| 語言 | 家族 | 編譯器強制保證什麼 | Allen 的評語 |
|---|---|---|---|
| C | Algol | 除了型別幾乎什麼都沒有 | 「一把對著我自己腳的巨大手槍」 |
| Ada | 嚴格靜態 | 記憶體安全、深度規格 | 直覺對了,但對初學者太嚴;至今仍能拿來跟 Rust 搶客 |
| OCaml | ML | 和型別、窮盡式匹配 | 很棒,但 OO 那一半是累贅 |
| F# | .NET 上的 ML | 同上,外加無縫的 .NET 互通 | 他見過整合得最好的 |
| Rust | 受 ML 影響 | 所有權、借用、和型別 | 保證很強,但並行要自己組 |
| Pony | 受 ML 影響、actor 模型 | 免於資料競爭、能力(capability)、內建並行 | 「主廚套餐」選項——取捨都幫你挑好了 |
他也點出 Erlang 通往同一目的地的另一條路:沒有型別系統,但用 actor 模型,訊息在 actor 之間一律複製,所以不存在共享記憶體,也就不可能有資料競爭。這是靠架構而非型別達成的「建構即正確」。
垃圾回收只有在你自己這樣設計時才慢
Allen 重新框定這個常見抱怨。多數工程師把垃圾回收跟 JVM 的停止世界(stop-the-world)暫停連在一起,而他們的經驗沒錯——那些暫停確實會毀掉尾延遲。但他認為「垃圾回收很慢」是把症狀當成病因。病因是那種所有記憶體都能從任何執行緒觸及的記憶體模型,這讓「不停止一切就安全回收」變得極難。
他指出,手寫效能最佳化其實已經走到 GC 的半路上:沒人會在熱迴圈裡呼叫 malloc 和 free,所以工程師會寫 slab 配置器、arena 配置器,然後還得自己決定記憶體什麼時候可以釋放。到那個地步,他們已經手動接下了回收器的工作。
Pony 的做法(他先宣告這是「為了逼近真相而說的一點小謊」)是每個 actor 各自擁有堆積——跟人們理解 Erlang 的 BEAM VM 時用的心智模型一樣。每個 actor 做完一定量的應用工作後就釋放自己的記憶體,所以不會出現全域暫停。取捨是明擺著的:峰值吞吐量略低,換來平穩的延遲而非尖峰。他舉標準 JVM 設定上的 Cassandra 當大家熟悉的病灶——「哎喲,我的尾延遲爛透了。」
他對在 JVM 限制下解決這個問題的工程相當推崇,點名 Azul 的無暫停回收器(付費產品,多數專案都跳過)與 Java 的 Shenandoah 回收器是很了不起的成果。重點不是 JVM 不好,而是記憶體模型決定了天花板。
找出真 bug 的是工作負載,不是範例
特性測試(property-based testing)在玩具案例上大家都很熟——把清單反轉兩次會拿回原本的清單。Allen 的貢獻是工作負載這個概念,他定義為三件事的組合:受測系統、判斷它有沒有正常運作的判準(oracle),以及驅動它的輸入。以鍵值儲存為例,操作(get、put、delete)只是起頭;工作負載還要指定有多少個鍵、鍵的範圍、鍵與值的大小。
他警告的失敗模式是天真的隨機化。如果你在 get、put、delete 之間均勻亂選,你得到的是一場醉漢漫步,永遠走不離起點。你永遠不會連續做一萬次 put,所以永遠不會觸發換頁到磁碟、垃圾回收或重新分片——而 bug 偏偏就住在這些程式路徑裡。工作負載的任務是把系統逼進有意思的領域,而不是隨機亂晃。
他舉的「看似簡單」反例,是測試資料庫隔離保證的銀行測試。開十個帳戶、每個放 1,000 美元,總共 10,000 美元。一個行程在交易裡於帳戶間轉帳。另一個行程不斷查詢總額。如果隔離成立,觀察到的值永遠只會是 10,000 美元。在筆電上跑,什麼都不會壞。放到網路故障與節點被殺的環境下跑——也就是 Kyle Kingsbury 帶起、Antithesis 在賣的那種 Jepsen 風格——bug 就傾巢而出。Allen 說隔離「大概是你會想對資料庫保證的、最重要的單一性質」。
他不接受 Orosz 把工作負載講成「建構出來的場景」,因為「建構」會把你拉回以範例為基礎的單元測試。重點是訂下規則,讓系統自己去跑。他也提到這個詞可以伸縮:柏拉圖式的銀行測試是一個工作負載,針對某個特定資料庫實作的銀行測試也是一個工作負載。
供應鏈安全在任何主流語言裡都沒有好答案
Allen 的評斷很直白:在人們實際使用的幾乎任何語言裡,都沒有好的防禦,因為套件管理承襲了 CPAN 時代的信任假設——一個假設每個行為者都善良的網路。核心問題是能力對等:你寫的程式碼和從網路上抓下來的程式碼擁有同樣的許可權。一個補空白的文字套件也能開網路連線、跑加密貨幣挖礦。
他逐一檢視標準防禦,每個都不及格。冷卻期(拒用一週內的新套件)會讓你在那一週裡暴露在現行漏洞下,而且如果大家都採用,就沒人在盯著攻擊。把依賴放進自家或 fork 一份,只是把負擔搬走,沒解決問題。沙箱會失效,因為沙箱會被逃脫。
他覺得有意思的研究方向是物件能力(object capabilities),出自 Mark Miller 的語言 E:除非明確授予某項能力,否則不允許任何動作,所以一個套件不能開 socket,除非你的程式碼把那個權力交給它。Pony 內建物件能力。但他也點出那個到處都在破壞它的後門:幾乎每種語言都有外部函式介面(FFI),只要某個依賴能從 FFI 那道門走出去,能力模型就形同虛設。
他也點出硬體層,這是再多的軟體紀律都管不到的。推測執行(speculative execution)——二十多年來 CPU 加速的主要來源——要求兩個分支都存在於記憶體中,而這正是側通道攻擊(side-channel attack)得以成立的原因。他形容 Linux 核心的第一版緩解措施代價大約是 50% 的效能下滑,接著攻擊一波接一波,最後整個產業落入打地鼠,而不是放棄那個速度。
他在微軟研究院機密運算團隊的經驗讓這點更清楚。機密運算的目標,是讓軟體能跑在營運者不被信任的環境裡——這對某些情境很實際,例如那些後來被發現替沙烏地政府辦事、偷看異議者私訊的 Twitter 員工。他團隊打造的機密容器產品,每一項保證後面都附了一個但書:「排除側通道攻擊」。他說,每一項保證都會被側通道攻破。
技術債是融資決策,不是道德瑕疵
Allen 為十年前的一篇文章辯護:「技術債只有在你得還的時候才痛。」當初的案例是一個從沒還掉的 MySQL 分片上限——公司砸錢買了一套對外看起來像單節點的分散式資料庫,接受罕見的邊界情況,換取永遠不必做遷移工程。他明講這個取捨:他們付錢給廠商,保證並不完全是單節點 MySQL 那種,但公司又不是在寫 Ada,罕見的失敗無所謂。
他不是在鼓吹亂來。他區分「隨便硬幹」和「做出最小可塑版本」——後者只涵蓋問題的一小片、只處理少數邊界情況,而且如果三個月內有五件事要疊上去,它很容易拆掉。失敗模式是在找到產品市場契合度(product-market fit)之前就把自己債到牆角。錯誤在於相信每一分債都必須還清。
Orosz 舉了 Uber 的實例:Jump 共享單車團隊的一位工程師進到成熟的叫車程式庫,刪掉一個失敗的測試好把改動上線,接著就是僵持。大約半年後 Jump 被賣掉。Allen 的解讀是:那位工程師是在用「天」為單位在最佳化,因為這個部門能不能活下來都不確定,而那樣的盤算是對的。
開頭慢,後面才能快
Allen 列出的做法都不光鮮:動手寫程式前先寫規劃檔案、講好範圍;在開始建之前先知道要怎麼測;對還不熟的部分花幾小時或幾天做個用完即丟的雛形;凌晨兩點生產環境失火時就停手。他把最後一項講成親身經驗——每週八十小時只會製造更多錯誤、花更多時間除錯,產出並沒有變多。
他最犀利的一點是關於用詞。他見過最浪費時間的事,就是大家用同樣的字眼指不同的東西。他舉分散式系統的一場爭論:兩派為了「恰好一次」(exactly once)投遞吵翻天——一派指的是恰好處理一次(冪等),另一派指的是訊息字面上只送達一次——因為沒人先把定義講清楚。同樣的失敗也發生在:花一小時寫的工單、花一週實作,做出來的東西沒人想要。他指出,敏捷的衝刺本來就是要內建短回饋迴圈,正是為了防這件事。
「開頭慢」的前瞻版本,是在你需要之前就先為可觀測性而設計。把系統建成讓你能判斷它是不是掛了,以及它是不是還活著、但對某一部分使用者提供糟糕的體驗——那些仍能通過負載平衡器健康檢查的灰色故障。這是設計決策,開頭做的時候很便宜,之後才做就很貴。
未解的張力:每一項保證都有但書
貫穿這些主題的一條線是:正確性永遠被某個別人選定的取捨所框限。Ada 的嚴格是對的,但對初學者不可用。Pony 的平穩延遲要犧牲峰值吞吐量。機密運算的保證止於側通道。物件能力止於 FFI。型別系統止於商業邏輯,以及生產環境裡早已損毀的資料。Allen 的立場不是這些有哪一項能做得完美,而是「把界線畫在哪裡」是一個工程決策,應該刻意且提早做出——晚做的團隊要用緊急發版來付代價,早做的團隊之後才能快。這集留下來的開放問題是供應鏈安全:Allen 在現有的語言生態裡看不到真正修好的路,只有像物件能力這類會被 FFI 破壞的研究方向。