怎麼確認 API 供應商提供的真的是它宣稱的模型?
透過第三方 API 買模型時,外界很難確認服務實際接上的模型是不是供應商宣稱的那一個。作者整理一篇研究,檢查轉售前沿模型的 17 個服務:24 個端點中,有 11 個未通過模型身分檢查,另有 3 個雖通過標示檢查,指紋仍與官方模型差距很大。研究也用測試環境量出指紋辨識和分佈測試的誤判率,但提醒黑箱測試只能找出替換的線索,不能證明模型身分真實。作者建議供應商公開模型版本、請求紀錄與原始回應,並定期重測;使用者也要先看清楚模型不可用時是否會改接其他模型,以及如何計費。