Interfaze 在 Vercel 上每月處理 5 千萬次請求

Interfaze 在 Vercel 上

每月 50 萬次請求
後端執行於 Fluid compute
多個模型供應商位於一層回退層，透過 AI Gateway

Interfaze 建構針對決定性工作之模型，這類工作一般型 LLM 處理較差：檔案處理、OCR、物件偵測、網頁抓取、語音轉文字與分類。

創辦人 Yoeven Khemlani 如此說道：「大多數模型本質上不是決定性的。這在你撰寫論文時沒問題。但當醫院或法律團隊需要處理檔案時，你不會去尋求 LLM。」詢問 LLM 詢問發票總額時，你會得到一個數字，卻無法輕易確認其來源。Interfaze 的模型會回傳該數字以及顯示該數字在頁面上位置的邊界框，並附上模型對此數字的置信度分數。每一結果皆可驗證，且模型仍以與 LLM 相同的方式接受提示。

Interfaze 模型周圍的一切皆執行於 Vercel，包括後端。這涵蓋了每月 50 萬次請求的 API、執行模型寫入程式碼的 sandbox，以及在第三方模型供應商停機時仍保持資料預處理運作的路由。

後端不需要任何基礎設施工作

Interfaze 的前端與後端皆執行於 Vercel。後端處理所有對 Interfaze API 的請求，無論客戶是呼叫模型還是上傳檔案。全部皆以 serverless 函式執行，並與前端共用同一程式碼庫。當請求需要計算時，模型將程式碼交給 Vercel Sandbox，其在隔離環境中執行。無需另外設定任何基礎設施。

Fluid compute 處理繁重作業

擴充性是 Yoeven 的首要需求。目標是為數百萬使用者提供模型服務，而 Fluid compute 能自動隨流量擴充。更重的工作亦執行於此。Vercel 的記憶體與逾時限制足以支援 Interfaze 的網頁抓取（使用 Puppeteer），可直接運作。

AI Gateway 使模型路由在大規模環境下可靠

Interfaze 透過第三方供應商託管的開源模型推送大量資料清理。單一供應商是薄弱環節。供應商若達到速率限制或停機，且若其中之一停機，除非流量轉移至其他地方，否則清理將停止。

供應商亦不可互換。兩者可能聲稱託管相同的開源模型，但服務品質差異很大。

當供應商失效或限速時，AI Gateway 會自動將請求轉交至下一個供應商。它亦允許 Interfaze 選擇哪個供應商提供特定模型，讓團隊能將相同工作負載跑過每個供應商，觀察表現，並將流量導向表現佳的供應商。

Workflow SDK 讓電子郵件流程持續執行數月

Interfaze 以 Workflow SDK 執行其生命週期電子郵件系統，傳送依產品使用情況而定。系統追蹤客戶呼叫的 API、使用量及其與首週的比較。重試自動處理，單一失敗步驟不會中斷整個流程。

Interfaze 最需要的部分是耐久執行。工作流程可暫停某步驟並在數月後以保持狀態的方式重新啟動，團隊發現其他系統無法長期做到此。

預覽部署將新模型版本送至客戶

Interfaze 同時執行多個版本的模型，每個都有自己的 URL。當發生錯誤時，團隊必須先知道是哪個版本產生了錯誤，才能修正。於 Vercel，每個 URL 都是獨立的部署，擁有自己的日誌，因此錯誤已經歸檔在造成錯誤的版本之下。沒有需要另外設定的日誌供應商。

同樣的預覽 URL 便是新模型版本在正式釋出前送達客戶的方式。Vercel 端的釋出大約需要三分鐘。將權重託管於 GPU 上則是耗時較長的一環。

接下來是什麼

Interfaze 最近發布了 Interfaze 1 Lite，這是其模型的開源權重版本，可在單一 GPU 上執行，並透過相同的 API 提供服務。接下來是網路搜尋閘道，一個 API 可將請求路由至開發者選擇的搜尋供應商，就像 AI Gateway 為模型所做的那樣。它與其他服務一樣部署在相同的 Vercel 後端。

關於 Interfaze： Interfaze 為確定性任務構建模型，包括 OCR、物件偵測、網頁爬蟲、語音轉文字以及分類。其客戶為法律、醫療保健與金融領域的工程團隊。