跳到正文

#教學/實務

RSS
今日 0 則
11月22日週日
  1. LangChain Blog60

    LangChain 分享如何打造 AI 助理可用的知識工廠

    AI 助理要替公司做事,光有模型和資料還不夠,還得知道公司的做事規矩、資料放在哪裡,以及該怎麼查。LangChain把這套整理流程稱為知識工廠:AI 助理工作時遇到缺資料或錯誤,可以先回報問題,再由背景執行的整理助理檢視檔案、資料來源和工作紀錄,更新相關指引。以營收報表為例,助理發現資料欄位改名時會回報,也能把財務主管提供的新格式要求整理進報表指引,讓之後的工作更順。LangChain建議從一項常做的工作開始,觀察 AI 助理卡在哪裡,再逐步補上缺少的知識。

    推薦理由:LangChain以營收報表為例,說明如何讓AI助理回報知識缺口,再由整理助理依據資料來源與工作紀錄更新指引。

11月21日週六
  1. AWS Machine Learning Blog68

    AWS 的分散式 KV 快取技能,幫忙評估與設定 LLM 快取

    自架大型語言模型時,不同 GPU 伺服器若沒有共用對話紀錄,使用者回來接續工作時,伺服器就得重新計算,讓第一個回應變慢。AWS 介紹一項分散式 KV 快取技能,可在支援技能的程式開發 AI 助理中,先檢查工作負載是否適合,再估算快取成本、協助設定 Amazon ElastiCache,或排查傳輸問題。文章也提醒,短提示詞可能不適合用快取;是否划算要看提示詞重複情況與實際流量,釋出的 GPU 時間也只有在減少伺服器或承接更多流量時,才會轉成省下的費用。

    推薦理由:文章以四段實際操作說明技能如何先估算工作負載是否適合,再協助設定與排除故障,呈現從評估到部署的完整流程。

  2. ElevenLabs Official Blog57

    ElevenLabs 如何改善文字轉語音的發音與節奏問題

    文字轉語音有時會念錯品牌名或專業詞,也可能把長句念得太快、太平,甚至因 API 設定問題無法產生語音。ElevenLabs 整理了幾種處理方式:常用的特殊讀音可放進發音字典,單一詞句則可加上發音標記;要讓整段聽起來自然,可以把句子拆短、用標點安排停頓,並清除 Markdown 等格式。若語音無法產生,也可依 HTTP 錯誤碼檢查文字長度、API 金鑰、voice_id 或請求數量。發布前先測試品牌名和專業詞,有助於及早找出問題。

  3. AWS Machine Learning Blog57

    AWS 與 Standard Bank Group 如何自動檢查生成式 AI 風險

    銀行要讓生成式 AI 上線前,得逐一檢查每個用途是否符合安全要求,人工審檔案和測試系統往往拖慢審核。Standard Bank Group 與 AWS 合作,把既有的國際標準和銀行內部政策變成自動檢查:系統會整理檔案與程式碼、實際測試應用,再把結果連回對應規定,交由風險委員會審核。六次評估中,原本約兩週的人工審查縮短為約兩小時產出報告;文章也說,修正問題後,用途的風險分數改善了 14%。這套工具提供審查證據,不代表已取得法規合規認證。

  4. Google Developers Blog71

    Google 教你安全連線 Gemini Enterprise 與內部 Cloud Run MCP 服務

    企業把內部系統接到 Gemini Enterprise 時,得避免 MCP 服務暴露在公開網路,也要確認每次呼叫來自哪個服務和使用者。Google 說明如何用 Egress Agent Gateway、Private Service Connect 和精確網域的 Private Cloud DNS,讓 Gemini Enterprise 私下連到 Cloud Run;DNS 只套用在指定的 MCP 網址,避免影響共用 VPC 裡的其他 Cloud Run 服務。文章也說明兩層驗證的分工:Cloud Run IAM 確認呼叫服務的身分,MCP 程式則檢查使用者的 OAuth 2.0 權杖。文中附有參考程式和設定步驟,並介紹如何用 Cloud Logging 確認連線狀況。

    推薦理由:文章整理 Cloud Run 內部 MCP 服務的私有連線與雙重驗證做法,也說明如何避免 DNS 設定影響共用 VPC 中的其他服務。

  5. Google Developers Blog75

    Google 說明如何在 Gemini Enterprise 自訂介面處理使用者與工具授權

    企業把 Gemini Enterprise 放進自家入口網站時,原本內建介面會處理的登入和資料授權,就得由自訂介面接手。Google Developers Blog 整理了三部分做法:呼叫 StreamAssist API 時,依需求使用 Google Identity、Workforce Identity Federation 或 Workload Identity Federation;讓使用者替 Google Drive、SharePoint 等連接器完成 OAuth 授權;以及讓自訂 ADK AI 助理在真正呼叫受保護的工具時才要求授權。若要依員工身分限制檔案和工具許可權,應使用代表個人的登入方式;共用機器人則可使用 Workload Identity Federation。文中也附上可執行的程式範例,展示授權後如何把憑證存入 Google 管理的 Keystore 或 Token Vault。

    推薦理由:自建介面會接手處理登入、連接器授權與 AI 助理工具授權,本文比較三種登入方式並說明如何依個人許可權需求選用。

  6. Guillermo Rauch42

    Guillermo Rauch 回憶,他最早試用 @eve 的內部測試版時,做出了一個個人購物 AI 助理,但當時還缺少不少基礎設施。現在有了 @agentcardhq,模型也變得更好,iMessage 和 WhatsApp 的 eve 聊天管道更成熟,執行速度大幅提升,同時保留資料耐久性與加密保護。他表示,現在能用開放式 AI 技術堆疊,打造像 Muse/Instinct 這類可自行掌控的平臺,並鼓勵大家從範本開始修改成自己的版本。

  7. Unsloth AI60

    想在記憶體較少的裝置上執行大型模型,常會碰到硬體需求太高的問題。Unsloth AI 分享了 Inkling 2 Mini 的執行方式,這款模型有 26.4B,使用 Thinking Machines 的 MoE 架構,並可透過 Unsloth 或 llama.cpp 執行。貼文也提到它在 DeepSWE v1.1 得分為 48.2%,並附上 GGUF 檔案與操作指南連結。

    推薦理由:Inkling 2 Mini 可在 16GB RAM 的裝置上執行,貼文也列出它在 DeepSWE v1.1 的成績,呈現小型模型的執行門檻與表現。

  8. ElevenLabs Official Blog62

    ElevenLabs 示範用 ElevenAgents 和 Architect 打造醫療預約提醒 AI 助理

    診所人工提醒病人很難大量處理,簡訊和傳統語音選單也不容易確認身分或直接改約。ElevenLabs 示範用 ElevenAgents 和 Architect 建立外撥提醒 AI 助理:先核對病人的生日,再從電子病歷讀取預約,讓病人確認、改期或取消;若接到語音信箱、病人要求停止來電,或需要真人協助,也有相應流程。文章記錄了模擬測試和實際通話中發現的問題,包括未核對身分就透露預約資料、編出不存在的改期時間,以及 EHR 寫入時遺失資料。作者也提醒,測試全數通過仍不代表實際寫入正確,應讀回資料確認。

    推薦理由:文章呈現從工作流程設定、模擬測試到實際通話與 EHR 寫入的建置過程,也指出測試未涵蓋的資料遺失問題。

11月20日週五
  1. AWS Machine Learning Blog56

    BMW Group 如何管理數百個 AI 助理,讓上千名工程師一起開發

    數百個 AI 助理由不同團隊開發時,許可權、安全和品質標準很容易各做各的。BMW Group 分享一套管理方式:先把 AI 助理拆成可重複使用的工具、技能和工作流程,再用中央登入表讓團隊查詢、審核並避免重複開發。每次部署前,系統會檢查許可權、安全設定和測試結果;上線後也會追蹤品質變化,必要時交由人員調查。團隊仍能自行試作,但共同的檢查流程會在 AI 助理進入正式環境前把關。

  2. Databricks Blog78

    Databricks 測試 Genie One:集中管理業務定義,讓不同團隊得到一致答案

    同一個「損失率」可能因部門採用的演算法不同,出現方向相反但都正確的答案。Databricks 用虛構的保險公司測試 Genie One,結果顯示,只有團隊各自整理的 AI 助理時,整體答對率是 83%;再加入集中管理的計算方式與業務說明後,兩次測試達到 93% 到 95%。這些資料讓 Genie One 知道每個部門採用哪種定義,也讓直接回答或轉交 AI 助理時都能找到一致的演算法。團隊檔案仍要靠 AI 助理提供,因此兩者搭配才能同時處理定義和檔案問題。

    推薦理由:這項測試呈現各部門對同一指標各有合理定義時,集中管理計算方式與業務說明如何提升 Genie One 的答題一致性。

  3. Databricks Blog63

    Databricks 說明受監管產業如何安排 AI 助理的許可權與控制

    受監管產業匯入 AI 助理時,常要在自動處理和可追查、可控制之間拿捏。Databricks 整理出四種架構模式:由固定規則做出可重現的判定,AI 助理負責查明原因;讓 AI 助理產生結果,再由固定測試判斷是否合格;由 AI 助理整理證據與建議,重要決定交給負責的人;或只讓 AI 助理在明確的許可權範圍內執行。文章也以金融對帳、系統遷移、金融犯罪調查和資料存取為例,說明如何依錯誤代價、能否客觀驗證,以及是否需要人員判斷,安排控制邊界。

    推薦理由:四種架構模式分別安排 AI 助理、規則系統與人員的許可權,能協助受監管產業依錯誤代價和判斷方式規劃控制邊界。

  4. AWS Machine Learning Blog60

    AWS 與 Accenture 教你分階段降低 Amazon Bedrock 的 AI 成本

    企業使用 AI 越多,帳單可能越高,就算每個 token 變便宜也一樣。AWS 和 Accenture 建議先用標籤看出各團隊、工作和 AI 助理花了多少錢,再依序調整提示詞快取、批次處理、模型路由、資料檢索、語意快取或模型蒸餾。四個客戶案例中,token 花費約減少 40% 到 85%;有些案例同時改了好幾項,因此無法把省下的費用歸給單一做法。文章也提醒,調整時要逐項測量成本、回答品質和商業價值,品質變差時才能及時回復。

    推薦理由:文章把成本歸因、分階段調整與品質治理串成實作順序,並以四個企業案例呈現不同做法的花費變化。

  5. Google Developers Blog80

    Google 說明 MaxText 如何用 Streaming DiLoCo 跨資料中心訓練大型語言模型

    大型語言模型分散到不同資料中心訓練時,網路速度慢會讓裝置停下來等資料同步。Google 在 MaxText 加入 Streaming DiLoCo,把模型切成多個部分,分批傳送引數更新,讓訓練和傳輸能同時進行。以 Qwen3-32B 為例,在 10 Gbit/s 網路下,每步訓練約 5.76 秒;一般資料平行訓練約 55.11 秒,原本的 DiLoCo 則約 7.55 秒。文章也提到,這種做法在測試中維持了模型訓練品質,並提供 MaxText 的設定方式。

    推薦理由:文章以 Qwen3-32B 在不同網路頻寬下的實測,比較三種訓練方式的耗時,呈現引數分批同步如何減少跨資料中心網路壅塞。

  6. AWS Machine Learning Blog55

    AWS 示範用 Skyflow 保護 Amazon Bedrock AgentCore Gateway 的工具呼叫

    AI 助理查資料時,可能把客戶個資送到外部工具,也可能把工具回傳的個資帶進模型。AWS 示範把 Skyflow Detect 接到 Amazon Bedrock AgentCore Gateway,在資料送出前換成程式碼,回到 AI 助理前再依設定還原;若工具提供的是檔案連結,則改讓 AI 助理讀取去識別化副本。這套做法不必修改 AI 助理或工具的程式碼,也能在呼叫失敗時擋下未處理的資料。文章也提醒,檔案去識別化功能仍在預覽階段。

  7. OpenAI News82

    OpenAI 如何用 Performance Factory 找出並修復 ChatGPT 效能變慢

    ChatGPT 變慢時,工程師得檢視指標、紀錄和程式碼,找出原因再修復,過程既花時間,也需要熟悉服務。OpenAI 建立了 Performance Factory,讓 AI 助理在效能警報響起後接手調查、記錄發現並提出修正,再由工程師審核和部署;部署後,另一個 AI 助理會確認效能是否恢復。若判斷原因有疑點,另一個 AI 助理也會嘗試推翻原本的診斷。OpenAI 表示,這套流程運作剛超過 3 個月,追蹤了 1,700 多次調查,找出超過 600 起問題的根本原因。修正是否合適仍由工程師把關。

    推薦理由:OpenAI 說明效能警報如何一路交給 AI 助理調查、提修正,再由工程師審核部署,並在部署後確認是否恢復。

  8. Google Developers Blog72

    Google 示範如何用 Tunix 和 Gemma 4 訓練多輪 AI 助理

    AI 助理玩棋盤遊戲時,如果只能一次猜一格,常會打很多次才找到目標。Google 示範用 Tunix 在 Cloud TPU 上訓練 Gemma 4,讓它每次出手後讀取棋盤回饋,再決定下一步。示範中的 Plane Strike 是 6x6 棋盤遊戲,AI 助理要找出藏起來的 8 格飛機。訓練 100 步後,在保留的棋盤測試中,勝率從 9.4% 提升到 95%,平均出手次數也從 22.44 次降到約 16 次。

    推薦理由:Plane Strike 的訓練過程呈現多輪工具呼叫如何配合環境回饋逐步修正策略,也提供勝率與出手次數的變化作為參考。

  9. AWS Machine Learning Blog72

    AWS 示範如何在 Amazon EKS 上讓多個工作負載共用 NVIDIA GPU

    GPU 記憶體還有空間時,使用者仍可能因為每個工作負載都得獨佔一張 GPU 而排隊。這篇教學示範如何在 Amazon EKS 安裝 NVIDIA Run:ai GPU Fractioning,讓兩個工作負載共用一張 NVIDIA A10G,並各自設定 8 GiB 記憶體上限。實測中,兩個工作負載都在同一張 GPU 上成功使用 6 GiB;另一個嘗試使用 9 GiB 的工作負載則收到記憶體不足錯誤。這能幫忙確認記憶體限制是否生效,但不代表運算速度會提升,也不能取代隔離與效能測試。

    推薦理由:文章用實測說明兩個工作負載如何共用一張 A10G,並交代記憶體上限、監控方式與正式部署前需要留意的隔離和效能條件。

11月19日週四
  1. AWS Machine Learning Blog57

    Exa 如何用 AWS Inferentia2 和 Trainium2 加快檔案向量嵌入

    要把網路上數百億份檔案轉成可搜尋的向量,運算速度和每份檔案的成本都會影響服務能處理多少資料。Exa 為了重新處理 300 億份重要檔案,調整模型在 AWS Inferentia2 和 Trainium2 晶片上的運作方式,包括減少多餘計算、改善資料在記憶體中的移動,並為模型實際使用的資料形狀量身調整運算核心。團隊也用 AI 助理協助測試和找出效能瓶頸,每次修改都要通過正確性檢查。最後,每百萬份檔案的處理效能和成本相較原本改善 47%。

  2. AWS Machine Learning Blog72

    AWS 說明如何在 SageMaker AI 使用完整微調

    微調大型語言模型時,只更新一小部分引數的 LoRA 較省資源,但遇到複雜任務和大量資料時,表現可能停在一定程度。AWS 在 SageMaker AI 的無伺服器模型自訂服務加入完整微調(FFT),並用 Qwen3-4B 和 110,000 組程式生成資料比較兩種方法。實驗中,FFT 在部分指標上表現較好,但結果也很受學習率、訓練回合數等設定影響;設定太激進時,模型可能失去一般知識,甚至在數學測試中退步。文章提供實驗結果與引數調整方向,協助判斷何時適合使用 FFT。

    推薦理由:文章以程式碼生成實驗比較 FFT 與 LoRA,並說明資料量和超引數如何影響模型表現與一般知識保留。

  3. ElevenLabs Official Blog40

    什麼是向量資料庫?AI 搜尋如何找到意思相近的資料

    用一般資料庫找資料,常得輸入完全相同的關鍵字;但有人問「搭長途飛機穿什麼比較舒服」,資料庫可能找不到這句話。向量資料庫會先把文字、圖片等資料轉成一串數字,再比較問題和資料的意思有多接近,找出相關內容,例如舒服的長途旅行穿搭可能包括棉褲、連帽上衣和旅行枕。 客服 AI 助理也能用這種方式查公司內部的產品說明和退款規定,再用找到的資料回答客人;這能減少亂猜,但不能完全避免答錯。一般資料庫適合查日期、訂單等明確資料,向量資料庫則適合找意思相近的內容,兩種資料庫可以一起使用。

  4. AWS Machine Learning Blog59

    AWS 示範如何讓 Amazon Aurora PostgreSQL 的 AI 客服回答有跡可查

    客服 AI 助理如果只給答案,使用者和客服人員就難以知道它根據哪些資料回答,也可能碰到個資保護問題。AWS 示範在 Amazon Aurora PostgreSQL 建立 RAG 客服系統,記錄每次找回的資料、相似度、回答實際引用的來源,以及安全防護檢查結果,並用資料列安全控管不同客戶能看到的內容。文章也提醒,回答有引用來源不代表來源資料一定正確;若只需要基本搜尋和引用,Amazon Bedrock Knowledge Bases 是較簡單的選擇,需要自行查詢完整來源紀錄時,才採用文中的資料庫設計。

  5. AWS Machine Learning Blog73

    Airbnb 如何用每項任務成本管理 Amazon Bedrock 上的程式開發 AI 助理

    模型在測試中表現好,不一定代表工程師實際使用時花費也低。Airbnb 用自家程式開發任務比較不同模型的完成分數和每項任務成本,再搭配上線後的請求數、token 用量與延遲,決定預設模型和推理力道上限。文中一個模型在測試時成本差不多,但上線後每位使用者的平均週花費高出好幾倍,原因是每次請求較貴,使用者也送出更多請求。Airbnb 後來把重度使用者移到另一個模型,請求數大致相同,該群組在主要模型上的花費降到約七分之一。這套做法能幫團隊同時看見模型測試成績與實際使用成本。

    推薦理由:Airbnb把自家任務測試與上線後用量放在一起比較,呈現模型分數相近時,使用者行為仍可能讓每人花費差很多。

  6. AWS Machine Learning Blog55

    AWS 示範讓 Amazon Bedrock AgentCore Identity 連上使用私有 CA 的身分系統

    公司把身分系統放在私人網路時,AI 助理可能無法確認連線物件是不是可信的伺服器。AWS 示範如何設定 Amazon Bedrock AgentCore Identity,讓它透過 VPC Lattice 連上使用私有 CA 憑證的身分系統,並從 AWS Secrets Manager 或 Amazon S3 讀取 CA 憑證來檢查連線。文章也說明如何把新舊 CA 憑證一起放進檔案,更新設定後再換掉舊憑證,降低輪替時中斷服務的機會;此外,應限制誰能修改憑證資料,避免有人偷偷換掉受信任的 CA。

  7. AWS Machine Learning Blog47

    Stretto 如何用 Amazon Nova 2 Sonic 打造破產諮詢電話 AI 助理

    Bankruptcy.com 原本用網頁表單收集資料,但問題問得太多,民眾常填到一半就離開;只收少量資料,又不夠律師判斷。Stretto 和 CI&T 因此打造 AI 助理 Tara,讓民眾用電話回答破產相關問題,再把談話整理成資料,交給律師訂下的規則分類,供律師判斷。 Tara 使用 Amazon Nova 2 Sonic 和 Amazon Bedrock,能一邊聽、一邊用語音回應,也會依來電者的情緒調整說話方式。完成試用後,團隊先讓它收集原本表單上的 13 項資料,再擴大到 18 種以上的問題類別,例如債務、車輛、房產和工作收入。Stretto 表示,每分鐘語音費用比舊方案少了 95%。這讓民眾能用聊天的方式提供較完整的資料,律師也更容易評估案件。

  8. AWS Machine Learning Blog67

    AWS 示範如何讓 Amazon Bedrock AgentCore Gateway 安全連線私有 API

    企業若要求所有子網路由網路團隊管理,且不同網路間的流量都要經過中央防火牆,AI 助理連線內部 API 和 MCP 伺服器就得符合這些規定。AWS 示範把 VPC Lattice 資源閘道放在網路團隊管理的專用 VPC,再透過 Transit Gateway 轉送請求和回覆,並用 AWS RAM 分享後端設定,讓 AgentCore Gateway 連線私有服務。文章也說明如何在負載平衡器檢查呼叫憑證,以及如何驗證防火牆確實檢查雙向流量。這種做法檢查的是流量資訊和 TLS 主機名稱,無法檢視加密後的請求內容;文中建議先在自己的網路環境測試。

    推薦理由:文章整理了網路團隊集中管理子網路與防火牆時,讓 Amazon Bedrock AgentCore Gateway 連線私有 API 的架構做法,並說明流量檢查的範圍與限制。

  9. OpenAI News76

    OpenAI 說明 Codex 沙盒如何限制 AI 助理存取檔案與網路

    AI 助理執行指令時,可能讀到敏感檔案或把資料傳到網路上。OpenAI 說明,Codex 沙盒會依許可權設定限制指令能讀寫哪些檔案,以及能連到哪些網域;預設的 workspace 設定允許修改工作資料夾、讀取其他有許可權的檔案,並關閉網路。Codex 會使用 macOS、Linux 和 Windows 各自的系統防護,在使用者原本的電腦環境裡執行指令,也提供設定檔讓個人或企業調整限制。不過,沙盒無法防住所有風險,例如惡意程式若被編輯器在沙盒外執行,仍可能造成問題,因此 OpenAI 也搭配模型訓練與對齊來保護使用者。

    推薦理由:文章說明 Codex 如何用許可權設定限制檔案與網路存取,也提醒沙盒無法阻止所有透過本機工具觸發的風險。

  10. Meta Engineering76

    Meta 用標準模型模板,把廣告排序模型改進推廣到整個系統

    Meta 的廣告排序模型種類很多,逐一套用新方法既耗時,也容易在不同模型上出現問題。Meta 用標準模型模板整理出一小組可重複使用的模型設計,先在有代表性的模型上測試新方法,再把通過檢查的改動加入模板,推廣給使用這些模板的模型。Meta 表示,這套做法讓每個模型所需的工程時間減少 92%,兩年來推出超過 5000 種技術與模型組合,離線模型品質平均提升 0.63%,線上成效累計提升 0.86%。模板也讓 AI 助理有較明確的設計範圍,可協助提出想法、進行實驗和找出問題。

    推薦理由:Meta 說明標準模型模板如何把逐一調整模型的工作,改成在代表性模型上驗證後推廣,並分享兩年來的工程時間與模型成效變化。

  11. Meta Engineering74

    Meta 如何用 AI 助理把廣告排名模型的改進推廣到更多模型

    一種機器學習改進方法,往往不能直接搬到另一個廣告排名模型上,工程師得花時間逐一調整,訓練也會消耗大量運算資源。Meta 用 AI 助理找出值得嘗試的模型、調整技術做法、安排訓練工作,並協助診斷和處理失敗;工程師仍會審查重要決定,並核准要推出的模型。Meta 表示,AI 助理目前負責超過 60% 的技術推廣工作;在部分模型與技術組閤中,訓練運算量中位數減少 4 倍。這套做法希望讓經過驗證的改進更快用到更多模型。

    推薦理由:文章拆解 AI 助理如何找出可套用的技術、調整模型並管理訓練工作,呈現大規模推廣機器學習改進的方法。

11月18日週三
  1. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  2. LangChain Blog57

    LangChain 說明如何為 AI 助理挑選安全沙箱

    AI 助理如果能讀取私人資料、接觸不可信內容,還能對外傳送訊息,遭遇提示詞注入時就可能洩漏資料或做出未授權的操作。LangChain 說明,沙箱可以把 AI 助理寫的程式關在隔離環境裡,並建議檢查檔案存取、網路連線、資源用量、環境是否重複使用,以及和主機之間的隔離方式。文章也比較兩種接法:把 AI 助理直接裝在沙箱裡,或讓它透過 API 呼叫沙箱執行程式;後者較容易更新,也能把 API 金鑰留在沙箱外,但每次執行都要經過網路。沙箱能縮小風險,無法單獨消除提示詞注入的威脅。

  3. ElevenLabs Official Blog45

    WebRTC 是什麼?帶你看懂即時網路通訊

    網路視訊和語音通話如果延遲、卡住或斷線,聊天就很難順利進行。WebRTC 讓瀏覽器或網頁應用程式能直接交換即時音訊、影片和資料,減少傳送延遲;它也能在無法直接連線時,透過中繼伺服器轉送資料。像是兩個人用瀏覽器視訊時,系統會先確認雙方同意使用的傳送方式,再加密傳送內容。WebRTC 適合視訊會議、語音通話和即時直播;多人一起通話時,則可能需要媒體伺服器協助傳送。

  4. AWS Machine Learning Blog66

    AWS 示範如何減少 Amazon Bedrock AgentCore 處理大型 JSON 的 token 用量與延遲

    AI 助理每次呼叫工具都把大型 JSON 傳進模型,會增加 token 用量、拉長等待時間,還可能讓對話塞滿資料。AWS 與 Flightscape 分享三種做法:把大型資料放到 Amazon S3,讓對話只儲存資料位置;清單先提供摘要,需要時再分頁取回;大型字典則改用精簡描述。以 23 MB 資料測試時,五題對話的 token 用量約減少 71%,平均延遲從 15.4 秒降到 3.1 秒;完整資料仍可按需讀取。

    推薦理由:文章拆解了大型 JSON 讓 AI 助理變慢、增加 token 用量的原因,並以實測比較三種減少上下文負擔的方法。

  5. AWS Machine Learning Blog70

    AWS 教你把固定規則交給程式,減少不必要的生成式 AI 呼叫

    生成式 AI 工作流程若每一步都呼叫模型,費用、等待時間和答案變動都可能跟著增加。AWS 用客服助理舉例,說明格式檢查、關鍵字分流等能用規則判斷的工作,可交給程式處理;需要從固定選項中挑答案時,則限制可選範圍,沒把握就升級給模型。只有撰寫回覆等開放式工作,才交給符合需求的 Amazon Bedrock 模型。文章也提醒,模型寫出的規則要先檢查,並用已標記答案的資料測試升級條件。

    推薦理由:文章用客服流程示範如何把格式檢查與固定選項交給程式處理,並讓不確定的情況再交由模型判斷。

  6. AWS Machine Learning Blog69

    AWS 說明如何用 Amazon Bedrock AgentCore 安全連線 Snowflake Cortex AI

    讓 AI 助理透過 MCP 查詢 Snowflake Cortex AI 時,企業得先決定怎麼驗證身分,以及查詢要記在誰名下。AWS 示範三種 OAuth 設定:讓使用者直接登入 Snowflake、透過公司 SSO 保留個人身分,或讓背景工作共用一個服務帳號。前兩種能在 Snowflake 的查詢紀錄中辨認個別使用者,但需要登入與授權;第三種不必有人操作,適合排程工作,查詢則會記在共用帳號名下。三種做法都透過 Amazon Bedrock AgentCore Identity 管理和更新權杖,文章也整理各自的設定差異與適用情境。

    推薦理由:文章比較三種 OAuth 設定在登入方式、使用者身分與查詢紀錄上的差異,能幫助企業依單人追蹤或無人值守需求選擇做法。