跳到正文

#教學/實務

RSS
今日 0 則
11月18日週三
  1. AWS Machine Learning Blog60

    AWS Agent Registry 如何用自訂欄位管理與搜尋 AI 助理資源

    團隊各自描述 AI 助理、MCP 伺服器和技能時,欄位與填法可能不一致,讓審核和搜尋都難以對照。AWS Agent Registry 現在可讓管理員先訂好共用欄位、必填專案和允許的值,再由發布者與自動化工具填寫資料;系統會檢查內容是否符合規則,審核者也能根據安全掃描結果等資訊決定是否核准。文章以一個查詢帳務資料的 MCP 伺服器示範,核准後可用環境、業務單位和掃描狀態篩選資源,讓人和 AI 助理依相同條件找到符合規範的專案。

    推薦理由:文章用 MCP 伺服器示範如何統一欄位與可用值,並串起安全掃描、人工或自動審核和搜尋篩選,呈現治理流程如何共用同一套資料。

  2. AWS Machine Learning Blog76

    SMART 如何用 Amazon Bedrock AgentCore 串接 WhatsApp AI 助理

    把 AI 助理接上 WhatsApp,麻煩的地方常是訊息格式、圖片和語音處理、對話記憶與提醒排程。AWS 的開源工具 SMART 提供 Python SDK 和 Terraform 設定,讓開發者把重心放在 AI 助理的提示詞、工具和商業邏輯,並由 SMART 處理通道工作。文章也示範如何在本機先試跑,再部署到 AWS;若訊息是在對方最後發言超過 24 小時後送出,就必須使用 Meta 預先核准的範本。文中提醒,這是供非正式上線用途的範例程式,部署前仍要符合自己的安全與法規要求。

    推薦理由:文章整理 WhatsApp 串接時常見的訊息、媒體、記憶與排程工作,並展示 SMART 如何把這些通道功能交給現成工具處理。

  3. GitHub Engineering81

    GitHub 如何用 Agent Host Protocol 讓 Copilot 工作階段跨裝置接續

    AI 助理如果綁在單一程式裡,關掉視窗或換裝置時,工作就難以接續;每個應用程式各自串接,也讓開發者不容易把 AI 助理帶進自己的工具。GitHub 說明 Agent Host Protocol(AHP)如何讓 VS Code、GitHub Copilot app 和其他使用者端共用工作階段、歷史紀錄與狀態。使用者端送出操作後,由伺服器更新狀態;遇到網路中斷時,使用者端可以重新送出排隊中的操作,等伺服器確認。VS Code 和 GitHub 也用不同語言各自實作主機,藉此找出協定需要補足的地方。

    推薦理由:AHP以獨立協定連線不同裝置與兩種獨立實作,文中也整理了跨網路中斷、重連與功能差異時的設計取捨。

  4. AWS Machine Learning Blog61

    AWS 說明企業如何分階段管理 AI 助理的安全與責任風險

    AI 助理會自己使用工具、讀取資料並分好幾步完成工作,因此一次答錯可能影響後續流程,也可能接觸不該看到的資料。AWS 提出三階段做法:先訂出風險等級、許可權和管理規則,再在試行時加入資料保護、人工審核與操作紀錄,最後持續檢查公平性、安全和系統表現。文中以銀行處理貸款為例,說明高風險決定可交由信貸人員覆核,並在評估未達門檻時擋下部署。文章也提供評估技能,協助團隊檢視目前做法;這份路線圖提供關鍵問題,沒有逐步實作說明,也不是法律或合規建議。

    推薦理由:文章把平臺團隊的防護工作與應用團隊的建置責任分成三個階段,並以銀行貸款流程說明如何逐步檢查風險。

  5. AWS Machine Learning Blog63

    ArisGlobal 如何用 Amazon Bedrock 提示詞快取降低推論成本

    每新增一家企業客戶,ArisGlobal 的共用提示詞就會變長;如果每次請求都重新處理,推論成本也會跟著上升。ArisGlobal 原先先快取每個案件的 PDF,後來改成先放共用提示詞,再設快取檢查點,讓不同案件和客戶的請求都能重用這段內容。每月處理超過 19 billion tokens 時,這種做法讓整體推論支出約減少 40%,也讓企業客戶數增加約 15%,而 EU 跨區推論設定維持不變。

    推薦理由:ArisGlobal 的實例呈現提示詞快取該如何取捨:把能跨案件重用的共用字首放在快取檢查點前,降低成本並支援更多企業客戶。

11月17日週二
  1. DuckDB Official Blog62

    DuckDB 使用者社群攜手 Hugging Face,用 AI 分析商品評價

    評論很多時,直接交給大型語言模型整理,不容易先找出真正需要注意的商品。DuckDB 使用者社群舉辦工作坊,帶大家用 DuckDB 分析 Amazon 家電評論,找出近期評分下滑的商品,再讓 LLM 整理相關抱怨。DuckDB 先挑出最有幫助的 40 則近期低分評論,模型再歸納常見問題並優先列出安全疑慮。工作坊也把流程放到 Hugging Face Space,讓每個步驟都能透過 API 呼叫;同一套流程也可用來分析欄位相同的其他顧客回饋。

    推薦理由:這場工作坊示範先用 SQL 找出評分下滑的商品與相關評論,再交給 LLM 歸納原因,呈現控制模型處理範圍的做法。

  2. Together AI60

    要知道 AI 助理能不能完成工作,光看最後答案不夠,還得檢查它一路怎麼做。Together AI 的做法是先挑出約 10 個常見任務,讓 Claude Code 在隔離環境中執行,再比較基本設定、MCP 和技能三種組合,並檢查操作過程,據此改進檔案與 API。文中表示,任務完成率從 67% 提升到 96%。

    推薦理由:Together AI 用代表性任務比較不同設定,並檢查 AI 助理的操作過程來改進檔案與 API,呈現一套實作評估方法。

  3. ollama61

    寫程式的 AI 助理有時會因為快取失效而變慢。Ollama 分享三個觀察:系統提示詞裡多一個時間戳記,就可能讓快取失效;調整推理強度,可能清掉整份快取;如果輸出被截斷,告訴 AI 助理它少看了後面的內容,能讓它接著讀完。這些提醒可用來檢查提示詞、推理設定和輸出處理方式。

    推薦理由:內容整理了三個讓寫程式的 AI 助理維持快速的實務觀察,涵蓋提示詞、推理設定與輸出截斷,可用來檢查工作流程中的效能問題。

  4. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。

  5. AWS Machine Learning Blog69

    AWS 說明多個 AI 助理如何分工,以及製造業常見的設計錯誤

    多個 AI 助理一起工作,步驟變多後,出錯和花費也可能跟著增加。AWS 把分工方式分成兩大類:一類是先排好固定流程,另一類是讓模型在工作中決定下一步;文章建議先用固定流程,只有工作步驟無法事先確定時,再考慮讓模型自行安排。文章也提醒,重試要設上限、不同助理交接時要用清楚的資料格式,會影響裝置或客戶的動作則應經過檢查與人工核准。在製造現場,還要把延遲、安全和裝置端資料納入設計。

    推薦理由:文章用製造現場的延遲、安全與資料限制,說明如何從固定流程開始,再判斷何時需要讓 AI 助理自行安排工作。

  6. AWS Machine Learning Blog58

    Duco 如何用 Amazon Bedrock AgentCore 加快金融資料處理

    金融機構要處理大量格式各異的資料,也得顧好每家銀行的資料隔離和稽核。Duco 把 AI 助理服務改用 Amazon Bedrock 和 Amazon Bedrock AgentCore,讓每家客戶使用各自隔離的執行環境與工具。面對每家客戶有 300–400 個工具、工具說明約佔 200,000 個 token 的問題,Duco改成需要時才載入說明,將主要上下文縮到約 20,000 個 token,並透過評估確認回應品質改善。文章也分享銀行對帳流程的匯入成果:部署速度提高 10 倍;其中一家全球銀行的新流程匯入成本降低 70%,直通處理率提高超過 20%。

  7. AWS Machine Learning Blog76

    AWS 示範如何用 Amazon Bedrock 建立會記住使用者的 AI 助理

    企業 AI 助理要回答員工問題,常得記住先前對話,又要確保每個人只看到有權閱讀的檔案。AWS 示範用 Amazon Bedrock Managed Knowledge Base 搭配 AgentCore memory,讓服務儲存對話、整理使用者提過的資料,並在回答時找出相關記憶與檔案。範例用 Cognito ID token 確認使用者身分,再用檔案存取清單和 IAM 條件限制資料範圍;例如員工先前提過辦公地點,之後詢問休假規定時,助理便能依這項記憶回答。記憶整理可能要等一段時間,若記憶讀取失敗,服務仍會根據可讀取的檔案回答。

    推薦理由:文章以員工助理示範如何把對話記憶、檔案許可權和使用者身分串在一起,並用 IAM 條件限制每位使用者能讀取的記憶。

  8. Together AI Official Blog72

    Together AI 和 Ollama 說明如何讓開放模型長時間執行 AI 助理工作

    AI 助理做長時間的程式工作時,每回合都可能重新送出前面整段對話,讓處理速度變慢、花費增加。Together AI 和 Ollama 說明,快取能保留前面已處理的內容,但提示詞前面的文字一改,後面的快取就得重做;推論引擎若把請求送到別臺機器,也可能用不上原有快取。文章建議讓系統提示詞保持不變,把會變動的資訊放進任務內容,並避免工具一次回傳過多資料。這些做法能減少重複處理,也讓 AI 助理跑長任務時比較順。

    推薦理由:文章從 AI 助理每回合重送整段對話的成本切入,說明提示詞設計與推論引擎如何共同保留快取,並整理可直接採用的做法。

  9. Google Developers Blog74

    Google 推出 TPU 模型設計與效能調校指南

    同一個模型放到 TPU 上,矩陣尺寸、模型結構和資料怎麼分工,都會影響訓練速度與服務延遲。Google 推出開源指南,整理模型設計和 TPU 硬體配合的方法,涵蓋把重要尺寸對齊 256、讓 MoE 專家模型少搬運資料,以及依晶片連線方式安排平行運算。文中也用 Ironwood 的測試說明調整效果,例如一種 LatentMoE 設計讓訓練速度提升 14%。指南提醒,架構改動可能影響模型品質,應用實際執行時間比較,並先確認答案品質。

    推薦理由:指南把 TPU 的矩陣尺寸、模型結構與平行運算方式連到實際效能資料,呈現團隊可如何依瓶頸調整設計。

  10. Vercel Blog69

    Vercel 示範如何測試 AI 助理能不能完成使用者的工作

    AI 助理看起來完成了工作,結果卻可能點錯飲料,或花超過使用者設定的預算。Vercel 用咖啡訂單示範如何反覆執行同一項任務,檢查最後結果是否符合飲料、取餐時間和總金額等要求,再檢視失敗紀錄,找出助理在哪一步出錯。文章也說明成功率、Pass@k 和 Pass^k 的差別:如果使用者每次都需要答對,Pass^k 能看出助理是否夠可靠。團隊可以用這些測試比較修改前後的結果,並在產品更新時重跑,及早發現問題。

    推薦理由:文章用咖啡訂單示範如何從使用者常遇到的錯誤設計測試,並比較成功率與 Pass^k,幫助團隊找出需要修正的環節。

  11. AWS Machine Learning Blog52

    MoEngage 如何用 Amazon Bedrock AgentCore 打造 AI 助理行銷平臺

    行銷團隊規劃活動時,常得在分析、內容和活動工具之間來回切換。MoEngage把原有平臺 API 接成 MCP 工具,讓 AI 助理能在同一段對話中查資料、寫活動內容和調整流程。使用者身分與工作區資訊由系統傳送,不交給模型判斷;每位使用者的工作階段也各自隔離,並可設定人工審核後才執行。文章也分享了平臺實際成效:客戶 Glance 的活動上線速度提升 50%,推播點閱率提升 38%。

  12. Databricks Blog68

    Databricks 示範用 Feature Views 打造即時金融產品推薦系統

    銀行想在客戶瀏覽信用卡或使用貸款試算時推薦合適的產品,得趕在對方離開前算出結果。Databricks 的 Solution Accelerator 示範如何用 Feature Views 共用訓練和上線服務的特徵定義,並把客戶平常的資料和剛發生的瀏覽行為一起交給排序模型。範例中,完整推薦請求的延遲符合 50 ms 預算,串流事件約 0.1 秒後就能供模型使用;不過資料是合成的,不能據此宣稱推薦會提高營收。實際上線前,團隊還得自行加入資格、同意、適用性和抑制規則。

    推薦理由:範例說明批次與串流特徵如何共用定義,並在 50 ms 服務預算內完成排序,可作為評估即時推薦架構的參考。

  13. Google Developers Blog59

    Google 示範如何用 Agent Anomaly Detection 找出 AI 助理越權行為

    AI 助理可能因工具許可權太大,讀到不該看的資料,團隊也未必能從當機或錯誤紀錄發現問題。Google 這份操作指南用一個虛構的客服助理示範 Agent Anomaly Detection:助理原本要處理訂單和退款,卻能讀取薪資資料;系統會檢視助理留下的紀錄,找出偏離工作範圍的對話,並說明原因與修正建議。指南也示範如何設定 Cloud Monitoring 和 Security Command Center 警示。範例資料只存在記憶體中,不會讀取真實資料;這項功能目前是 Private Preview。

  14. AWS Machine Learning Blog57

    Novo Nordisk 如何用 Amazon Bedrock AgentCore 查詢製造檔案

    製藥流程檔案數量龐大,還得確認檔案是否核准、版本是否有效,以及內容適用哪個廠區、產品和裝置,人工查詢容易耗時,也可能漏掉重要關聯。Novo Nordisk 團隊與 AWS 合作打造 AI 助理,先用知識圖譜釐清問題範圍,再結合關鍵字與語意搜尋找出相關檔案,並附上來源;問題不夠清楚時,會先詢問使用者。若找不到合適資料,系統會說明限制,不自行補答案。團隊表示,部分過去要花數小時或數天的工作,現在可在幾分鐘內完成。

  15. AWS Machine Learning Blog48

    AWS 示範如何用 Amazon Bedrock 和 AWS Transform 把主機 Assembler 程式改成 Java

    銀行、保險公司和航空公司有些重要工作仍靠主機上的 Assembler 程式處理,但懂得維護這些程式的人愈來愈少,手動重寫又花時間,也可能弄丟沒人記得的規則。這套做法先用 Amazon Bedrock 分析程式、整理出業務規則,再請熟悉業務的人檢查;接著把 Assembler 轉成較容易閱讀的 COBOL,確認結果符合原本功能後,再由 AWS Transform 轉成 Java Spring Boot 應用程式。 例如,程式裡的資料對應和計算規則會先整理成檔案,交給專家確認,降低轉換時漏掉規則的風險。這種分階段做法能協助縮短改寫時間,也讓人能在每個重要步驟檢查程式是否維持原本的業務功能。

  16. Google Developers Blog74

    Google 教你依 AI 助理的工作時段配置 GKE 節點

    AI 助理的工作空間可能整天開著,卻只在收到提示詞時工作;如果每個工作階段都一直佔著機器,等待時間也要付費。Google 說明如何用 Agent Substrate 和 AX 把閒置的工作環境暫存到物件儲存,空出機器,等下一次提示詞來時再恢復。以 100 個程式開發 AI 助理為例,每小時 2 次提示詞並設定 2 分鐘閒置時間,節點費用可省 40%;每小時 4 次提示詞時,節省幅度降到 4%。文章也提醒,工作池要依最忙時的需求配置,並和提供相同 CPU 保證的做法比較。

    推薦理由:文章用提示詞頻率和閒置時間比較 GKE 節點成本,並說明工作池滿載與 CPU 保證會怎麼影響停放效益。

  17. AWS Machine Learning Blog72

    Amazon Bedrock Managed Knowledge Base 如何用表格搜尋回答跨檔案問題

    只靠一般搜尋,很難從大型試算表算出完整結果,再套用另一份檔案裡的規則。Amazon Bedrock Managed Knowledge Base 的表格搜尋會找出相關 CSV 或 Excel 檔,在隔離且無法連網的環境中讀取整份表格、計算需要的數值,再搭配政策或備忘錄等檔案回答問題。文中的財務案例用預算規則、修訂備忘錄和損益表,找出哪些部門要撰寫差異說明;追蹤紀錄也會列出程式讀過的檔案。這種做法適合需要跨表格計算的問題,但會多花一個 AI 助理處理步驟;固定報表和大型資料分析仍適合交給商業智慧工具。

    推薦理由:文章用財務部門的預算案例,示範如何把表格計算和政策檔案放在一起查,並透過追蹤紀錄確認程式讀過哪些檔案。

11月16日週一
  1. AWS Machine Learning Blog71

    Amazon Bedrock Managed Knowledge Base 教你為不同租戶調整回答

    不同地區的客戶和公司內部團隊可能共用同一批檔案,卻需要不同語言、格式和回答規則。這篇教學示範如何在 Amazon Bedrock Managed Knowledge Base 為每個租戶設定回答方式,並固定使用的設定版本,方便逐一更新和查明每次回答用了哪個版本。要注意的是,回答設定不會限制 AI 助理能讀哪些檔案;若要隔開各租戶的資料,還要用中繼資料篩選或分開知識庫,並由後端依登入身分選擇篩選條件。

    推薦理由:文章把回答風格設定與資料存取隔離分開處理,並示範如何用中繼資料篩選和版本固定管理各租戶的回答。

  2. AWS Machine Learning Blog70

    AWS 說明如何寫好 Amazon Bedrock Guardrails 的拒答主題

    拒答規則寫得太廣,可能連客服本來該回答的問題也一起擋掉;寫得太窄,又會漏掉真正想拒絕的請求。AWS 整理了 8 個做法,教人把 Amazon Bedrock Guardrails 的拒答主題寫成明確的使用者意圖和具體行為,並用不同例子標出該擋與不該擋的界線。文章也提醒,提示詞注入、特定字詞和個人資料應交給 Guardrails 裡各自適用的政策處理。由於邊界案例可能出現不同結果,設定變更後要重新測試,並準備讓使用者申訴或改寫問題的方式。

    推薦理由:文章用銀行客服的例子,說明如何把拒答規則寫得更精確,也整理了主題重疊與測試結果變動時的處理方式。

  3. Baseten35

    不是每項程式開發任務都需要前沿模型。開放模型的品質足以應付許多這類工作,成本也低得多。 我們整理了一份指南,說明如何評估用於程式開發 AI 助理的開放模型,內容包括: 選擇試行團隊和工作負載 使用自己已合併的 PR 衡量品質 追蹤經快取調整後每項成功任務的成本 盡可能提升易用性:沿用現有的 harness,並取得從目前模型對應到開放替代方案的指南 在此閱讀:https://t.co/I1FCWcQMGN

  4. PyTorch Core Releases52

    PyTorch 修正 WebAssembly SIMD 建置,讓 XNNPACK 使用 SIMD 核心

    ExecuTorch 模型要在 WebAssembly 的 SIMD 模式執行時,原本只編入純量核心,造成程式連結失敗;即使改用純量核心,速度也較慢。這項修改讓 XNNPACK 在啟用 SIMD 時編入對應的 SIMD 核心,並調整 pthreadpool,避免在 WebAssembly 使用不支援的 x86 指令。作者測試一個小型卷積網路,使用 SIMD 核心每次執行需 9 毫秒,純量版本則需 90 毫秒。

  5. Ollama Blog77

    Ollama 和 Together AI 說明如何讓開源模型跑長時間 AI 助理任務

    AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容;推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。

    推薦理由:文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。

  6. Databricks Blog58

    Databricks 教你把團隊工作流程寫成 Genie One 技能

    團隊常把工作步驟和格式要求記在腦中或舊檔案裡,每次都得重新交代。Databricks 說明如何在 Genie One 用對話把流程寫成技能,讓它照著步驟、檢查規則和格式完成工作。文中以每月交易簡報為例,示範先確認資料月份是否完整、再找出值得留意的變化,並查詢相關郵件補上原因;試跑後也能修正規則,再開新對話確認結果。技能還能發布給團隊使用,或設定定期執行。

11月15日週日
  1. Guillermo Rauch74

    做網頁介面時,拖曳、快捷鍵和選單操作等功能常要一項項處理。Guillermo Rauch 分享 UI SDK 的使用體驗:透過兩個提示詞,搭配 fx 和 Gemini Argon,AI 助理直接重用了 14 種現成的介面功能,包含調整視窗大小、拖曳、選單切換和鍵盤操作。內容使用純 Web Components,沒有用框架,也提到 WebMCP 的 AI 助理控制功能。

    推薦理由:示範只用兩個提示詞,就讓 AI 助理直接重用 14 種介面功能,並以幾個操作例子呈現 UI SDK 的用途。

11月14日週六
  1. ElevenLabs Official Blog45

    開源 TTS 和付費 API 怎麼選?先看需求和團隊能不能維護

    把文字變成語音,可以自己架設開源 TTS,也可以付費使用 API;兩種方式都能做出不錯的語音,適合的情況不同。自己架設不用按字數付費,資料也能留在自家裝置裡,但要另外準備運算裝置,還得有人維護。付費 API 比較省事,接上應用程式就能使用,費用則會依使用量計算。 例如,智慧音箱等裝置需要反應快,或醫療、金融單位要求資料留在特定地方,自己架設可能比較合適;如果想快速推出服務,付費 API 可能更方便。挑選時也要實際測試語音好不好懂、反應速度、語言口音和大量使用時是否穩定,並把裝置和人力費用一起算進去。

  2. AWS Machine Learning Blog74

    AWS 教你用 NVIDIA NeMo Switchyard 替寫程式的 AI 助理選模型

    寫程式的 AI 助理完成一件工作時,可能要呼叫模型很多次,也可能重試後仍沒通過測試,所以只看每個 token 的價格,算不出這件工作的實際成本。AWS 示範如何在 Amazon Bedrock 上部署 LiteLLM 和 NVIDIA NeMo Switchyard,讓它依對話中的工具使用結果,在較省錢和能力較強的模型間選擇,也能用隨機分流比較模型。範例程式會讓 AI 助理修小型程式,再跑測試,並比較路由組和各單一模型成功解題的成本。作者提醒,少量測試不能代表日常工作;要用自己的程式任務多跑幾次,並把失敗的花費也算進去。

    推薦理由:文章用可重跑的任務測試比較模型路由與單一模型,並說明為何要看每個成功解題任務的成本,適合評估自己的程式工作流程。

  3. AWS Machine Learning Blog60

    GS Caltex 如何用 SageMaker Canvas 和 Pipelines 部署模型

    模型在開發時能正常使用,接到正式工作流程時卻常要工程師重新串接資料和設定,花上不少時間。GS Caltex 讓流程工程師在 SageMaker Canvas 建立並檢查模型,再由機器學習工程師把模型和資料處理流程接到 SageMaker Pipelines,定期執行批次推論。文章也說明如何確認訓練資料和推論資料格式一致、避免重複處理,並檢查每次執行的結果。GS Caltex 表示,部署模型從約一週縮短到幾小時,並以每 30 分鐘執行一次批次推論,降低持續開著推論端點的需求與成本。

    推薦理由:文章拆解 SageMaker Canvas 模型轉入定期批次推論的流程,也提醒資料格式、執行重疊與成本都要納入上線檢查。

  4. AWS Machine Learning Blog60

    OpenFold3 如何在 Amazon SageMaker JumpStart 預測生物分子結構

    預測蛋白質和其他生物分子的立體結構,需要 GPU、模型檔案和能處理長時間工作的服務環境。這篇教學示範如何在 Amazon SageMaker JumpStart 部署 OpenFold3-preview,讓它預測蛋白質、DNA、RNA、小分子及其複合物的結構;工作會排進佇列,完成後把結果存到 Amazon S3,也能同時跑多筆預測。作者用碳酸酐酶、鋅離子和藥物的例子說明,加入多重序列比對(MSA)後,預測結果更接近已知結構;不過這是展示流程的案例,不代表模型對新目標也有同樣表現。端點可在閒置時縮到零臺,含有自有序列的資料也可留在自己的 AWS 帳戶內。

    推薦理由:文章示範如何在自己的 AWS 帳戶部署 OpenFold3,並用碳酸酐酶複合物案例比較有無 MSA 的預測差異,也提醒這不是新目標的準確度基準。

  5. AWS Machine Learning Blog72

    AWS 說明如何縮短 Amazon Bedrock AgentCore Runtime 的工作階段啟動時間

    AI 助理每次開始新的工作階段,都可能得重新載入程式和資料,讓使用者等候第一個回應。AWS 說明如何用 Amazon Bedrock AgentCore Runtime V2,先在建立或更新環境時準備好程式,再把準備結果存起來,讓新工作階段還原後就能使用。文中也介紹如何把常用資料留在記憶體、用建置掛鉤預熱大型檔案,以及在使用者開啟聊天視窗時背景啟動工作階段。會改變的資料、隨機值和時間資訊則要在每個工作階段開始後取得,避免沿用過期或重複的內容。

    推薦理由:文章拆解 AgentCore Runtime V2 的啟動流程,並說明哪些工作適合提前準備、哪些資料必須每個工作階段重新載入。

  6. AWS Machine Learning Blog57

    AWS 說明 AssemblyAI 如何用 Spot 執行個體降低語音轉文字成本

    大量處理語音時,GPU 運算費用很高;Spot 執行個體雖然較省錢,卻可能在收到通知後被收回。AWS 說明 AssemblyAI 如何把工作放進 SQS 佇列,交給 ECS 上的 GPU 執行個體處理,並混用 Spot 與隨時可用的 On-Demand 執行個體,也分散使用 g4dn、g5 和 g6 等機型。遇到中斷時,還沒完成的工作會回到佇列,讓其他執行個體接手;每個 AWS 區域也各自處理資料,以符合客戶的資料所在地要求。AssemblyAI 表示,這套做法讓推論運算成本比 On-Demand 定價低 70%,而 Spot 中斷只會讓部分轉錄多花一點時間。

  7. AWS Machine Learning Blog61

    AWS 說明如何追蹤 AI 工具在 Amazon Bedrock 的個人費用並設定支出限制

    公司匯入 AI 程式開發和辦公工具後,常會遇到費用都算在同一個帳號、難以看出誰用了多少的問題。AWS 說明如何用 IAM Identity Center 讓每位使用者以自己的身分呼叫 Amazon Bedrock,再把使用者和團隊標記帶進帳單資料,透過 Athena 查詢各人或各團隊的花費。帳單資料按時段彙整,不能查到每次提示詞的費用;若要逐次檢視,需使用模型呼叫記錄或請求標記。文章也比較幾種支出限制方式:AWS Budgets 設定較簡單,但帳單更新可能延遲;CloudWatch 搭配 Lambda 可較快反應,其他方法則各有維運負擔。

    推薦理由:文章整理 Amazon Bedrock 如何把每次模型呼叫連到使用者身分,並比較不同支出控管方式的延遲與維運負擔,方便規劃企業管理流程。