跳到正文

#教學/實務

RSS
今日 0 則
10月22日週四
  1. AWS Machine Learning Blog76

    利用 AWS PrivateLink 保障企業網路快速連線 Amazon Quick

    本教學說明如何利用 AWS PrivateLink 將企業內部資料源安全連結至 Amazon Quick,避免公共網路風險並符合合規要求。 - VPC 端點:為 Quick 的使用者介面與 API 建立私有連線,確保所有使用者流量不經公共網路。

    推薦理由:瞭解如何將企業內部資料安全連結至 Amazon Quick,避免公共網路風險並符合合規要求。

  2. AWS Machine Learning Blog72

    使用 torchtitan 在 AWS Trainium 上訓練 Qwen3

    Qwen3 可在 AWS Trainium 上透過 torchtitan 執行訓練,本文提供三種配置方式與完整指令。 - 三種配置:使用 Transformers v5、torchtitan 原生 Qwen3、以及 NKI Mixture‑of‑Experts kernels。

    推薦理由:提供完整步驟,示範如何在 AWS Trainium 上使用 torchtitan 執行 Qwen3 訓練,對於工程師具有實務參考價值。

10月21日週三
  1. AWS Machine Learning Blog76

    微調 GPT‑OSS‑20B 於 Amazon SageMaker HyperPod 上的多語言推理

    本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。

    推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。

  2. AWS Machine Learning Blog75

    Eon 如何利用 Amazon Bedrock AgentCore 建立多雲統一 MCP 閘道

    Eon 以 Amazon Bedrock AgentCore 建立單一 MCP 閘道,將 AWS、GCP、Azure 上的工具統一授權,並將開發者與自動化代理的存取許可權以 Cedar 政策精細控制。

    推薦理由:本文示範如何利用 Amazon Bedrock AgentCore 建立單一 MCP 閘道,將多雲工具統一授權,顯著縮短工程師上手時間,並可擴充套件至其他雲端服務,提供安全且可審計的存取管控。

  3. AWS Machine Learning Blog81

    AWS 上使用 X.509 PKI 確保 AI 代理身份

    導語:AWS 透過 X.509 PKI 為多代理 AI 系統提供身份驗證與授權機制,示範完整實作流程。 - 身份驗證層級:三層驗證(使用者、代理間、MCP 伺服器)結合簽名信封、授權宣告、受眾限定 token 及即時 OCSP 檢查。

    推薦理由:本篇說明如何以 X.509 PKI 保障多代理 AI 系統,提供可直接套用的安全模式,並示範實作流程與關鍵驗證步驟,說明各層身份驗證機制如何協同防止冒充與重放。

  4. LMSYS Org Blog82

    SGLang 如何在服務不中斷時,替 MoE 模型加入 GPU

    大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。

    推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。

10月20日週二
  1. Hacker News (official RSS)53

    Speculative Decoding 為何速度快?

    Speculative Decoding 透過小型草稿模型與大模型並行驗證,提升 GPU 在小批次時的推理速度。 - 工作型別:GPU 由記憶體佔用轉為計算佔用,減少等待時間。

  2. GitHub Blog · AI & ML73

    在 VS Code 中繼續 GitHub Copilot 應用程式會話

    GitHub Copilot 允許在 VS Code 內直接開啟並繼續已在 Copilot 應用程式中建立的會話,讓開發者可在同一工作區進行差異檢視、手動編輯與本地測試,並將完成的變更推送至 Pull Request。

    推薦理由:本教程示範如何將 Copilot 會話無縫切換至 VS Code,並在編輯器中進行差異檢視、手動調整與本地測試,為開發者提供完整的工作流程。

  3. Hacker News (official RSS)36

    人類的思考鏈

    summary_zh: 作者在面試與玩《The Witness》時,透過口頭說出思考過程,發現此「Chain of Thought for Humans」技巧能提升問題解決效率。

10月19日週一
10月18日週日
10月17日週六
  1. AWS Machine Learning Blog75

    打造 AI 代理信任:Amazon Bedrock AgentCore 的生產級評估框架

    AWS 透過 Amazon Bedrock AgentCore 建立了一套完整的多階段評估框架,協助團隊在部署前即時檢測 AI 代理品質。 - 九個階段:從「定義」到「反饋迴圈」,涵蓋品質、安全、效能、成本與運營控制。

    推薦理由:此框架提供可量化的多階段評估流程,幫助團隊在部署前即時發現品質下降,提升 AI 代理的可靠性。

10月16日週五