跳到正文

#教學/實務

RSS
今日 0 則
11月12日週四
  1. PyTorch61

    PyTorch 核心維護者 @ezyang 說明如何在大型訓練前用單張 GPU 測試分散式程式中的當機、GPU 記憶體不足與數值錯誤。 - 測試方法:以 fake process group 替代分散式通訊,檢查程式是否當機或發生 GPU 記憶體不足;也可使用 SPMD types 尋找數值錯誤,無須執行完整規模的分散式測試。

    推薦理由:內容說明如何用單張 GPU 檢查分散式訓練中的當機、記憶體不足與數值錯誤,呈現大型訓練前可先採用的測試方法。

  2. LangChain Blog75

    LangChain 如何讓 GTM Agent 持續產出一致且高品質的銷售素材

    LangChain 說明其 GTM Agent 如何運用業務流程、客戶資料與品牌規範,產出銷售素材並配合交易階段推送給業務代表。 - 使用成效:過去 12 週產出 1,540 份素材;有寄出素材的交易中,47% 進入後續階段,配對比較組為 16%。

    推薦理由:LangChain 的案例拆解了銷售AI 助理如何結合流程知識、客戶資料與品牌規範,並以人工回饋和使用資料持續調整產出。

  3. Amazon Science64

    Amazon Web Services 以 Tiros 驗證 Cloud WAN 網路組態

    Amazon Web Services 說明如何使用 Tiros 分析 Cloud WAN 網路組態,檢查各網路區段是否符合隔離政策。這種靜態驗證會分析模型中的所有路徑,不必依賴封包抽樣。

    推薦理由:文章說明如何把 Cloud WAN 設定轉成邏輯命題,再檢查所有模型化路徑是否違反分段政策,呈現靜態驗證與封包抽樣的差異。

  4. DuckDB Official Blog58

    DuckDB 如何支援不需資料庫伺服器的本機分析

    DuckDB 可在瀏覽器或使用者的電腦上執行分析查詢,讓 Flowmap City、SQLRooms 與 Foursquare Spatial Desktop 等應用在不連線遠端資料庫伺服器的情況下處理資料。 SQLRooms:開源 React 工具包,提供載入資料、撰寫 SQL、顯示表格與視覺化等元件,也支援 AI 助理;資料集可留在本機,資料庫結構與選取的查詢結果則可分享給 AI 服務商。 動態地圖切片:Spatial Desktop 使用 DuckDB 的 spatial extension,按需從本機資料集產生地圖切片,並依縮放層級簡化幾何資料;正式實作也會處理無效幾何、過小圖徵與切片快取。 其他應用:Cosmograph 以 DuckDB-Wasm 在背景載入資料及執行 SQL,支援探索包含數百萬條邊的圖形資料集。

  5. AWS Machine Learning Blog61

    AWS Quick 如何以六個 AI-PDLC AI 助理串起產品開發前期流程

    AWS Machine Learning Blog 說明如何在 AWS Quick 設定六個 AI-PDLC AI 助理,協助團隊從分散的客戶訊號走到經驗證的產品原型,並在每個階段保留人工核准。

    推薦理由:文章以六個 AWS Quick AI 助理串起探索、決策、設計與原型階段,並說明各階段如何保留決策依據與人工核准紀錄。

11月11日週三
  1. Hugging Face Blog69

    多向量嵌入模型的 Token Pooling 感知訓練

    Hugging Face 示範如何透過 Token Pooling 感知訓練,讓多向量嵌入模型在壓縮檔案向量後保留較佳的檢索品質。 - 方法:以 Sentence Transformers 訓練模型,同時使用未壓縮與約四分之一向量數的檢索目標,讓模型學習保留合併向量後仍有用的資訊。

    推薦理由:文章以可重現的 Sentence Transformers 範例,說明如何把向量合併納入訓練目標,並比較不同壓縮預算下的檢索品質與儲存量。

  2. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。

  3. OpenRouter Announcements64

    OpenRouter 教你排除 OpenAI 與 Claude API 的 429 速率限制錯誤

    OpenRouter 說明如何辨識 LLM API 的 429 速率限制來源,並以等待重設時間、切換備援模型及改由其他供應商提供服務三種方式處理。 - 等待重設時間:範例中的 60 筆請求使用預設重試時有 23 筆失敗;依 Retry-After 或 X-RateLimit-Reset 等待後,60 筆皆完成,Python 範例耗時 89 秒。

    推薦理由:文章以 60 筆請求的實測比較等待重設時間與模型備援,呈現完成率、耗時和成本差異,並說明各自適用的限流情境。

  4. AWS Machine Learning Blog62

    Amazon Bedrock AgentCore 評估指南:比較內建、DeepEval 與 AutoEval 評估器

    AWS 說明如何在 Amazon Bedrock AgentCore Evaluations 中,依代理的業務成果選擇內建、DeepEval 與 AutoEval 評估器,檢查任務完成、工具使用、對話品質與安全等行為。

    推薦理由:文章以客服、研究與專業領域代理為例,說明如何從業務成果拆解可觀察行為,再選擇追蹤或工作階段層級的評估器。

  5. n8n Blog35

    每位自動化工程師都該掌握的微服務最佳實務

    微服務架構將應用程式拆分為各自負責特定功能、透過 API 溝通的服務;文章整理設計與維運微服務時降低連鎖故障、隔離問題的實務做法。 - 服務邊界:以明確的業務能力劃分服務,並透過領域驅動設計界定各自的業務規則、語言與資料;例如,訂單服務負責建立訂單與追蹤狀態,付款服務處理扣款與退款。

  6. Meta Engineering81

    Meta 如何打造 TLX,讓工程師更容易安排 GPU 工作

    GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。

    推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。

  7. Wiz Blog & Research64

    Wiz 說明如何評估 AI 助理的資安能力

    Wiz 說明如何設計資安AI 助理基準,評估AI 助理在真實資安任務中的表現,並提出任務設計、評分與測試環境的原則。 - 基準規模:Wiz Cyber Model Arena v3.9 涵蓋 26 個模型、4 種通用 harness、59 個AI 助理與 327 項挑戰;每項挑戰提供 3 次嘗試,時限為 1,000 秒。

    推薦理由:文章以 Wiz Cyber Model Arena v3.9 說明如何設計貼近實務的資安AI 助理基準,涵蓋任務取樣、程式評分、隔離環境與成本衡量。

11月10日週二
  1. Hugging Face Blog74

    Hugging Face 解說決策模型及其統一介面

    Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。

    推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。

  2. DuckDB Official Blog60

    DuckDB 欄式查詢與 Parquet 資料整理實務教學

    DuckDB 官方文章以鴨類觀測資料示範欄式查詢,涵蓋直接查詢檔案、SQL 欄位操作、聚合、視窗函式,以及 Parquet 寫入與效能檢查。 - 讀取資料:可直接查詢 CSV、Parquet、HTTPS 或 S3 路徑;Parquet 查詢可只讀取指定欄位,並利用分割槽與統計資訊略過部分檔案或 row groups。

    推薦理由:文章以完整 SQL 範例串起 DuckDB 的欄式查詢與 Parquet 寫入,說明分割槽、排序和選取欄位如何減少讀取與整理資料的工作。

  3. AWS Machine Learning Blog59

    AWS Quick 中的技能與AI 助理如何協作

    AWS Quick 以AI 助理、技能、資料來源與連接器協作,讓使用者用自然語言處理任務、查詢資料並在已連線的應用程式中採取行動。 - 技能結構與載入:技能遵循 Agent Skills 規格,以根目錄中的 SKILL.md 為核心;AI 助理先讀取技能名稱與描述,遇到相符任務時再載入完整指示。

  4. LangChain Blog67

    Stripe 如何在 1 週內以 Deep Agents 打造 Kai

    Stripe 以 Deep Agents 為基礎,在 1 週內打造公司內部生產力AI 助理 Kai,供員工透過單一介面處理資料分析、檔案撰寫與跨部門協作。

    推薦理由:文章拆解 Kai 的分層架構、檔案系統與沙箱中介軟體,以及技能載入方式,呈現 Deep Agents 如何支援企業內部AI 助理落地。

  5. AWS Machine Learning Blog65

    AWS 提出 Amazon Bedrock AgentCore 七層可組合企業AI 助理參考架構

    AWS提出 Pluggable Agentic AI Framework,以七層可組合參考架構協助多AI 助理應用從原型走向正式環境,涵蓋資料與知識、模型與推論、編排、安全防護、應用、可觀測性及AI 助理營運。

    推薦理由:文章以七層參考架構拆解多AI 助理從原型走向正式環境的設計,並用零售客服實作呈現各層如何協作與替換。

  6. Meta Engineering76

    Meta 擴充 LLDB,以單一偵錯工作階段除錯跨 CPU 與 GPU 的應用程式

    Meta 建立 lldb-server 加速器外掛架構,讓 LLDB 在同一個偵錯工作階段中協調分別表示 CPU 與 GPU 的兩個 target。架構保留兩者各自的架構、執行緒、暫存器與記憶體空間,並由硬體專屬後端連線裝置偵錯 API。

    推薦理由:文章說明如何以兩個獨立 LLDB target 表示 CPU 與 GPU,並透過 lldb-server 外掛協調偵錯,呈現跨硬體共用偵錯流程的設計取捨。

  7. LangChain Blog71

    LangChain 說明如何以評測驅動開發改善 AI 助理

    LangChain 說明如何透過評測驅動開發(EDD),在修改 AI 助理前先定義成功條件、建立評測,並比較每次變更的結果。 - 三個步驟:定義AI 助理應有的行為、先寫評測再開發,以及修改後比較實驗結果。

    推薦理由:文章以新增 IT 工單工具為例,示範如何先定義行為、建立評測並比較實驗,找出平均分數掩蓋的回歸問題。

11月9日週一
11月8日週日