跳到正文

#教學/實務

RSS
今日 0 則
9月19日週六
9月18日週五
9月17日週四
  1. Wiz Blog & Research68

    AWS 新帳戶沙盒體驗探討

    AWS 重新設計了帳戶註冊流程,將新使用者置於受限沙盒環境,並提供升級機制以取得完整管理許可權。 - 沙盒環境:註冊即建立三個 AWS 帳戶,隱藏 Org 管理帳戶與身份帳戶,使用者僅能存取其中一個成員帳戶。

9月16日週三
  1. The Go Blog74

    Go 1.27 專用大小記憶體分配:80 bytes 以內分配提升 20‑30%

    Go 1.27 專用大小記憶體分配功能,針對 80 bytes 以內的分配可提升 20‑30%,使重複分配程式可提升約 1%。 - 核心最佳化:使用「span class」分配,將 1‑80 bytes 分為 7 個大小類別,並為每個類別產生專用 mallocgc 變體。

    推薦理由:Go 1.27 透過大小專用分配,針對 80 bytes 以內的分配可提升 20‑30%,使重複分配程式可提升 1%,為開發者帶來可觀的效能改善。

9月15日週二
9月14日週一
9月12日週六
  1. GitHub Blog · AI & ML62

    Marketing ops as code:在 GitHub 上將活動從規劃到跟進全流程自動化

    GitHub 營銷負責人分享瞭如何利用 GitHub Copilot、GitHub Actions 及 API/CLI 工具將亞太區的活動運營流程實現程式碼化與自動化。通過將執行手冊轉化為 Markdown 技能並結合 Issue 觸發器,系統能夠自動生成落地頁、分發 UTM 連結、每日篩查註冊名單以及在活動後執行跟進。

9月11日週五
9月10日週四
  1. vLLM Official Blog79

    vLLM 推出多層 KV 快取分層,提升 GPU 記憶體利用率與多使用者吞吐量

    vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。

    推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。

  2. Hugging Face Blog73

    基於 Hugging Face Jobs 與儲存桶跨節點非同步訓練 LoRA

    Hugging Face 官方介紹瞭如何使用 TRL v1.14 中的 AsyncGRPOTrainer 在不同機器上非同步訓練 LoRA 介面卡並同步至 vLLM。通過將兆位元組大小的 rank-1 介面卡寫入儲存桶並藉助代理路由 KV 快取字首,該方案省去了 NCCL 跨節點通訊,使 500 步訓練耗時縮短至原來的四分之一。

    推薦理由:文章展示瞭如何在不同機器上執行訓練與推理,通過儲存桶同步 LoRA 介面卡,為分散式強化學習提供了可複用的工程方案。

9月9日週三
  1. Together AI Official Blog56

    開源 AI 堆疊:從模型到工具的完整指引

    開源 AI 堆疊:從模型到工具的完整指引 - 堆疊層級:模型 → 推理 → 閘道/路由器 → Harness → 工具(Skill / MCP) - 模型規模:大型模型(如 Kimi K3)擅長多步推理與長對話;小型模型(如 GLM 5.3 Flash)速度快、成本低,適合明確任務。

9月8日週二
9月3日週四
9月2日週三
9月1日週二
8月31日週一
8月28日週五
  1. LMSYS Org Blog71

    Infer-forge 如何用任務流程協調 SGLang 推論工程

    推論效能的改動常牽涉多個程式庫、部署設定和測試條件,少了其中一環,結果就難以重做或比較。LMSYS 團隊介紹內部使用的 Infer-forge,讓每項工作先寫清楚目標、範圍和驗收方式,再由 AI 助理分段執行、留下紀錄,並把有依賴關係的工作接成任務圖。驗證結果可交給下一項工作,失敗或放棄的方向也會留下紀錄。團隊表示,這套系統目前不開放原始碼,但公開了建置方法;一名工程師的紀錄中,同時進行的任務數量高峰從 2 項增至 9 項。

    推薦理由:文章以推論工程為例,說明如何把可重現的執行環境、持續工作的任務流程與專案依賴連在一起,並保留驗證證據。

8月27日週四
8月26日週三
  1. The Go Blog85

    Go 1.27 泛型方法教學

    Go 1.27 針對泛型方法推出新語法,讓結構方法能直接使用型別引數,提升程式碼簡潔度與可讀性。 - 新語法:func (List[E]) MapR any R) List[R] 允許在結構上直接呼叫泛型方法,支援鏈式呼叫。

    推薦理由:本文示範 Go 1.27 新增泛型方法,讓程式碼更簡潔、可讀性提升,對開發者實務應用具重要參考價值。

  2. Hugging Face Blog77

    使用 Sentence Transformers 訓練和微調多向量嵌入模型

    Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。

    推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。

8月25日週二
  1. openrouter blog74

    如何在編輯器中即時挑選最佳 AI 模型

    核心框架:先定義任務,從即時使用率與第三方基準篩選候選,最後在自己的 prompt 上測試。 成本衡量:以「每完成一個任務的成本」為單位,而非每 token 價格,並考慮重試與延遲。 工具支援:OpenRouter MCP 伺服器可在任何編輯器中連線,提供即時排名、價格、延遲與測試介面。

    推薦理由:文章提供了以成本、延遲和任務為核心的模型挑選流程,幫助工程師快速評估並落地實際工作。