跳到正文

#產品更新

RSS
今日 1 則
10月20日週二
  1. Hugging Face Blog73

    AnyLanguageModel 1.0:一年後於 Apple 平臺推出本地模型功能

    AnyLanguageModel 1.0 於 Apple 平臺推出,提供單一 API 同時支援本地與雲端模型,降低實作複雜度。 - API 相容性:將 import FoundationModels 換成 import AnyLanguageModel,即可使用系統模型、llama.cpp、MLX、Core ML 等。

    推薦理由:AnyLanguageModel 1.0 讓開發者可在 Apple 平臺以單一 API 同時使用本地與雲端模型,降低實作複雜度。

  2. vLLM Official Blog73

    vLLM 推出 TorchTPU 後端,讓既有模型可部署於 Google Cloud TPU

    vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。

    推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。

  3. AWS Machine Learning Blog72

    Amazon Bedrock 釋出 Anthropic Claude 模型結構化輸出功能

    Amazon Bedrock 現已支援 Anthropic Claude 模型的結構化輸出,直接回傳符合 JSON Schema 的資料。 - 支援範圍:所有 Claude 模型,bedrock-runtime 與 bedrock-mantle 端點均可使用。

    推薦理由:Amazon Bedrock 現已支援 Anthropic Claude 的結構化輸出,消除後處理、降低成本,適用於高併發資料提取與智慧工作流。

  4. Hugging Face Transformers Releases39

    Hugging Face Transformers v5.20.2 修補版本發布

    Hugging Face Transformers 發布 v5.20.2 修補版本,修正 generate 的 prepare_inputs_for_generation 過程中部分輸入可能失去原始型別的問題,避免多模態模型因此出錯。 其他修正:包含修正 bfloat16 搭配 expert parallelism、且 ep_size < fsdp_size 時的零專家梯度問題;宣告僅回報文字的 VLM 輸入模態;以及避免 eager_mask 中的 host-to-device 複製。

  5. AWS Machine Learning Blog79

    TwelveLabs Pegasus 1.5 現已於 Amazon Bedrock 上線

    Pegasus 1.5 現已在 Amazon Bedrock 上線,為長影片提供時間標記式結構化資料與多模態提示功能。 - 功能亮點:支援 2 小時長影片、即時處理,並可從 S3 直接讀取或以 base64 內嵌傳送。

    推薦理由:Pegasus 1.5 以時間標記與多模態提示提升影片分析效率,支援 2 小時長影片、即時處理,讀者可直接從 S3 讀取、支援 JSON 輸出,降低開發門檻,並可依此調整工作流程。