生成設定:溫度、top‑k、top‑p 與測試時計算
Generation configurations: temperature, top-k, top-p, and test time compute
重點導讀
生成設定(溫度、top‑k、top‑p 與測試時計算)是調整語言模型創造力與一致性的關鍵手段。
- 溫度:調整 logits 以改變機率分佈,0.7 常用於創意生成,0 近似 argmax 以提升一致性。
推薦理由
本文詳細說明溫度、top‑k、top‑p 等取樣引數如何影響生成結果,對想調整模型創造力與一致性的實務工程師具有直接可落地的參考價值。
信源出處huyenchip.com
Generation configurations: temperature, top-k, top-p, and test time compute
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Chip Huyen (AI Engineering) (huyenchip.com)
開啟原文