跳到正文

#Meta

RSS
今日 0 則
11月20日週五
  1. elvis63

    好的程式評測不容易製作,逐題請人標記答案也很花工夫。Meta 的研究提出 Benchmark Factory,讓 AI 助理從已合併的內部程式碼變更中挑選任務、寫出題目,再用不同強度的模型檢查評測結果,反覆修正直到通過品質檢查;這些檢查不需要每題都有人標記答案。研究者也故意拿太簡單或評分方式有問題的評測來測試,系統能把它們擋下。用未參與建置的設定測試時,較高運算強度的 Claude Opus 4.7 排名高於較低強度,GPT-5.5 也高於 GPT-5.4。

  2. Dev.to Top Tech60

    Meta 研究者推出 SWE-sweep,測試 AI 助理能否自己找出程式錯誤

    一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。

  3. MarkTechPost49

    Meta FAIR 的 Self-Improving Memory 學會自己整理記憶,測試平均分數達 56.0

    AI 助理做一串工作時,常會忘記前面學到的事;如果每次都靠人先寫好記憶方法,也不一定適合每種任務。Meta FAIR 做出 Self-Improving Memory,讓 AI 助理先從工作中找出整理和讀取筆記的方法,再把這些本領教進模型。像處理程式專案時,它會保留快速入門說明、問題索引和各項修正紀錄,之後接手工作時就能查閱。 在 3 種測試任務中,AI 自己找到的記憶方法平均得到 56.0 分,高於人寫的方法 44.6 分;程式專案任務的分數更高出 20.6 分。把部分本領教進模型後,即使改用一般提示詞,平均仍有 43.1 分,高於直接用一般提示詞訓練的 37.6 分。這表示 AI 找到的整理方法能帶來幫助,但不是每次嘗試都有效:44 次修改中有 37 次沒有超過前一次的最佳結果。

11月19日週四
  1. Meta Engineering76

    Meta 用標準模型模板,把廣告排序模型改進推廣到整個系統

    Meta 的廣告排序模型種類很多,逐一套用新方法既耗時,也容易在不同模型上出現問題。Meta 用標準模型模板整理出一小組可重複使用的模型設計,先在有代表性的模型上測試新方法,再把通過檢查的改動加入模板,推廣給使用這些模板的模型。Meta 表示,這套做法讓每個模型所需的工程時間減少 92%,兩年來推出超過 5000 種技術與模型組合,離線模型品質平均提升 0.63%,線上成效累計提升 0.86%。模板也讓 AI 助理有較明確的設計範圍,可協助提出想法、進行實驗和找出問題。

    推薦理由:Meta 說明標準模型模板如何把逐一調整模型的工作,改成在代表性模型上驗證後推廣,並分享兩年來的工程時間與模型成效變化。

11月15日週日
  1. Dev.to Top Tech50

    同一個 AI 模型重答十次,也看不出它的答案只有自己這麼說

    AI 回答聽起來有道理時,很多人會再問一次,確認答案有沒有變。但這項研究把相同的 24 個問題交給 GPT、Claude、Gemini、Grok 和 Llama,發現 52 個重要差異中,有 26 個是隻有一個模型提出的說法。研究者也挑兩題,讓同一個模型用完全相同的問法各答三次,結果它每次都維持同一個判斷,只有措辭不同。 例如,模型對「餐廳只做現場候位是否可行」看法不同,只有一個模型補充:座位大約不到 20 個、走快速供餐路線,或主打隨興用餐時,這種做法仍可能適合。研究者檢查 14 個只有一個模型提出的說法,發現其中 8 個很有價值,但也有 3 個是錯的或編造的。重問同一個模型只能檢查答案是否一致;想知道它是不是孤單的少數,得另外問不同模型,並記下它們意見分歧的地方。

11月13日週五
11月11日週三
11月9日週一
11月8日週日
11月6日週五
11月5日週四
11月4日週三
11月3日週二
11月2日週一
11月1日週日
10月27日週二
10月22日週四
  1. Hugging Face Blog88

    VocabX:成本加權詞彙最佳化能將單域 LLM 推理成本降低 77%

    VocabX 是一種成本加權詞彙最佳化方法,針對單域 LLM 在實際應用中可將推理成本降低 77%。 - 模型:以 Qwen3-4B 為基礎,維持 4B 引數,未改變模型權重。

    推薦理由:VocabX 透過成本加權詞彙最佳化,實驗證明可將推理成本降低 77%,同時提升評分 15%,並保持原始模型精度。

10月21日週三
10月9日週五
10月8日週四
10月6日週二
  1. The Decoder72

    研究團隊將 LeCun 的 JEPA AI 擴充套件為涵蓋物理到生物的通用世界模型

    研究團隊將 LeCun 的 JEPA AI 擴充套件為涵蓋物理、機器人、天氣預測與生物學等七個領域的通用世界模型,並在實驗中提出肝癌治療候選組合。 - 模型架構:JEPA-Anything 將預測狀態拆分為四個正交因子,每個因子由獨立預測模組處理,最終重新組合得到完整世界狀態。

8月17日週一
3月26日週四
2月25日週二
  1. Ollama Blog80

    Minions:本地與雲端 LLM 協同的實驗研究

    Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。

    推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。

7月20日週四
6月14日週三
  1. Davis Summarizes Papers71

    2023 年 6 月 11 日週報:arXiv 機器學習論文精選與觀察

    本文精選並評析多篇近期 arXiv 機器學習與大型語言模型領域的重要論文,涵蓋資料訓練、模型微調、量化壓縮及架構設計等技術進展。 - 指令微調與模型能力:探討使用 GPT-4 輸出進行微調的侷限與優勢,指出引入逐步解釋能提升模型表現,但也可能僅學會模仿風格。