跳到正文

#評測/基準

RSS
今日 14 則
11月8日週日
11月7日週六
  1. ARC Prize70

    ARC Prize 公佈 Inkling 2 Small 在 ARC-AGI-1 與 ARC-AGI-2 的 Verified 評測分數及每題成本。 ARC-AGI-2:81.7%,$0.27/task。 ARC-AGI-1:96.5%,$0.08/task。 ARC Prize 表示,Inkling 2 Small 的表現超越其評測過的所有開放權重模型;Thinking Machines 計畫於下週釋出完整權重。 原文連結:https://x.com/arcprize/status/2118788850742911073

    推薦理由:ARC Prize 提供 ARC-AGI-1 與 ARC-AGI-2 的分數及單題成本,可比較 Inkling 2 Small 在兩項基準上的表現與成本。

11月6日週五
  1. Browser Use69

    Browser Use 實測七家住宅代理服務,整理 AI 助理上網的價格與差異

    AI 助理要查商品、比價或填表時,網站看到的網路位置和連線是否中斷,都可能影響工作能不能完成。Browser Use 用相同的瀏覽器設定測試七家住宅代理服務,比較價格、地點選擇、連線能維持多久,以及網站存取和表單工作的結果。測試中,有些工作雖然換了 IP,仍能接回已存的內容;另一些連線出錯,無法確認草稿是否恢復。測試次數不多,不能用來排出普遍的可靠度名次,作者建議用自己的網站和工作流程實測,並把重試耗掉的流量算進成本。

    推薦理由:文章用相同的瀏覽器設定比較七家住宅代理服務,也整理各自的價格與限制,並說明小規模測試為何不能代表所有網站和工作流程。

  2. MIT Technology Review · AI58

    我看人形機器人清潔公寓,Tau Robotics 的服務展現未來家務雛形

    Tau Robotics 的人形機器人能清潔公寓中的部分割槽域,但目前仍高度仰賴遠端人員操控與協助,清潔速度也慢,整體表現仍有不少限制。 - 操控方式:人類駕駛員透過機器人頭部與手腕的攝影機遠端操作;鋪床、摺衣等工作則需由駕駛員帶動動作,機器人依感測器傳來的動作模仿,這些過程也會收集訓練資料。

  3. 雷科技58

    《持械入宋》AI短劇爆紅背後:百萬元算力投入與產業競爭

    《持械入宋》由張漢生帶領約 10 人的分散團隊製作,全系列累計播放量突破 66 億;這部作品也呈現 AI 短劇的製作門檻與成本取捨。 - 製作投入:全系列算力投入超過 100 萬元;普通鏡頭平均生成 3 次,戰爭場面常需 10 次以上,團隊也為配角建立人物資產以避免串臉。

  4. Artificial Analysis71

    Thinking Machines 發布 Inkling 2 Small,在 Artificial Analysis Intelligence Index v5.0.1 得分 31,目前以專有模型形式透過 Tinker 與 Tinker Playground 提供,權重預計日後以 Apache 2.0 釋出,日期尚未確認。

    推薦理由:Inkling 2 Small 在 AA Intelligence Index 得分提升的同時,輸出 token 數與單次任務成本也增加;各項基準差異可用來比較其代理任務、程式編寫與研究能力。