AI 對上人類

人類能力明顯勝過 AI 的任務類別已所剩無幾，而在僅存的幾項上，差距也在快速縮小。在競賽等級的數學基準 MATH 上，最先進的系統如今領先人類表現 7.9 個百分點。在跨學科、專家等級的 MMMU 上，2024 年最佳模型 o1 拿下 78.2%，僅比人類基準 82.6% 低 4.4 分；而 2023 年底 Google Gemini 只有 59.4%。在 GPQA Diamond 上，o3 的 87.7% 是史上第一個超越專家人類驗證者 81.3% 準確率的分數。

封閉權重對上開放權重

• 2024 年 1 月初，領先的封閉權重模型在 Chatbot Arena 排行榜上勝過最強的開放權重模型 8.0%。到 2025 年 2 月，這道差距已縮小到 1.7%。
• 同樣的崩塌也出現在靜態基準上。2023 年底，封閉模型在 MMLU 上領先開放模型 15.9 分；到 2024 年底，差距只剩 0.1 個百分點。
• 這波追趕主要由 Meta 夏天釋出的 Llama 3.1 帶動，其後還有 DeepSeek V3 等表現優異的開放權重模型。
• 開放與否仍有爭議：支持者指出它能降低市場集中度、強化資安檢視與透明度；批評者則警告造假資訊與生物武器風險。也要注意，開放權重不等於開源 — 訓練程式碼與資料通常仍未公開。

美國對上中國

2024 年 1 月，最強的美國模型在 LMSYS Chatbot Arena 上勝過最強的中國模型 9.3%。到 2025 年 2 月，這個領先只剩 1.7%。在靜態基準上落差更為明顯：2023 年底，MMLU、MMMU、MATH 與 HumanEval 的差距分別是 17.5、13.5、24.3 與 31.6 個百分點；到 2024 年底，只剩 0.3、8.1、1.6 與 3.7。DeepSeek 的 R1 之所以受矚目還有第二個理由 — 該公司表示只用了通常所需硬體的一小部分就取得這些成績，不但撼動美股，也引發外界質疑半導體出口管制的效果。

前沿對上自己

• Chatbot Arena 排行榜上第一名與第十名之間的 Elo 差距，一年內從 11.9% 降到 5.4%；前兩名之間的差距則從 2023 年的 4.9% 縮小到 2024 年的 0.7%。
• 2024 年是小模型的突破年。2022 年，MMLU 得分超過 60% 的最小模型是 5,400 億參數的 PaLM；到 2024 年，微軟的 Phi-3 Mini 只用 38 億參數就達標 — 兩年縮小 142 倍。
• 新的推理典範登場：OpenAI 的 o1 與 o3 會在推論階段反覆檢視自己的輸出。o1 在國際數學奧林匹亞資格考上拿下 74.4%，GPT-4o 只有 9.3%。
• 這種推理並不便宜。o1 每百萬輸入 token 收費 15 美元、每百萬輸出 token 60 美元，GPT-4o 則是 2.50 與 10 美元；而且產出第一個 token 的時間約慢 40 倍(29.7 秒對上 0.72 秒)。

程式

• OpenAI 研究者於 2021 年推出、含 164 道手寫題目的 HumanEval 已經結束了：Claude 3.5 Sonnet 在 HPT 提示下拿到 100%。
• SWE-bench 取材自 Python 專案的真實 GitHub issue，原本應該困難得多 — 它要求跨檔案協調修改。2023 年底最強的模型只解出 4.4% 的問題。到 2025 年初，o3 解出了 Verified 子集的 71.7%。
• 2024 年推出的 BigCodeBench 是目前的難題：1,140 項任務，需跨 139 個函式庫、七個領域呼叫函式。最強的 o1 在困難子集上平均 35.5 分 — 遠低於人類水準的 97%。
• 在 Chatbot Arena 的程式篩選中，Gemini-Exp-1206 以 1,369 的競技場分數領先，o1 以 1,361 緊追在後。中國模型中 DeepSeek-V3 以 1,317 居首，落後榜首 3.8%。

數學

• GSM8K 已接近飽和：Claude 3.5 Sonnet 搭配 HPT 提示拿到 97.72%，高於 2023 年 91.00% 的最高分，而 Mistral、Meta 與 Qwen 的數個模型都聚集在 96% 附近。在 MATH 上，最強的系統解出 97.9% 的題目。
• Epoch AI 推出的 FrontierMath 就是對這種飽和的回應 — 由專業數學家審核的原創題目，往往需要數小時、數天，甚至協作研究才解得出來。發布當時，六個領先 LLM 中表現最好的 Gemini 1.5 Pro 只解出 2.0%。
• DeepMind 的 AlphaProof 與 AlphaGeometry 2 在 2024 年國際數學奧林匹亞解出六題中的四題，相當於銀牌水準。在 IMO-AG-30 幾何題上，這些系統解出 25 題，而 IMO 銀牌得主平均為 22.9 題。
• 在 Chatbot Arena 的數學篩選中 — 涵蓋超過 181 個模型與逾 340,000 張公開投票 — 榜首是 2024 年 12 月釋出的 OpenAI o1 變體，打破了 Gemini 在一般與程式競技場中的領先。

推理

MMMU 於 2023 年推出，涵蓋六大學科約 11,500 道大學程度題目，一年之內從 59.4% 的最佳成績躍升到 o1 的 78.2%。GPQA Diamond 由專家撰寫、無法靠網路搜尋作答的 448 道題目，則從 GPT-4 的 38.8% 升到 o3 的 87.7%，躍升 48.9 分，也是第一個超越 81.3% 專家人類基準的分數。設計來抵抗記憶的 ARC-AGI 是最戲劇性的案例：2020 年首次舉辦時只有 20%，四年後仍只有 33%，接著 o3 拿下 75.7% — 若給予超過該基準 10,000 美元上限的運算預算，更達 87.5%。研究者認為先前的停滯源於過度偏重規模擴張，那只提升了特定任務的技巧，卻沒有提升泛化能力。

商業規模的自駕計程車

• 截至 2025 年 1 月，Waymo 在鳳凰城、舊金山、洛杉磯與奧斯汀營運，每週提供約 150,000 趟付費載客，行駛超過一百萬英里。截至 2024 年 9 月的純載客里程為：鳳凰城 2,082.3 萬英里、舊金山 1,020.9 萬英里、洛杉磯 194.7 萬英里、奧斯汀 12.4 萬英里。該公司計畫再到十座城市測試，並刻意納入紐約州北部與加州特拉基等會下雪的地點。
• 百度的 Apollo Go 回報 2024 年第三季在中國完成 988,000 趟載客，年增 20%；2024 年 10 月營運 400 台自駕計程車，並計畫在 2025 年底前擴增到 1,000 台。其配備換電系統的 RT6 車型售價約 30,000 美元。
• 小馬智行承諾把車隊從 200 台擴大到至少 1,000 台，預期 2026 年底可達 2,000 至 3,000 台。中國測試中的無人車數量居全球之冠，已在 16 座城市推展，並優先建立管理部署的全國性法規。
• 特斯拉在 2024 年 10 月發表 Cybercab — 一款沒有方向盤與踏板的雙人座車輛，預定 2026 年量產、售價低於 30,000 美元 — 同時發表可載 20 人的 Robovan。相對地，Cruise 在 2023 年因一連串安全事件被吊銷執照。

它們比我們安全嗎？

浮現中的證據說是的。與人類駕駛在同樣里程下的估計值相比，Waymo 車輛每百萬英里少了 1.42 次安全氣囊啟動、3.16 次有傷亡通報的碰撞，以及 3.65 次警方紀錄的碰撞。另一項與再保險公司瑞士再保合作的研究 — 對照的是超過 500,000 筆理賠與 2,000 億英里行駛資料 — 發現財物損害理賠減少 88%、人身傷害理賠減少 92%。以絕對數字來看，在 2,530 萬英里中，Waymo 車輛只產生 9 件財物損害理賠與 2 件人身傷害理賠，而人類駕駛在同樣距離下預期會是 78 件與 26 件。Waymo 的表現也勝過配備現代安全功能的最新一代人類駕駛車輛。

會學習的機器人

• 2024 年是人形機器人值得記上一筆的一年。Figure AI 的 Figure 02 可搬運 44 磅負載、單次充電運作長達五小時，並與 OpenAI 整合而具備語音到語音的推理能力 — 它能解釋自己正在做什麼。特斯拉的 Optimus 與波士頓動力的 Atlas 也持續發展。
• DeepMind 的 AutoRT 可自主生成機器人訓練資料，迄今產出涵蓋 6,650 種獨特任務的 77,000 次機器人試驗資料集。SARA-RT 提升以 transformer 為基礎的機器人模型效率；ALOHA 與 DemoStart 則用少得多的資料處理靈巧操作。
• 基礎模型也進入機器人領域：Nvidia 的 GROOT 開發套件把人形機器人模型與模擬框架、Thor 機器人電腦組合在一起，承接 RT-2、PaLM-E 與 Open-X Embodiment 的路線。
• 新基準跟上了這份野心。nuPlan 提供 1,282 小時的行駛情境與閉環評估；Bench2Drive 提供來自超過 10,000 段影片的 200 萬幀以上標註畫面，外加 220 條評估路線；OpenAD 則是第一個針對駕駛 3D 物件偵測的真實開放世界基準。