計分板不動了 — 於是 2022 年重新造了幾塊

若以各基準推出以來的相對變化來衡量，進步幅度中位數是 42.4%；若只看過去一年，中位數是 4%。本章涵蓋的基準裡，除了七個以外，全年進步都不到 5%。AI 指數這一版還把兩個長年常客 SQuAD1.1 與 SQuAD2.0 整個拿掉 — 因為兩者都沒有新的最先進成績出現。

高原長什麼樣子，一個基準一個基準看

• ImageNet：最強的影像分類器達到 91.0% 的 top-1 準確率。這比十年前高了 27.7 個百分點 — 但只比去年高 0.1 個百分點。
• MPII 人體姿態估計：ViTPose 正確標出 94.3% 的關節點，比 2020 年創下的紀錄只多 0.2 個百分點。
• Cityscapes 語意分割：mIoU 86.46%，自 2014 年競賽開辦以來累積進步 23.4 個百分點，但近幾年已經打平。
• COCO 物件偵測：來自中國學術合作團隊的 EVA 達到 81.9% mAP50 — 偵測器自 2015 年以來累積進步 26 個百分點。
• Kvasir-SEG 醫學影像分割：平均 Dice 94.11%。Celeb-DF 深偽偵測：AUC 78。Procgen 強化學習：最小最大正規化平均分數 0.57。
• 人臉辨識實質上已經結束。在 NIST FRVT 的每一組資料上，除了 WILD Photos 之外，最佳模型的錯誤率都已低於 1%，而在 VISA Photos 上只有 0.06%。

應對方式：更大、更全面的測驗套組

研究者對飽和的回應，是打造更難跑完的評測。2022 年 6 月，132 個機構的 442 位作者推出 BIG-bench(Beyond the Imitation Game)，共 204 項任務，橫跨語言學、兒童發展、數學、常識推理、生物、物理、社會偏見與軟體開發。同年 11 月，史丹佛研究者釋出 HELM(Holistic Evaluation of Language Models)，試圖用統一標準評判語言模型，而不是一次只看一個分數。Google 的 Imagen 團隊則在發表模型的同時推出 DrawBench，正是因為既有的文字轉圖像基準已經分不出高下。

文字轉圖像

DALL·E 2、Stable Diffusion、Midjourney、Meta 的 Make-A-Scene 與 Google 的 Imagen 在短短數月內接連登場。AI 指數用同一句提示 —「a panda playing a piano on a warm evening in Paris」— 分別餵給 DALL·E 2、Stable Diffusion 與 Midjourney 並排比較。在 MS-COCO 256×256 FID-30K 基準上(Fréchet Inception Distance 愈低愈好)，Imagen 以 7.27 領先，其次是 Make-A-Scene 的 7.55 與 DALL·E 2 的 10.39；作為對照，2017 年的 AttnGAN 是 35.49。Google 在發表 Imagen 的同時推出更難的 DrawBench，因為文字轉圖像模型已經長得比舊測驗還大。

文字轉影片

• 5 月，清華大學與北京智源人工智慧研究院釋出 CogVideo，以 50.46 的 inception score 拿下當時 UCF-101 文字轉影片基準的最高分。
• 9 月，Meta 的 Make-A-Video 以 82.55 的 inception score 大幅超越 — 在 UCF-101 上比 CogVideo 好 63.6%。
• 10 月，Google 釋出 Phenaki，不過這個模型並未在 UCF-101 上評測。
• 本章加註的但書是：這些模型雖然驚人，但目前都只能生成幾秒鐘長的影片。

一個模型，多種技能

AI 傳統上擅長狹窄任務，卻不擅長在任務之間切換。2022 年這個界線開始鬆動。微軟的 BEiT-3 一口氣在四項視覺技能與五項視覺語言技能上都拿下最先進成績 — 在 NLVR 視覺推理上達到 92.60，超越先前最佳的 87.00，進步 6.44%，是九項中幅度最大的。Google 的 PaLI 則以 84.30% 登上 VQA v2 榜首，高於 80.78% 的人類基準。這兩個都是單一系統，做的是過去得動用好幾個系統才做得到的事。

語音

2022 年，規模擴張的做法也來到了語音領域。以 700,000 小時音訊、弱監督方式訓練的 Whisper，在一系列英語語音辨識基準上勝過 wav2vec 2.0 Large，並在 CoVoST 2 的 X→EN 子集上以 29.1 BLEU 勝過 MAESTRO 的 25.2，超越多個頂尖翻譯模型。在 Kincaid46 上，它 8.81% 的中位字錯誤率贏過所有受測的商用語音辨識服務。但它並非樣樣最好：在 FLEURS 語言辨識上，零樣本的 Whisper 只有 64.5%，而 mSLAM-CTC 有 77.7%。另一方面，在原始的 VoxCeleb 語者辨識資料集上，美國研究者寫下 0.1% 的等錯誤率，比前一年的最先進成績再降 0.28 個百分點。

硬體

• 在 MLPerf 訓練競賽中，影像分類與物件偵測的頂尖系統，如今訓練速度約是 2018 年開賽時的 32 倍。2022 年在物件偵測、語音辨識、影像分割、推薦、影像分類與語言處理上全都創下新低，其中最快的語言處理只要 0.18 分鐘。
• 這裡面有很大一部分是硬體堆出來的。MLPerf 參賽者使用的加速器數量最高達到 4,216 個；能拿下最佳成績的系統平均用了 1,859 個；而所有參賽者的平均只有 211 個。這道差距在競賽的每一年都在擴大。
• 在 MLPerf 推論競賽上，頂尖影像分類器與語言處理器產出的離線樣本數，自 2020 年以來已經翻倍以上，推薦系統的吞吐量也成長約 23%。
• GPU 效能持續往上：FP32 效能中位數自 2021 年以來將近三倍，自 2003 年以來則提升約 7,000 倍。
• 真正決定規模擴張的是性價比。2022 年每美元的 FLOP/s 中位數是 2021 年的 1.4 倍、2003 年的 5,600 倍 — 相當於每 1.5 年翻一倍。

碳排

本章引用 Luccioni 等人 2022 年的研究，從參數量、資料中心能源使用效率(PUE)、電網碳強度、耗電量到排放量，比較四個大型語言模型。GPT-3(1,750 億參數、1,287 MWh、PUE 1.10、電網碳強度 429 gCO₂eq/kWh)排放最多，達 502 噸：是 Gopher 的 1.4 倍、OPT 的 7.2 倍、BLOOM 的 20.1 倍。這種比較並不完美 — 碳排放的計算方法至今沒有統一標準 — 但相對關係已經很清楚。四者中最乾淨的 BLOOM 只有 25 噸，卻仍相當於一名乘客紐約往返舊金山飛行排放量的 25 倍、一個美國人一年排放量的 1.4 倍，而它訓練所耗的電力足以供應一個美國家庭用 41 年。