GPT-2 — 5 萬美元的起點
2019 年 2 月釋出,15 億個參數,估計訓練成本約 5 萬美元。
AI 指數 2023 第 1 章追蹤 AI 知識的產地:論文、重要機器學習系統、大型語言與多模態模型、研討會與開源程式碼。產出持續攀升 — 2021 年全球發表近 50 萬篇 AI 論文,是 2010 年的兩倍以上,其中四分之三仍出自大學。但 2022 年真正推動前沿的系統,產業界釋出 32 個,學術界只有 3 個。先看數字:
本版的論文資料停在 2021 年,因為一年的論文往往要到隔年年中才收得齊。以此為準:2021 年全球產出 496,010 篇 AI 論文,2010 年約為 200,000 篇。12 年之間,期刊論文成長約 3 倍、預印本平台成長 26.6 倍 — 研討會論文則自 2019 年起一路下滑。
2021 年,60% 的 AI 出版品是期刊論文,17% 是研討會論文,13% 是預印本平台的投稿;書籍、書籍章節、學位論文與未分類則佔剩下的 10%。這種往期刊與預印本傾斜的變化並不只是表面。研討會論文在 2019 年達到高峰,2021 年的 85,094 篇比高峰低了 20.4% — 只比 2010 年的 75,592 篇略多一些。
2010 至 2021 年間,沒有任何一組國家在 AI 研究上的合作多過美國與中國。這段期間雙方合著的論文成長約 4 倍,2021 年達到 10,470 篇,是第二名的英國與中國的 2.5 倍。但曲線已經走平:美中合作論文從 2020 到 2021 年只增加 2.1%,是 2010 年以來最小的年增幅。
2021 年,中國在全球 AI 期刊論文(39.8%)與研討會論文(26.2%)上佔比最高。美國則在預印本論文(23.5%)、研討會引用(23.9%)與預印本引用(29.2%)上領先 — 但報告指出,這些領先正在緩慢流失。
自 2010 年以來,產出最多 AI 論文的單一機構是中國科學院,緊接在後的四所也全是中國的大學。2021 年,中國科學院發表 5,099 篇 AI 論文,清華大學 3,373 篇,中國科學院大學 2,904 篇,上海交通大學 2,703 篇,浙江大學 2,590 篇。麻省理工學院以 1,745 篇成為全球前十名中唯一的非中國機構。報告自己也加了但書:許多中國研究機構規模龐大、組織集中,動輒數千名研究者,單看論文篇數自然對它們有利。
Epoch AI 統計 2022 年釋出的重要機器學習系統共 38 個。2014 年以前,這類系統多半出自學術界。2022 年產業界釋出 32 個,學術界 3 個,研究集體 2 個,還有 1 個是產學合作。非營利組織掛零。
報告的解釋很直接:打造最先進的 AI 系統,愈來愈需要大量資料、運算力與金錢 — 而這些資源,產業界擁有的份量遠多於非營利組織與學術界。重要系統所使用的運算量在過去五年呈指數成長,而自 2010 年起,語言模型一直是吃掉最多運算資源的類別。愈耗運算的模型,環境衝擊也愈大,而產業界取得這些資源的難度遠低於大學。
本版新增的分析中,AI 指數依據各家揭露的硬體與訓練時間,估算了大型語言與多模態模型的訓練成本,並為每個數字標上中等、偏高或偏低的估計等級。結果證實了業界原本只能揣測的事:這些模型的訓練費用如今動輒數百萬美元,而成本與模型規模、運算量高度相關。
2019 年 2 月釋出,15 億個參數,估計訓練成本約 5 萬美元。
Google 的 2022 年旗艦:5,400 億個參數,將近 GPT-2 的 360 倍,估計訓練成本 801 萬美元。
AI 指數所有估計值中最貴的一次訓練,約 1,135 萬美元。
DeepMind 於 2022 年 5 月推出的模型,估計 211 萬美元 — 百萬美元級的訓練已經是常態,而不是極端值。
估計成本 229 萬美元,由超過 1,000 位國際研究者共同完成,國籍歸屬被列為無法判定。
2022 年中國唯一釋出的大型語言或多模態模型:來自清華大學的雙語模型,估計訓練成本 16 萬美元。
研討會、開源程式碼,以及頭條數字底下的幾個爭論。
第 1 章裡撐起這一年的五句話。
2022 年,產業界產出了 32 個重要的機器學習模型,學術界只有 3 個。
打造最先進的 AI 系統,愈來愈需要大量的資料、運算力與金錢 — 而這些資源,產業界天生就比非營利組織和學術界擁有得更多。
PaLM 的規模約是 GPT-2 的 360 倍,成本高出 160 倍。而且不只 PaLM:整體而言,大型語言與多模態模型正在變得更大、也更貴。
美中合作論文的總數從 2020 到 2021 年只增加了 2.1%,是 2010 年以來最小的年增幅。
儘管美國與中國仍主導著 AI 研發,研究活動正在愈來愈分散到更多地方。
第 1 章(1.1–1.4 各節) — 論文、重要機器學習系統、大型語言與多模態模型、研討會與開源軟體 — 連同所有圖表與引用,皆由史丹佛 HAI 免費提供。
開啟 AI 指數 2023 →