模型什麼都變強了 — 包括偏見

毒性隨參數量上升

DeepMind 在 2021 年 12 月發表的 Gopher 論文，是本章最乾淨的證據。固定提示分布、把模型規模從 1.17 億掃到 2,800 億參數，在每一種提示毒性水準下，產出毒性續寫的機率都上升。這個比較就是本章的頭條：2021 年開發的 2,800 億參數模型，比 2018 年被視為最先進的 1.17 億參數模型多出 29% 的誘發毒性。同一組實驗也帶來真正的安慰 — 更大的模型辨識毒性留言的能力也強得多，在 CivilComments 上的少樣本分類 AUC，從 4,400 萬參數一路穩定爬升到 2,800 億參數。製造問題的模型，同時也是最好的偵測器。

毒性從哪裡來，同樣可以量測。用過濾掉毒性內容的網路文字訓練的模型，在預期最大毒性上的分數，遠低於用未過濾語料訓練的模型。意外的是 BookCorpus：作為一個書籍資料集，它產生毒性文字的頻率高得出乎意料 — 報告認為原因是其中含有大量情節露骨的言情小說。網路上毒性內容的占比推估只有 0.1%–3%，而這正是趨勢重要的原因：模型愈大，愈擅長記住罕見文字。

去毒化不是免費的

顯而易見的解法，代價卻分配得極不平均。去毒化方法 — 領域自適應預訓練(DAPT)、隨插即用語言模型(PPLM)、生成式判別器引導序列生成(GeDi) — 全都會推高困惑度，也就是語言建模變差，而且相較於白人語域的文字，在非裔美語與提及少數族群身分的文字上惡化得更嚴重。原因很可能出在模型之前：人類標註者更容易把非裔美語誤標為毒性，去毒器於是學會懲罰它。把模型的輸出清乾淨，可能悄悄邊緣化了它本該保護的聲音。

刻板印象走同一條曲線

• StereoSet 衡量模型在性別、種族、宗教與職業上，是否偏好刻板印象甚於反刻板印象。刻板印象分數隨模型規模上升，從 1.1 億參數的 58.30 升到 1,750 億參數的 62.00 — 除非在訓練過程中主動介入，減少學到的刻板印象。
• CrowS-Pairs 對比的是歷史上的優勢與弱勢群體，而非單一群體的屬性。用 BERT、RoBERTa、ALBERT 測試的結果，把能力排名整個倒過來：在 SQuAD、GLUE、RACE 上 ALBERT 勝過 RoBERTa、RoBERTa 勝過 BERT，但三者之中偏誤最深的正是 ALBERT。
• 宗教面向的偏斜可以追回語料。這三個模型都用 BookCorpus、英文維基百科與網路爬文的某種組合訓練，而針對 BookCorpus 與 Smashwords21 的稽核發現，關於基督教與伊斯蘭教的書，數量遠遠壓過錫克教、猶太教、印度教、佛教或無神論。
• StereoSet 本身也有缺陷，本章直說了：有些例子根本沒有表達出有害的刻板印象，有些把對國家的刻板印象與對種族的混為一談，而整份資料集都由位於美國的群眾工作者提供，其中的價值判斷未必具有普遍代表性。

• 基準資料集含有標註資料，而且不隨時間改變。它們是領域專屬的 — 語言用 StereoSet 與 SuperGLUE、視覺用 ImageNet — 通常衡量的是模型的內在性質，而非它在真實族群上的下游表現。它們的價值在於社群採用度：排行榜投稿數與回報該指標的論文數，讓整個領域的進展變得可讀。
• 診斷指標衡量的是模型在下游任務上的影響，例如某個族群子群體相對於另一群體的表現。人口統計均等、機會均等這類群體公平性量測屬於這一類。它們才是真正對應到現實傷害的指標，而我們對它們的公開資訊也最少，因為它們沒有掛在會獎勵公開結果的排行榜上。
• 兩類指標自 2016 年以來都以穩定速度成長。2017 年之所以特別多，主要來自單一次發布：Perspective API 一口氣定義了七個毒性面向 — 毒性、嚴重毒性、身分攻擊、侮辱、猥褻、性露骨與威脅。
• 基準是特定文化與時間脈絡下的靜態快照。用本章的話說，2017 年發表的基準，未必對應得上 2022 年的部署情境。有些排行榜也可能被操弄，有些則建立在標籤錯誤或類別界定不清的資料集上。

還沒有人補上的落差

本章影響最深遠的一句話，是一個否定結果。人們普遍假設，把模型的嵌入去偏誤 — 降低內在偏誤 — 就會減少應用層面浮現的偏誤。但研究已經證明，內在偏誤指標與下游應用偏誤之間，並沒有可靠的相關性。而本章列出的多數指標，量測的正是內在偏誤。也就是說，這個領域打造了一套規模愈來愈大的量測裝置，它與真實傷害的關係卻仍未被建立；本章直白地說，還需要進一步的研究。

性別、職業與翻譯

• Winogender 依據美國勞工統計局資料，挑出性別分布明顯偏斜的職業來造共指句 — 收銀員 73% 是女性，司機只有 6%。在 SuperGLUE 排行榜上，較大的模型確實解得更好：共指準確率在 640 億參數達到 0.72、2,800 億參數 0.71，而 3,100 萬參數只有 0.53。群眾標註推估的人類表現是 99.7%。
• Winogender 分數漂亮，不代表模型在性別上沒有偏誤。只代表這個基準沒有抓到那個偏誤。
• WinoBias 由另一個團隊同期發布，被引用次數更高 — 2021 年 128 次對 Winogender 的 95 次 — 但 Winogender 進了 SuperGLUE 排行榜，所以有更多模型在它上面被評測。
• WinoMT 把兩份資料集合起來測機器翻譯。在受測的八種語言 — 阿拉伯文、英文、法文、德文、希伯來文、義大利文、俄文、烏克蘭文 — Google 翻譯在職業符合性別刻板印象時表現都比較好，而翻對性別的比例最高也只到 60%。Microsoft Translator、Amazon Translate 與 SYSTRAN 的行為類似。

產業界進場了

FAccT 是最早成立、把研究者、實務工作者與政策制定者聚在一起做演算法社會技術分析的大型研討會之一，而且發表了大量批判當代 AI 方法的研究 — 2019 年的〈Model Cards for Model Reporting〉與 2021 年的〈On the Dangers of Stochastic Parrots〉都出自這裡。2021 年有 53 位作者標註了產業界身分，高於 2020 年的 31 位，以及 2018 年首屆會議的區區 5 位。這是年增 71%，也呼應了深度學習研究者從學界移往產業實驗室的更大趨勢。產業團隊仍常與學界合作發表，但獨立的產業界研究正在增加。

地圖反而縮小了

在 FAccT 發表的論文，多數由位於美國的研究者撰寫，其次是歐洲與中亞。從 2020 到 2021 年，北美的占比並沒有隨著領域擴張而下降 — 反而上升，從 70.2% 升到 75.4%。其他每一個區域都落在個位數或更低：東亞與太平洋 4.03%、拉丁美洲與加勒比海 1.61%、中東與北非 1.21%、撒哈拉以南非洲 0.40%，南亞 0.00%。決定什麼算「公平」的這群人，每年來自世界上更窄的一塊。

NeurIPS 選擇投入的題目

• 公平性與偏誤論文 — 主議程標題加上公平性工作坊 — 從 2015 年的 2 篇攀升到 2021 年的 168 篇，急轉點出現在 2017 年。
• 隱私研究從 2015 年的 1 篇成長到 2021 年的 128 篇，涵蓋聯邦式學習、差分隱私，以及金融服務等特定領域的隱私議題。它在 2020 年達到高點 150 篇。
• 因果效應與反事實推理在 2021 年達到 76 篇，同年 NeurIPS 舉辦了三場專門討論因果推論的工作坊，其中一場完全聚焦於因果與演算法公平性。反事實公平性把一個想法形式化：如果當事人屬於另一個人口群體時決策不變，這個決策就是公平的。
• 可解釋性與說明性達到 41 篇，而 2015 年只有 2 篇；近期的成長多半發生在 NeurIPS 主議程，而非工作坊。
• 除了倫理題目本身，NeurIPS 工作坊中關於真實世界影響的論文 — 氣候、金融、醫療、開發中國家 — 在過去六年持續成長，顯示 AI 應用於高風險、高影響場域的關注度正在上升。