來源：AI前線本文共5000字，建議閱讀10+分鐘本文中吳恩達回顧了 2021 年全球人工智慧在多模態、大模型、智慧語音生成、Transformer 架構、各國 AI 法律舉措等方面的主要進展。
近期，機器學習大牛吳恩達（Andrew Ng）在其主編的人工智慧周訊《The Batch》上發表了最新文章。文章中，吳恩達回顧了 2021 年全球人工智慧在多模態、大模型、智慧語音生成、Transformer 架構、各國 AI 法律舉措等方面的主要進展。
日前，吳恩達發表了以“贈人玫瑰、手有餘香”為主題的聖誕寄語。
隨著 2021 年底的臨近，你可能正在減少工作為寒假做準備。我很期待能暫時放下工作休息一下，希望你也一樣。
十二月有時被稱為給予的季節。如果你有空閒時間，想知道如何利用它，我認為我們每個人能做的最好的事情之一，就是思考如何能夠幫助別人。
歷史學家、哲學家威爾·杜蘭特曾說過:“重複的行為造就了我們。”如果你不斷地尋求提升他人，這不僅會幫助他們，或許同樣重要的是，它也會讓你成為一個更好的人。正是你的重複行為定義了你的為人。還有一個經典的研究表明，把錢花在別人身上可能比花在自己身上更讓你快樂。
所以，在這個假期，我希望你能休息一段時間。休息、放鬆、充電！與那些你愛的、但在過去的一年裡沒有足夠的時間聯絡的人聯絡。如果時間允許，做一些有意義的事情來幫助別人。可以是在部落格文章中留下鼓勵的評論、與朋友分享建議或鼓勵、在線上論壇上回答一個人工智慧問題、或為一個有價值的事業捐款。在與教育和（或）科技相關的慈善機構中，我最喜歡的有維基媒體基金會、可汗學院、電子前沿基金會和 Mozilla 基金會。
吳恩達還談到了 AI 社群的發展。他表示：AI 社群在規模很小的時候就有很強的合作精神。這感覺就像一群無畏的先鋒們在向全世界進軍。人們渴望幫助別人，提供建議，彼此鼓勵，相互介紹。那些從中獲益的人往往無以為報，所以我們透過幫助後繼者作為回報。隨著人工智慧社群的發展，我希望保持這種精神。我承諾將繼續努力建設人工智慧社群。希望你也可以！
我也希望你們能考慮各種方式，無論大小，向人工智慧社群以外的人伸出援手。世界上還有很多地方沒有先進的技術。我們的決定影響著數十億美元和數十億人的生命。這給了我們一個在世界上行善的特殊機會。
吳恩達回顧了 2021 年全球人工智慧的進展並展望了 2022 年以及之後 AI 技術的發展前景。
回顧 2021 年
過去一年以來，整個世界都在跟極端天氣、經濟通脹、供應鏈中斷以及 COVID-19 病毒作鬥爭。
在科技領域，遠端辦公與線上會議貫穿了這整整一年。AI 社群則繼續努力彌合整個世界，推進機器學習發展，同時加強其造福各行各業的能力。
這一次，我們希望重點展望 2022 年及之後 AI 技術的發展前景。
多模態 AI 的起飛
雖然 GPT-3 和 EfficientNet 等單獨針對文字及影象等任務的深度學習模型備受矚目，但這一年中最令人印象深刻的還是，AI 模型在發現許可證與影象間關係中取得了進步。
背景資訊
OpenAI 透過 CLIP（實現影象與文字匹配）與 Dall·E（根據輸入文字生成對應影象）開啟了多模式學習的開端；DeepMind 的 Perceiver IO 則著手對文字、影象、影片及點雲進行分類；斯坦福大學的 ConVIRT 嘗試為醫學 X 射線影像新增文字標籤。
重要標杆
雖然這些新的多模式系統大多處於實驗階段，但也已經在實際應用中取得突破。
- 開源社群將 CLIP 與生成對抗網路（GAN）相結合，開發出引人注目的數字藝術作品。藝術家 Martin O’Leary 使用 Samuel Coleridge 的史詩作品《忽必烈大汗》為輸入，生成了充滿迷幻色彩的“Sinuous Rills”。
- Facebook 表示其多模式仇恨言論檢測器能夠標記並刪除掉社交網路上 97% 的辱罵及有害內容。該系統能夠根據文字、影象及影片等 10 種資料型別將模因與其他影象 - 文字對準確劃分為“良性”或“有害”。
- 谷歌表示已經在搜尋引擎中添加了多模式（及多語言）功能。其多工統一模型能夠返回文字、音訊、影象及影片連結，用以響應由 75 種語言提交的各類查詢。
新聞背後
今年的多模態發展態勢源自幾十年來堅實的研究基礎。
早在 1989 年，約翰霍普金斯大學和加州大學聖迭戈分校的研究人員就開發出一種基於母音的分類系統，用以識別人類語音中的音訊與視覺資料。
接下來的二十年間，更多研究小組先後嘗試過數字影片庫索引及基於證據 / 視覺資料的人類情緒分類等多模式應用方案。
發展現狀
影象與文字如此複雜，因此研究人員在很長一段時間內只能專注於其中一種。在此期間，他們開發出多種不同技術成果。
但過去十年中，計算機視覺與自然語言處理已經在神經網路中得到有效融合，也讓二者的最終合璧成為可能 —— 甚至音訊整合也獲得了參與的空間。
萬億級引數
過去一年，模型經歷了從大到更大的發展歷程。
背景資訊
谷歌用 Switch Transformer 拉開了 2021 年的序幕，這是人類歷史上首個擁有萬億級引數的模型，總量達 1.6 萬億。
北京人工智慧研究院則回敬以包含 1.75 萬億引數的悟道 2.0。
重要標杆
單純拉高模型引數並沒什麼特別。但隨著處理能力和資料來源的增長，深度學習開始真正確立起“越大越好”的發展原則。
財力雄厚的 AI 廠商正以狂熱的速度堆積引數，既要提高效能、又要展示“肌肉”。特別是在語言模型方面，網際網路廠商為無監督和半監督預訓練提供了大量未經標記的資料。
2018 年以來，這場引數層面的軍備競賽已經從 BERT（1.1 億）、GPT-2（15 億）、MegatronLM（83 億）、Turing-NLG（170 億）、GPT-3（1750 億）一路走來，如今終於邁過了萬億級大關。
挺好，但是……
模型的膨脹路線也帶來了新的挑戰。愈發龐大的模型令開發者們面臨四大嚴酷障礙。
- 資料：大型模型需要吸納大量資料，但網路和數字圖書館等傳統資料來源往往提供不了這麼多高質量素材。例如，研究人員常用的 BookCorpus 是一套包含 11000 本電子書的資料集，之前已被用於訓練 30 多種大型語言模型；但其中包含某些宗教偏見，因為內容主要討論基督教和伊斯蘭教義，對其他宗教幾無涉及。
AI 社群意識到資料質量將直接決定模型質量，但卻一直未能就大規模、高質量資料集的有效編譯方法達成共識。
- 速度：如今的硬體仍難以處理大體量模型，當資料反覆出入記憶體時，模型的訓練和推理速度都會受到嚴重影響。
為了降低延遲，Switch Transformer 背後的谷歌團隊開發出一種方法，能夠讓各個 token 只處理模型各層中的一個子集。他們的最佳模型預測速度甚至比引數量只有其三十分之一的傳統模型還快 66%。
另外，微軟開發的 DeepSpeed 庫則選擇了並行處理資料、各層及層組的路線，並透過在 CPU 和 GPU 間劃分任務以減少處理冗餘。
- 能耗：訓練如此龐大的網路會消耗大量電能。2019 年的一項研究發現，在 8 個英偉達 P100 GPU 上訓練一個包含 2 億引數的 transformer 模型所造成的碳排放（以化石燃料發電計算），相當於一輛普通汽車五年的行駛總排放量。
當然，Cerebras 的 WSE-2 及谷歌最新 TPU 等新一代 AI 加速型晶片有望降低排放，而風能、太陽能及其他清潔能源的供應也在同步增加。相信 AI 研究對環境的破壞將愈發輕微。
- 模型交付：這些龐大的模型很難在消費級或邊緣裝置上執行，所以真正的規模部署只能透過網際網路訪問或精簡版本實現——不過二者目前各有問題。
發展現狀
自然語言建模排行榜中的主力仍然是千億級模型，畢竟萬億級引數的處理難度實在太高。
但可以肯定，未來幾年會有更多萬億級俱樂部成員加入進來，而且這種趨勢仍將持續。有傳聞稱，OpenAI 規劃中的 GPT-3 繼任者將包含更加恐怖的百萬億級引數。
AI 生成音訊內容漸成“主流化”
音樂家和電影製作人們，已經習慣於使用 AI 支援型音訊製作工具。
背景資訊
專業媒體制作人們會使用神經網路生成新的聲音並修改舊有聲音。配音演員們自然對此大為不滿。
重要標杆
生成模型能夠從現有錄音中學習特徵，進而創造出令人信服的複製品。也有些製作人直接使用這項技術原創聲音或模仿現有聲音。
- 美國初創公司 Modulate 使用生成對抗網路為使用者實時合成新的語音，使得遊戲玩家和語聊使用者能夠建立起自己的虛擬角色；也有跨性別者用它調整自己的聲音，藉此獲得與性別身份相一致的音色。
- Sonantic 是一家專門從事聲音合成的初創公司。演員 Val Kilmer 於 2015 年因咽喉手術而喪失了大部分發聲能力，該公司則利用原有素材為他專門創造了一種音色。
- 電影製作人 Morgan Neville 聘用一家軟體公司，在自己的紀錄片《流浪者: 一部關於安東尼·波登的電影》中重現了已故旅遊節目主持人波登的聲音。但此舉引起了波登遺孀的憤怒，她表示自己並未許可這種行為。
挺好，但是……
爭議不止這一例。
配音演員們也擔心這項技術會威脅到自己的生計。2015 年年度遊戲《巫師 3：狂獵》的粉絲們甚至在同人 Mod 版本中用這項技術重現了原配音演員們的聲音。
新聞背後
最近出現的音訊生成主流化傾向，完全是早期研究成果的自然延續。
- OpenAI 的 Jukebox 就使用 120 萬首歌曲進行訓練，可利用自動編碼器、轉換器及解碼器管道進行全實時錄音生成，風格涵蓋從貓王到艾米納姆等多位歌手。
- 2019 年，某匿名 AI 開發者設計出一種技術，允許使用者在短短 15 秒內利用文字行重現動畫及影片遊戲角色的聲音。
發展現狀
生成音訊及生成影片不僅讓媒體制作人多了一種修復並增強歸檔素材的能力，同時也讓他們能夠從零開始創造新的、真假難辨的素材。
但由此引發的道德與法律問題也在增加。如果配音演員被 AI 徹底取代，他們的損失該由誰承擔？將已故者的聲音在商業化作品中重現涉及哪些所有權糾紛？能不能利用 AI 為已故歌手推出新專輯？這麼做對嗎？
一種架構，駕馭一切
Transformer 架構正在快速拓展自己的影響範圍。
背景資訊
Transformers 架構最初專為自然語言處理所開發，但目前已經成為深度學習領域的“萬金油”。2021 年，人們已經在用它發現藥物、識別語音和影象等。
重要標杆
Transformers 已經用實際行動證明自己在視覺任務、地震預測、蛋白質分類與合成等領域的優異表現。
過去一年以來，研究人員開始將其推向更廣闊的新領域。
- TransGAN 是一套生成對抗網路，結合 transformers 以確保所生成的各個畫素都與之前已生成的畫素一致。這項成果能夠有效衡量所生成影象與原始訓練資料之間的相似度。
- Facebook 的 TImeSformer 使用該架構識別影片片段中的動作元素。它的任務不再是從文字中識別單詞序列，而是嘗試解釋影片幀中的序列關係。其效能優於卷積神經網路，能夠在更短時間內分析更長的影片片段，因此能耗也控制在更低水平。
- Facebook、谷歌及加州大學伯克利分校的研究人員在文字上訓練出 GPT-2，之後凍結了其 self-attention 與 feed-forward 層。在此基礎上，他們可以針對不同用例進行模型微調，包括數學、邏輯問題及計算機視覺等。
- DeepMind 釋出了 AlphaFold 2 的開源版本，其使用 transformers 根據氨基酸序列預測蛋白質的 3D 結構。該模型在醫學界內掀起軒然大波，人們普遍認為其具備推動藥物發現和揭示生物學原理的巨大潛力。
新聞背後
Transformer 於 2017 年首次亮相，之後迅速改變了語言處理模型的設計思路。其 self-attention 機制能夠跟蹤序列中各元素與其他元素間的關係，不僅可用於分析單詞序列，還適合分析畫素、影片幀、氨基酸、地震波等序列。
基於 transformer 的大型語言模型已經建立起新的客觀標準，包括在大型未標記語料庫上進行模型預訓練，利用有限數量的標記示例針對特定任務進行微調等。
Transformer 架構良好的普適性，可能預示著未來我們將創造出能解決多領域多問題的 AI 模型。
發展現狀
在深度學習的發展過程中，有幾個概念曾經迅速普及：ReLU 啟用函式、Adam 最佳化器、attention 注意力機制，再加上現在的 transformer。
過去一年的發展證明，這種架構確實具有旺盛的生命力。
各國政府出臺人工智慧相關法律
各國政府紛紛制定新的法律和提案，希望控制 AI 自動化對現代社會的影響。
背景資訊
隨著 AI 對隱私、公平性、安全性及國際競爭關係帶來的潛在影響，各國政府也開始加大對 AI 的監管力度。
重要標杆
AI 相關法律往往反映出各國在政治秩序中的價值判斷，包括如何在社會公平與個人自由之間求取平衡。
- 歐盟起草了基於風險類別的機器學習應用禁止或限制條例。實時人臉識別與社會信用系統被明令禁止；對於重要基礎設施的控制、執法協助及生物識別技術等應用方向則需要提交詳細的說明檔案，證明 AI 方案安全可靠並持續接受人工監督。
這項規則草案於今年 4 月釋出，目前仍在立法流程之內，預計未來 12 個月內仍無法落地。
- 從明年開始，中國網際網路監管機構將強制對可能破壞社會公序良俗的 AI 系統與推薦演算法執行監督。打擊的目標包括傳播虛假資訊、引導成癮行為及危害國家安全的各類系統。企業在部署任何可能左右公眾情緒的演算法之前必須獲得批准，違規演算法一律不得上線。
- 美國政府提出一項 AI 權利法案，用以保護公民免受可能侵犯隱私及公民權利的系統的影響。政府將在明年 1 月 15 日前持續為提案收集公眾意見。在聯邦以下，多個州及市一級政府開始限制人臉識別系統。紐約市透過一項法律，要求對招聘演算法進行偏見審計。
- 聯合國民權高階專員呼籲各成員國暫停 AI 的某些用途，包括可能侵犯人權、限制民眾獲取基本服務、以及濫用私人資料的情形。
新聞背後
AI 社群正在逐步走向監管層面的共識。
最近對 534 位機器學習研究人員進行的一項調查發現，68% 的受訪者認為模型部署確實應該重視可信度與可靠性。受訪者們對於歐盟及聯合國等國際機構的信任度，也普遍高於對各國政府的信任度。
發展現狀
在中國以外，大部分 AI 相關法規仍處於審查階段。但從目前的提案來看，AI 從業者必須為政府全面介入的必然前景做好準備。
原文連結：
https://read.deeplearning.ai/the-batch/issue-123/
