智東西（公眾號：zhidxcom）
作者 | 心緣
編輯 | 漠影
“生薑怎麼儲存？”、“小孩能吃辣條嗎？”、“魚的感覺器官是什麼？”……
知識問答是智慧語音助手最常見的日常互動內容之一。像上面這些難以回答的長尾問題，一個語音助手平均每天會遇到上百萬條，而當前業界的方案，不是拒絕回答，就是跳轉到搜尋引擎。
對於使用者來說，這也就節省了開啟搜尋頁面和輸入問題的步驟，要比直接給出答案費事的多。
面對數量龐雜且發散的問題，業界一直沒有成熟的方案。但最近，在智源研究院1.75億引數超大AI模型“悟道2.0”的基礎上，OPPO小布助手建設了直接給出此類開放域長尾問題答案的能力。
過去三年來，隨著BERT、GPT-3、悟道2.0等國內外超大規模預訓練模型接連出場，“大模型”已成為眾多學術及行業大會熱議的方向，也是代表深度學習前沿水平的標誌性模型。
彙集國內頂尖AI專家及後輩人才的北京智源人工智慧研究院，自2020年10月啟動大模型研究起就一路快馬加鞭地推進研發，今年3月釋出大模型“悟道1.0”，6月推出引數規模高達1.75萬億的全球最大AI模型“悟道2.0”。
如今，智源“悟道”又邁向新的節點——讓大模型被廣泛地“用起來”，打破AI開發想象力的邊界！
智源研究院學術副院長、清華大學教授唐傑
在本週五2021中關村論壇上，智源研究院學術副院長、清華大學教授唐傑一連宣佈主攻低門檻、高效率、高情商的3個悟道大模型技術創新成果，要真正解決AI企業及行業使用者研發的核心痛點。
助力OPPO小布助手升級，是“悟道”在智慧終端落地應用的重要一步，這一應用案例不僅展現了大模型在攻破智慧助手瓶頸的技術優勢，亦蘊藏著驅動智慧終端體驗大變革的潛能。
基於悟道大模型的冬奧手語播報數字人也首次亮相，它將在北京冬奧會期間正式投用，為聽障人士提供全流程智慧化的數字人手語生成服務。該成果將在年底釋出。
一、三大技術創新：讓大模型更好用，秀“雙商線上”聊天技能
悟道2.0大模型有1.75萬億引數，這是什麼概念?
如果用GPU載入到記憶體中，需要512張英偉達A100的卡，成本大約6000多萬人民幣，還不包括電費。這是個相當高的門檻。
智源正在做的，即是將悟道的應用門檻降下來，將AI的效率和情商提起來，給更多人帶來便利。
無論是降低AI大模型開發門檻的悟道開發平臺，還是“一卡頂四卡”的高效推理工具包、4倍提速4倍清晰的AI文圖繪畫、最大中文對話模型等技術創新，都讓悟道大模型變得更加好用、易用。
1、悟道開發平臺：幫企業輕鬆構建自己的AI應用
為了降低中小企業基於大模型開發的門檻，智源打造了悟道開發平臺，讓每個人點點滑鼠就能構建AI，從資料處理、模型微調到API部署一應俱全。
該平臺支撐著10億級別模型的線上訓練與微調，企業可以透過“大模型+少量資料微調”的AI開發模式，解決AI應用開發難以規模化、產業化的問題。
這樣一來，即便你是AI開發新手，也能很快開發出高質量的AI應用，還能將這一應用開放給悟道所有生態夥伴及相關使用者。
智源實現了一站式研發和一站式應用平臺，前者面向開發者提供資料模型、線上訓練、模型調優、模型評測、線上部署和應用開發等功能，後者為普通使用者提供直接可用的AI應用商城。
整個應用平臺底層實現了悟道大資料的處理，有超過5T資料，還有悟道各種各樣的基礎模型，以及相關多達幾十種演算法和相關的工具集。
使用者可以將資料提交到平臺上，在雲端跑模型。當資料特別大時，也可以將模型下載下來，在本地機器上做微調，這需要有一些GPU做支援。
目前悟道開發平臺已開放API免費體驗，預計10月開放線上訓練等更多能力。
2、預訓練推理工具包BMInf：低資源高效推理
高效率推理，是實現大模型應用的關鍵。
以前萬億模型進行一次推理，需要512張A100的卡把記憶體裝進去，而現在藉助預訓練推理工具包BMInf，一卡即可頂四卡，該工具包支援最低配置在英偉達GTX 1060單卡機上執行百億大模型。
當然，除了百億模型，你可以根據自己的實際應用需求，線上呼叫從億級到萬億級規模的模型，其能力覆蓋文字補全、文字生成及對話場景。
BMInf及其支援的模型引數已經開源共享，使用者無需訪問原始碼即可呼叫，也可以把它下載下來，進行本地的部署。
AI文圖繪畫大師CogView2也再度進階，速度和畫面解析度均提升4倍。以前5分鐘畫16張圖，現在 40多秒就能畫出8張，效果比國際領先的DALL·E模型還要更勝一籌。
下圖是針對“海灘上的一群人”這一主題的AI模型繪畫作品。左邊是世界頂尖AI研究機構OpenAI的DALL·E模型所生成繪畫中的優選作品，右邊是CogView隨機生成的繪畫。
可以看到在畫面生成效果上，右側身體輪廓與邊緣清晰流暢，面部表情可見，既有群像又有個人特寫，主題呈現場景也更為豐富、有生活感。
3、最大中文對話模型EVA：讓機器聊出人情味兒
怎樣讓AI更聰明？舉一反三、學習能力是關鍵。
對此，智源研發了一個基於prompt生成方法以及分類器的資料選擇方法，能對非常少量的樣本進行資料增強，並透過微調把原來大模型迅速適應到小的一個領域或者特定的任務中。
例如這一次，智源就釋出了一個雙商線上的機器人，它不僅能幫你答疑解惑，還能基於心理諮詢助人理論，對你關懷體貼，實現深度情緒安撫和支援。
智源最大中文對話模型EVA已經開源上線，除了擁有善解人意的特點外，還能展示大型大模型群聊現場。如下圖所示，語音機器人們互相聊得熱火朝天，PK誰才是高情商聊天小能手。
“悟道模型中有文匯、文源等，不同的模型構建不同的機器人，用不同方式聊天。”唐傑說，未來要實現讓整個模型、讓所有人參與到群聊中，所有人和機器可以自然聊天。
二、問不倒的智慧語音助手，悟道大模型與OPPO共建高階知識問答
悟道大模型會聊天的能力，已經輸入到OPPO小布助手中。
從2018年12月釋出至今，OPPO小布助手已經成長了近3年，截至當前已覆蓋了2.5億臺智慧手機和IoT裝置。今年2月，小布成為國內首個月活躍使用者數破億的手機語音助手。
現在，小布的月活躍使用者數已達1.3億，月互動次數超過20億次。
這麼大的月活量，使用者主要都聊了什麼？
小布助手技術總監楊振宇分享說，知識問答在小布總互動量中的佔比約為15%，其中許多問題涉及領域廣泛，大量問題每月僅出現1次，樣本很少，每月會累計千萬級無法回答的問題。
與龐雜低機率問題相對的，是低效的人工建設。通常建設高質量的語料庫主要藉助人工標註的方式，標註員每天最多能產出不超過千條，每月成本卻高達數百萬。
由於提問率超低、回答難度大的問題，這些長尾問題成為問答領域的無人區，需要企業耗費高昂的成本建設。當語音助手無法回答這些問題，通常要麼拒絕回答，給使用者一個設定好的預設回覆，要麼藉助搜尋引擎給出搜尋列表。
融合了悟道大模型能力的生成式知識問答系統“小布問答”，做到了為大量長尾問題即時生成非常流暢、自然的高質量答案，能顯著提升使用者對話互動體驗。
相對於傳統人工標註，基於悟道合作共建的生成式知識問答系統，平均單條長尾問題問答成本降低99%，抽驗準確率超65%並持續提升中，再加上上游增設的質量控制及融合排序，使用者實際體驗到的準確率會更高。
截至當前，該系統已累計已生成百萬級問答量。
三、如何高質量回答難解問題？解讀悟道的三大技術硬實力
在小布問答體驗提升的背後，悟道生成式大模型功不可沒。
在使用者輸入問題後，生成式知識問答系統會先進行意圖識別，將其分為問答意圖或非問答意圖，問答意圖中會存在大量無法回答的開放域問題。
對此，悟道大模型會生成一些高質量的答案，這些答案形成知識語料庫，再透過語義檢索的方式，向用戶提供服務。
針對現有使用者已提出而市面主流問答介面均無法回答的問題，悟道透過其通用語言模型GLM生成問答。
對於當前知識庫中不存在、使用者未來可能問到的問題，悟道則藉助GLM模型的三大能力，結合知識圖譜，形成持續知識預訓練模型，進而大規模生成問答語料庫：
1）文字生成能力：小布提供的無法回答的問題，是已經呼叫了多方資源仍然沒有得到答案的問題。而悟道大模型的文字生成能力能實現低成本快速構建語料庫，每臺機器每天可生成10萬左右的待稽核答案，並避免回答引用時的版權問題。
2）理解能力：利用大模型對於既有知識的理解、推理能力，配合智源“持續知識預訓練”技術，可以讓模型能夠更加理解常識和百科知識，從而使生成的結果更加符合百科常識。
3）小樣本學習能力：透過少量樣本，對生成結果，進行排序，提升文字表達的準確度。
這種新的技術正規化，能以低成本的方式回答現有問答系統無法回答的問題，目前在OPPO小布助手上得到成功驗證，雙方正在持續迭代升級中。
楊振宇透露，未來小布希望能繼續與智源拓展資料開放、模型共建、應用適配等更多合作方向。
四、大模型時代的應用大幕已然拉開
逐漸打磨成熟的一系列平臺及工具，以及更多示範應用案例的出現，正將大模型的應用價值推到歷史前臺。
在商業落地方面成果豐碩的大模型GPT-3，已經有300多個衍生應用，其相關創業公司也有好幾十個，有些公司還拿到了融資。這些商業應用的覆蓋範疇從日常辦公到補寫程式碼、從寫詩作曲到設計遊戲應有盡有。
唐傑希望在未來，悟道用自己的特色，在落地應用方面跟GPT-3對標。
此次悟道與小布助手的合作成果，釋放出未來智慧終端語音助手進化的積極訊號。經悟道大模型助力的小布，不再是隻擅長回答標準固定答案的機械語音機器人，而像人類一樣更靈活地聊天。
在接受媒體採訪時，唐傑提到大模型在問答方面還有進步空間。比如機器不能保證100%答案正確，也做不到引經據典、內涵豐富的複雜邏輯。“所以把大模型到你的應用中，還要做一些工作，讓它變得生產可用。”OPPO數智工程系統總裁劉海鋒補充說。
智源研究院學術副院長、清華大學教授唐傑與OPPO數智工程系統總裁劉海鋒接受媒體採訪
長遠來看，大模型獨特的技術體系和產業模式，將提供一種更加高效率和低成本的AI開發基礎設施，或為智慧終端體驗的升級帶來新思路。
冬奧手語播報數字人也帶來了更大想象空間，比如未來大模型可以助力智慧製造，每個人都能設計全新的服裝或其他商品，透過智慧製造的車間3D打印出來，讓每個人的物品都變得個性化。
悟道大模型今天應用在終端智慧裝置、新聞手語播報，已經走進人們的日常生活，隨著悟道生態的持續擴張，未來還將在更多產業得到應用。
如今30家企業已經加入智源成立的悟道產業聯盟，更多從發展生態的角度來看待大模型的用途和趨勢，助力未來更大應用場景的發展。悟道還積極推進社群建設，包括大賽、科研基金等。
自悟道釋出起，智源開始籌備悟道AI創新大賽，目前已有200個參賽隊伍參加，大賽將在11月14日進行決賽的現場路演和頒獎。
悟道也設有2500萬的科研基金池，擬支援50個科研基金，吸引全國各科研機構相關博士、老師、學生加入這裡進行科研研究。
此外，智源成立了悟道科技運營公司，希望在公司中實現開放API和實現端到端的解決方案，並且提供模型授權，以此將悟道大模型的能力對外開放，助力AI發展。
唐傑希望，未來悟道能變得更開放，落地到更大的應用場景。
結語：大模型落地正當時，或催生行業創新機會
在許多人眼中，引數規模驚人的大模型，是AI界的“陽春白雪”。如今智源釋出的多項技術創新及應用成果，昭示著國內圍繞AI大模型的產業模式已經啟航，開始透過生態合作將智慧像水電一樣輸送到人們的身邊。
大模型時代的落地浪潮正在加速湧來。當大模型的技術成果逐漸滲入AI研發和產業應用中，則有望帶來破壁效應，催生新的應用場景及產業模式，驅動AI技術與實體經濟的深度融合。新一輪行業創新的機會，也許正孕育於這股浪潮之中。
