在上週的 Connect 2021 會議上，Meta Reality Labs 的首席科學家 Michael Abrash對公司斥資數十億美元推動 XR 和 Metaverse背後的一些研發進行了更多概述。
Michael Abrash 領導 Meta Reality Labs Research 的團隊，該團隊的任務是研究公司認為可能在未來幾十年成為 XR 和元宇宙基礎的技術。在 Connect 2021 上，Abrash 分享了該小組的一些最新作品。
全身編解碼器頭像
Meta 的 Codec Avatar 專案旨在實現一個能夠捕獲和表示用於 XR 的逼真頭像的系統。除了簡單地“掃描”一個人的身體之外，一個主要的挑戰是讓它以現實的方式移動——更不用說讓整個系統能夠實時執行，以便可以在互動式環境中使用虛擬人物。
該公司在各種場合展示了其編解碼器的工作，每次都顯示出改進。最初，該專案只是從高質量的頭像開始，但後來演變為全身虛擬人物。
研究人員 Yaser Sheikh 解釋說，現在支援更復雜的眼球運動、面部表情以及涉及自我接觸的手部和身體。
由於未來可能出現這種逼真的虛擬人物，Abrash 承認考慮個人身份的安全性很重要。為此，他說公司正在“考慮如何保護使用者的頭像，無論是透過將其繫結到經過身份驗證的帳戶，還是透過其他方式驗證身份。”
頭髮和面板渲染
雖然 Meta 的 Codec Avatars 看起來已經非常令人佩服，但研究小組認為該技術的最終目標是實現照片寫實。
上面 Abrash 展示了他所說的研究小組在逼真的頭髮和面板渲染及其照明方面的最新工作。並沒有聲稱這是實時發生的，但這是對團隊在使用 Codec Avatar 技術的道路上的目標的看法。
服裝模擬
除了高質量的身體表現外，Meta 預計服裝將繼續成為人們想要在 Metaverse 中表達自己的重要方式。為此，他們認為讓衣服表現得逼真將是這種體驗的重要組成部分。
高保真實時虛擬空間
雖然 XR 可以輕鬆地將我們帶到其他現實，但將朋友虛擬傳送到實際生活空間也很棒。更極端的是，這意味著對實際空間和其中的一切進行全面的娛樂，並且可以實時執行。
Meta 建造了一個模擬公寓，裡面有一個完美的複製品。這樣做使使用者可以在真實空間中移動並像往常一樣與之互動，同時保持虛擬版本同步。
因此，如果碰巧有虛擬客人過來，他們實際上可以看到使用者在現實世界空間中走動，並以令人難以置信的自然方式與其中的任何事物互動。同樣，在使用 AR 眼鏡時，擁有具有這種保真度的空間地圖可以使 AR 體驗和互動更加引人注目。
情境人工智慧
Meta 還致力於 AI 系統，以使增強現實更有用。
為了幫助系統理解使用者的意圖，Meta 使用其詳細的虛擬公寓娛樂作為底層地圖，幫助眼鏡透過觀察使用者的目光來理解使用者的意圖。
Abrash 說 Meta 的一些最新研發專案的概述只是投資、研究和建設專案的一小部分。為了實現公司對元宇宙的最終願景，他說將需要大約十幾個主要的技術突破，我們還正在研究。
