AI@Unity正在致力於機器人、計算機視覺和機器學習領域的深入研究和產品開發。而Unity為暑期實習生們提供的人工智慧專案則更加具有真正的產品影響力。
Unity計算機視覺團隊開發的感知包能夠幫助使用者使用Unity的實時3D引擎構建合成數據集。合成數據有助於計算機視覺開發人員在基於機器學習的視覺應用中透過消除偏差、產生邊緣案例、增加多樣性和完美標記影象來補充他們的真實資料集。另外Unity的專業團隊還利用他們的專業知識和對合成資料進行研究，幫助使用者自定義他們的資料集。
2021年夏天，Unity機器人團隊的實習生們迎來了他們的首次工作，這為他們在Unity的工作中積攢了寶貴的經驗。在下面的文章中我們將向大家分享他們所開發的專案和所獲得的一些經驗。
合成數據的弱監督例項分割
埃裡克·克勞福德，麥吉爾大學計算機科學博士
例項分割是一項計算機視覺任務，其目標是建立能夠說出輸入影象中哪些畫素屬於不同物件的模型。深度神經網路，如Mask R-CNN [1]，是當前最先進的例項分割技術；然而，這些網路對資料的渴求令人難以置信，需要成千上萬個標記的示例才能在現實世界的域中實現高效能例項分割。對於每個訓練影象中的每個物件，神經網路使用兩種標籤：邊界框（即指定物件位置的2D框）和分割遮罩（即指定哪些畫素屬於物件的影象大小的二進位制遮罩）。這些標籤通常由人工進行註釋，對他們來說，分割遮罩比邊界框需要更多的時間和精力。在這個專案中，Unity研究了是否有可能用相對較少的難以獲得的分割掩碼來訓練深度例項分割網路，以及當分割掩碼稀缺甚至不存在時，合成數據是否有助於提高效能。
作為第一步，我們正在試圖回答以下問題：在真實資料（例如，COCO資料集）上，假設使用者有許多邊界框標籤，那麼這些標籤中有多少部分需要伴有分割掩碼標籤才能實現高分割效能？最終我們發現，只有1%的資料用分段掩碼標記（即完全標記），可以達到以下情況下達到的效能的近90%全部資料已完全標記（見圖）。
這個結果是令人興奮的，因為它可以顯著減少例如分割的標記負擔。它也為未來的工作開闢了令人興奮的途徑。例如，我們能否使用合成數據來縮小1%完全標記和100%完全標記之間的剩餘效能差距？我們可以用合成數據完全取代地面真實分割掩模嗎？隨著真實邊界框數量的減少，使用合成數據的可行性將如何變化？在合成例項分割資料上訓練的初步結果是有希望的。
資料集視覺化工具
麥吉爾大學計算機科學系利奧波德·祖加蒂（Leopoldo Zugasti）
資料集視覺化工具python工具允許使用者探索和視覺化利用Unity感知格式的計算機視覺資料集，例如，使用Unity感知包。這些資料集包含合成環境和物件的影象以及地面真實註釋，包括：2D和3D邊界框、語義和例項分割以及關鍵點。這些資料集用於訓練計算機視覺人工智慧模型，以完成目標檢測或分類等任務。
資料集視覺化工具使使用者能夠輕鬆高效地瀏覽這些資料集，並檢查影象及其基礎事實註釋，視覺化為多個可選的覆蓋圖。該工具可以在各種用例中幫助使用者：
使用感知包建立用於資料集生成的統一3D環境本質上是迭代的，涉及對程式碼和場景的多輪修改，同時檢查生成的資料集，以便微調並獲得最佳結果。資料集視覺化工具允許只需點選幾下滑鼠即可檢視最新生成的資料集，從而大大加快了使用者的迭代過程。
除了資料集生成工具，Unity還為客戶提供符合其計算機視覺培訓需求的定製資料集。這些客戶可以使用資料集視覺化工具輕鬆探索和驗證我們提供的資料集，與嘗試使用沒有註釋視覺化功能的通用照片檢視器相比，極大地改善了體驗。
在建立這個工具的過程中，我有機會了解了計算機科學的許多主題，如人工智慧、計算機網路、計算機圖形學和網路開發。透過使用Unity提供的資源，我解決了幾個意想不到且具有挑戰性的問題，例如用不同的相機投影型別渲染3D盒子、自動解決埠衝突、建立與各種作業系統相容的應用程式等等。
資料集預覽功能
傑米·溫（Jamie Won），皇后大學計算機工程專業
AI@Unity透過提供建立大型合成數據集。我們已經發布了幾個示例資料集，但之前使用者需要下載並提取影象才能檢視它們。這些資料集並不小，因此在客戶檢查資料集中的影象之前，會根據他們的頻寬引入延遲。自定義資料集還要求使用者在檢視之前下載，這可能會降低資料的迭代速度。
資料集預覽功能透過允許使用者在下載前檢查資料集樣本來改善使用者體驗。如果資料集需要調整以滿足使用者需求，使用者可以生成一個新的資料集，在下載前再次預覽。在該功能中，使用者可以修改每頁顯示的影象的大小和數量，以及放大每個影象。為了幫助使用者檢查影象，使用者可以在縮放的影象上啟用邊界框，並根據需要更改框的顏色。
這個專案最有意思的部分是它是面向使用者的。事實上，除了作為幾乎所有使用者都保證會使用的工具之外，它還被專案上的其他開發人員用來預覽他們的工作！在學習和遵守組織的程式碼提交準則的同時，將一個特性整合到現有產品中是一項挑戰，但最終，整個體驗是一次令人滿意的學習之旅。
探索深度影象的模擬間隙
滑鐵盧大學計算機科學專業的布萊克·萬貝羅
找到足夠大的、標記充分的資料集是機器學習專業人員面臨的一個主要挑戰。資料集的標籤可能很耗費資源，可能包含不必要的偏見，或者不能代表真實世界。Unity透過利用渲染管道來產生合成標記資料集用於計算機視覺任務。我的實習重點是開發和研究合成深度影象，以替代從真實感測器收集的深度訓練資料。用合成深度影象訓練的機器學習模型在用真實資料測試時能表現良好嗎？彌合差距需要什麼程度的現實主義？
深度圖是單通道影象，其中每個畫素對應於從相機到構成畫素的物件在相機的前向軸方向上的距離。我開發了一個貼標機，可以生成與Unity場景中相機檢視相對應的深度圖。為了評估深度影象的效用，我們正在建立合成數據集來訓練用於單目標6D姿態估計的模型。我們正在研究兩個最先進的模型和一個新穎的設計架構。資料集中的每個示例都包括彩色影象、深度影象、物件遮罩和由地面真實旋轉和平移組成的物件姿勢標籤。然後，我們在真實世界影象的合成數據上測試了模型LineMOD的資料集。為了探索真實感的影響，我們還使用經過噪聲模型修改的合成深度影象進行了實驗。但關於此次實驗的結果我們目前還沒有得出最終結論。
如果合成深度訓練集產生的令人滿意的真實世界效能，使用者可以將Unity的合成數據管道應用於更多種類的計算機視覺專案中。高質量的深度影象收集起來既耗費資源又繁瑣，這使得合成數據成為一種有吸引力的專案。
裝備自動化和尺寸調整
凱西·胡恩（Kathy Huynh），蒙特利爾ISART數字公司3D藝術專案組
計算機視覺訓練需要大量的標記影象才能成功，但標記真實世界資料的過程既漫長又繁瑣。為了解決這個問題，我們建立了自定義合成數據集，該資料集由Unity感知包支援。有了這項技術，我們可以創造一個充滿各種物體和人物的各種各樣的環境。透過隨機化指令碼，我們可以隨機化物體的引數，例如物件的位置、旋轉、動畫、紋理和光照等。由於實時渲染逼真的3D場景，影象（幀）幾乎是即時生成的。隨著該專案解決了裝置自動化和尺寸調整等問題，額外的功能也被不斷新增到感知包中。該專案的目標是透過使用混合形狀隨機化控制器指令碼和目前正在開發的其他操縱和蒙皮工具，隨機化數字人類的混合形狀並自動調整他們的引數。我們與客戶密切合作，在四周內建立了他們需要的合成數據集。我們修改了現有的隨機化控制器，並設定了內部和外部場景環境，包括人物和照明的隨機化，以滿足客戶的需求。在對這項工作進行優先排序後，我能夠將重點放在人物操縱和蒙皮自動化工具上。我希望在實習結束時完成一個骨骼放置工具，與一個面板自動化工具一起工作。
我在這兩個專案上的經歷都非常有益，因為我能夠了解更多關於合成數據的知識，並在經理、導師和同事的支援下，在快節奏的環境中處理具有挑戰性的問題。在客戶專案中的工作最初是非常令人畏懼的，但結果證明它為我帶來的卻是無價的經驗。反覆檢視他們的反饋很有啟發性，因為機器學習與遊戲開發有著不同的需求，在遊戲開發中我有更多的經驗。此外，我獲得了更多關於高畫質渲染管道和著色器圖形的知識，包括照明、後處理和建立隨機紋理外觀的著色器圖形。我很快熟悉了Unity感知包，更具體地說，熟悉了隨機化控制器的邏輯，這樣我就可以根據需要修改它們。然後我用這些新發現的知識從頭到尾重新編寫了混合形狀隨機化控制器，它將網格作為新的混合形狀新增到目標網格中，並隨機化它們的權重。這教會了我更多關於混合形狀以及Unity和感知的特定應用程式設計介面的知識。此外，我進一步深入研究了Houdini Python指令碼，因為我致力於將頂點資料從Houdini中的網格匯出到. json檔案。這個檔案將被交給Unity中的骨骼放置工具，該工具將獲取頂點資料來計算預期的骨骼位置，並將它們生成到一個目標網格上，該網格的頂點標識與我們之前從其收集資料的網格的頂點標識相同。這個工具是我目前正在開發的，正如前面提到的，將在實習結束時完成。然後，生成的骨骼將用於使用蒙皮自動化工具對網格進行蒙皮，該工具目前由我的同事開發。總的來說，我獲得了大量的技術知識，對此我非常感激，我期待著學習更多的知識來幫助Unity及其客戶在合成數據生成方面取得成功！
三維捕捉模擬的編碼最佳化
皮瑞亞卡（Priyanka），MSc，西蒙·弗雷澤大學科學（視覺計算）系
實時3D正在改變當今世界，為了創造最逼真的內容以獲得沉浸式的3D體驗，3D和體積捕捉是製作逼真複製品的基礎。Unity Simulation平臺正在透過體積和3D捕捉模擬技術為這個不斷增長的市場鋪平道路。由於3D捕捉仍然是相對較新的技術，因此需要大規模模擬來改進3D捕捉演算法並建立最佳捕捉場景。對相機佈局、場景、演員和燈光的詳盡測試對於捕捉真實的模擬內容是必要的，但可能會非常耗費資源。該專案提供了一個最佳解決方案，並降低了希望在推進專案時就3D捕捉和體積影片模擬做出明智決策的客戶進入的門檻。
這款3D和體積捕捉模擬器可幫助客戶更好地瞭解其用例從端到端的整個過程，並在過程結束時視覺化最終的3D內容。它是專門為減少和解決客戶面臨的問題而設計的，例如為體積捕捉場景找到最佳的攝像機佈局，或者模擬對無限多種物件的捕捉。該模擬器使客戶能夠模擬多種設定並評估硬體部署，以便他們能夠為大規模的硬體密集型技術（如3D和體積捕捉）做出明智的決策。可配置模擬器不僅提供了對過程的詳細見解，還提供了執行多個隨機實驗的機會，以在不同的環境中生成源3D資料，這是最佳化、高質量3D內容生成的關鍵要求。
雖然我過去曾使用Unity構建遊戲，但第一次使用3D內容捕捉和模擬令我感到難以置信且收穫頗豐。在這次實習過程中，我很快學會了如何將3D內容整合到具有模擬器特定要求的引擎中，例如為更多樣化的資料提供不同的場景選項、儲存元資料和模擬感測器資料集，以及提供可修改的配置，使客戶能夠在各種情況下提高其3D捕捉解決方案的質量。隨著全球體積影片市場的持續增長，我將很高興看到Unity如何使用這一工具來幫助客戶成功滿足其3D捕捉需求！
