機器之心釋出
機器之心編輯部
鑑智機器人的下一代純視覺自動駕駛 3D 目標檢測框架 BEVDet，為解決視覺為主自動駕駛解決方案中視覺雷達、4D 感知、實時區域性地圖等關鍵問題提供了更多可能性。
日前，在自動駕駛權威評測集 nuScenes 上，鑑智機器人憑藉提出的純視覺自動駕駛 3D 感知新正規化 BEVDet，以絕對優勢獲得純視覺 3D 目標檢測世界第一的成績。BEVDet 是首個公開的同時兼具高效能、擴充套件性和實用性的 BEV 空間 3D 感知正規化，以 BEVDet 為核心的系列技術將有希望解決視覺為主自動駕駛解決方案中視覺雷達、4D 感知、實時區域性地圖等關鍵問題，未來將應用於鑑智機器人以視覺雷達為核心的高級別自動駕駛等產品和解決方案中，為自動駕駛的大規模量產發揮關鍵的作用。
BEVDet技術報告連結：https://arxiv.org/abs/2112.11790
nuScenes 資料集是自動駕駛領域使用最廣泛的公開資料集之一，也是目前最權威的自動駕駛純視覺 3D 目標檢測評測集。在感測器方面，nuScenes 一共配置了 6 個相機、1 個 LiDAR、5 個 RADAR，值得注意的是，和 KITTI 和 Waymo 等僅提供部分視角的資料集不同，nuScenes 提供了 360 度的相機視野，可以對周圍環境進行全方位的感知。資料方面，nuScenes 提供了包含二維、三維物體標註、點雲分割、高精地圖等豐富的標註資訊，共包含 1000 個場景、140 萬幀影象、39 萬幀鐳射雷達點雲資料、23 個物體類別、140 萬個三維標註框，資料規模和難度遠超自動駕駛資料集 KITTI。此前參與 nuScenes 純視覺 3D 目標檢測評測的廠商包括豐田研究院（TRI）、華為、理想汽車、商湯科技、MIT、清華大學、香港中文大學、CMU、加州大學伯克利分校等國內外知名企業和研究機構。
圖 1：鑑智機器人提出的 BEVDet 在純視覺 3D 目標檢測賽道以絕對優勢位列榜首（包括不加額外資料和加上額外資料兩種評測模式）
高級別自動駕駛需要時刻對周圍的環境進行感知以進行決策規劃，而基於純視覺輸入進行 3D 空間中的目標檢測是其中最具挑戰的任務之一。由 2D 影象感知 3D 空間的目標，是利用低維度的輸入預測高維度資訊，維度缺失使得任務的難度遠大於 2D 目標檢測，需要設計合理的正規化充分利用輸入影象資訊對高維度資訊進行建模推理。目前業界基於純視覺的 3D 感知框架，主要在影象空間進行目標檢測。此類正規化不僅依賴極高的算力資源，另外也無法與語義分割等任務進行並行推理，可擴充套件性較差。
針對該問題，鑑智機器人提出了下一代純視覺自動駕駛 3D 目標檢測框架 BEVDet。BEVDet 遵循模組化設計的理念，包含以下四個分工明確的模組：影象編碼模組用於在二維影象空間提取高緯度的特徵；視角變換模組用於把影象空間的特徵轉換到鳥瞰視角空間（Bird-Eye-View, BEV）的特徵；鳥瞰視角的編碼模組用於在鳥瞰視角下進一步提取特徵；以及一個三維目標預測模組（Head）用於在鳥瞰視角空間對三維目標的定位、尺度、朝向、速度和類別的預測。BEVDet 透過上述的四個模組簡潔的解決純視覺自動駕駛 3D 目標檢測的問題。
圖 2：BEVDet 整體框架
最後的效能也充分證明了該演算法的有效性，在自動駕駛權威資料集 nuScenes 上，BEVDet 在計算量和精度等指標上都具有絕對的優勢。相比於之前的演算法，BEVDet 透過更小的 1/8 輸入解析度，更低的 1/4 的計算量，可以達到相近的精度指標。在使用相似解析度輸入的情況下，BEVDet 擁有明顯的精度優勢。此外，BEVDet 在預測目標的定位、尺度、方向等方面皆表現出超越已有正規化的效能。
圖 3：鑑智機器人提出的 BEVDet 在純視覺 3D 目標檢測公開測試集上同時具備高效能和低算力要求的特點
從自動駕駛技術發展角度看，BEVDet 具有以下的優勢：
- BEVDet 框架具有較強的擴充套件性，鑑智機器人正基於 BEVDet 進行擴充套件，實現視覺雷達、4D 感知、實時區域性地圖等自動駕駛關鍵模組；
- BEVDet 基於相機模型構建 view-transformer ，可有效降低視覺變換模組的學習難度，相位元斯拉所使用的不帶先驗的 attention-based-view-transformer，此方案可大幅度減少模型對資料量需求，使模型在資料量有限情況下的具備更強的泛化效能；
- BEVDet 利用更低的算力達到同樣或者更好的演算法效果，將有助於自動駕駛系統的算力利用效率的提升。
圖 4：鑑智機器人基於 BEVDet 實車視覺 3D 感知效果
當前自動駕駛技術的發展已經進入下半場，一方面需要解決關鍵性問題（成像問題、3D 問題）推動自動駕駛等級的提升，另一方面需要構建更優的正規化充分利用規模化的資料並進行持續升級迭代。
鑑智機器人以 “基於軟硬協同最佳化，構建機器人感測器計算與智慧大腦” 為目標，專注自動駕駛感測器計算與下一代自動駕駛方案的研發。目前已建立起覆蓋演算法、算力、軟體、硬體的 100 餘人的全棧自動駕駛研發團隊，核心成員均來自國內一流 AI 演算法、算力設計和自動駕駛公司。將基於視覺為主的感測器輸入，透過攝像頭 + 演算法 + 算力的感測器計算模式，打造視覺雷達標準產品，並構建以視覺雷達為核心的高級別自動駕駛解決方案。
