隨著去年底梅賽德斯·賓士全新一代Drive Pilot系統(首發搭載新一代S級轎車)獲得監管機構L3級(低速)自動駕駛上路許可,前置雙目立體視覺+毫米波雷達+鐳射雷達的配置成為焦點。
按照此前公開的資料,這套感知系統的選裝價格低於9500美元。其中,雙目立體視覺感知(視場角70度)由Veoneer提供,完全整合硬體和感知軟體(CNN+3D立體視覺,對車前物體進行精確分類和定位),支援車道檢測、可行駛區域檢測、小障礙物檢測和三維物體分類。
而在前裝市場,去年開始,雙目立體視覺的搭載車型也在增加。比如,吉利旗下星越L、領克07/09以及極狐阿爾法S華為HI版等自主品牌新車也在陸續增加雙目立體視覺配置。
高工智慧汽車研究院監測資料顯示,2021年全年國內新車(自主+合/獨資)標配雙目立體視覺ADAS上險量為22.4萬輛,同比上年增長13.71%。而在供應端,除了日立、Veoneer、大陸、博世等傳統雙目立體視覺方案商,也有不少初創公司進入賽道。
比如,去年奇瑞汽車宣佈與以色列視覺感知供應商Foresight簽署商業合作備忘錄,對後者的QuadSight(四目)視覺原型系統進行技術評估,並尋求進一步量產落地的可能性。雙方還計劃考慮在中國成立合資企業在中國市場推廣解決方案。
而成立於2014年10月的中科慧眼,在國內率先推出可量產車載後裝、準前裝、前裝(適用於L4級自動駕駛以及商用車)雙目立體視覺感知系統。去年,該公司推出的第三代立體視覺感知系統也獲得了多家OEM的前裝定點。
近日,中科慧眼再次實現技術應用創新,基於華為MDC域控制器推出雙目路面預瞄系統,為OEM提供更高性價比,更高整合化的智慧底盤預瞄與控制解決方案。“這也是業內首次在智慧駕駛域控平臺上基於AI-Engine實現產品化的可商用、可落地的雙目立體視覺解決方案。”
一、
什麼是智慧底盤?半主動懸架或主動懸架系統就是其中一個特色配置,透過改變懸掛系統的高度、形狀和阻尼等,起到控制車身振動和車身高度的功能,主要能增進汽車操作穩定性、乘坐舒適性等效能。
近年來,隨著智慧汽車搭載感測器數量以及車載計算能力的增加,智慧底盤成為各大車企新的業務增長點。智慧底盤透過各類觀瞄感知零部件結合線控懸掛底盤,可以實現車體在垂直方向上的自適應控制,顯著提高智慧駕駛車輛的行駛平順性與透過性。
中科慧眼基於雙目立體視覺的路面預瞄系統,可以實現路面狀態3D重建感知、車輪軌跡高程曲線預測,以及路面型別檢測,預先引導車輛的半主動懸架或主動懸架系統實時獨立調節各個車輪減震器阻尼的軟硬係數、車身的整體高低、以及車輛行駛的模式。
基於雙目立體視覺的路面預瞄技術系統是實現“魔毯懸掛系統”的關鍵感知模組與融合決策模組,而未來五年,這種智慧懸掛系統有望成為30萬元以上車型的標配。這背後,還得益於大算力車載域控制器的前裝落地。
目前,大部分車載域控制器的架構中缺少立體視覺硬體處理模組。如何在儘量不增加整車硬體配置的前提下,實現基於雙目的路面預瞄系統,這其中將雙目立體校準與立體匹配演算法部署在域控制器現有的計算模組中成為關鍵點。
一直以來,雙目立體視覺的優勢也非常明顯,透過生成三維影象點雲,為ADAS及自動駕駛感知提高安全和可靠性,並提供出色的目標檢測能力和準確性。
這對於一個攝像頭來說是很困難的,但是兩個攝像頭的立體視覺方案變得更加容易。同時,雙目不依賴模式識別,幾乎任何材料、顏色或形狀都能被探測到。
目前,傳統的單目視覺最大瓶頸在於天氣變化,尤其是雨霧及夜晚環境。而立體視覺是一個全型別環境識別,以目前的主流自適應巡航ACC為例,以雙目為代表的立體視覺技術可以減少光照變化帶來的影響。
同時,雙目立體感知是一個天然融合的感測器,它將深度學習和影象學習進行有效糅合,以應對所有天氣和照明條件,從而解決現有單目感知方案的全場景覆蓋的瓶頸。
隨著國內包括中科慧眼、元橡科技、華為、大疆陸續釋出基於雙目(立體視覺)感知的輔助駕駛/自動駕駛方案,這個一直以來僅有少數幾家外資供應商參與研發量產的技術路線,正在重新成為市場的焦點。
作為國內雙目立體視覺領域的領軍企業之一,中科慧眼公司認為,雙目相機既有影象可以進行深度學習識別,又有點雲可以進行分割與測距,融合了類鐳射雷達和機器視覺的綜合能力。
將立體視覺的深度點雲圖和深度學習融合,也是立體視覺發展的趨勢。比如,夜間同車道、對向車道的目標檢測與測距精度都可以藉助深度學習的能力得到加強。
同時,將立體視覺和深度學習結合,可以為客戶提供價效比更高、效能更強的智慧視覺感測器,構成一個比較完備的邊緣運算模組,直接將識別資料,3D-BOX,以及精確的測距距離資訊等,輸送給域控制器直接進行AEB剎車或者自動駕駛控制。
二、
除了與市面上主流傳統單目攝像頭前向感知“競爭”,雙目立體視覺+智慧底盤則是另一種創新應用。這意味著,雙目立體視覺感知技術可以實現在整車上的複用。
此前,中科慧眼和華為MDC透過聯合開發,共同推進雙目路面預瞄系統在華為MDC上的方案落地,為OEM提供更高性價比,更高整合化的智慧底盤預瞄與控制解決方案。整套系統主要包含三部分,雙目成像模組、立體匹配模組以及功能實現模組。
而一直以來,雙目立體視覺對算力要求較高。域控制器的匯入,意味著,傳統依靠高成本FPGA的算力支援成為過去時。同時,獨立開發ASIC晶片也不再是剛需。
其中,華為MDC域控制中的SoC中主要包含三部分計算資源:ISP模組主要實現攝像頭感測器的成像訊號處理;AI模組實現感知融合的神經網路演算法處理,包含cube、vector、scalar三種計算資源;CPU模組則適合通用計算的感知融合、規劃、決策、控制等處理。
目前,華為MDC搭載昇騰SoC(整合ISP/NPU/CPU等異構計算模組),支援系統級ASIL D功能安全,支援R-Lock高安全冗餘架構。算力覆蓋48~400 TOPS,可滿足L2+~L4級別的自動駕駛算力所需。整機能效比可達2TOPS/W。
同時,華為MDC智慧駕駛計算平臺,具備元件服務化、介面標準化、開發工具化的特性,配套好用易用的工具鏈,基於此平臺可快速開發、調測、執行上層自動駕駛演算法與功能應用。
而中科慧眼的方案,就是儘量複用既有車載相機成像訊號與中央域控制算力,在域控制架構上低成本地實現雙目路面預瞄系統。其中,雙目成像模組主要包含ISP除錯、相機標定、影象Remap,這三個模組決定了雙目相機能夠獲取合格的左右模組成像。
將雙目相機的標定引數輸入到AI Core中,只利用了其中少量的Vector計算資源進行影象矯正,複用MDC底層的AI運算元,避免了複雜的運算元部署適配及開發工作。在AI Core中實現影象的矯正,也節省了不同晶片之間的頻寬消耗。
立體匹配模組則主要包含特徵匹配、代價聚合、視差計算三部分,這三部分涉及到大量的平行計算,對硬體效能以及演算法的執行效率有很高的要求。
中科慧眼技術團隊透過與華為MDC專家團隊的緊密合作,根據AI-Engine的計算特性,創新性地設計了適配的立體匹配方案,將大量的並行運算透過MDC深度學習底層AI運算元實現,為部署在MDC域控的AI Core上提供了演算法及部署方案。
高精度立體匹配稠密視差效果。上圖為柏油路與減速帶的視差效果,以及路面三維重建的效果,視差圖顏色越藍的點,表示實際成像物體離相機系統的物理距離越遠。
經過雙方的聯合研發,在只使用其中少量的Vector計算資源的前提下,就實現了基於華為MDC的25FPS以上的稠密高精度雙目匹配視差輸出。該方案,不僅能夠節省立體視覺方案落地的硬體成本,而且大大降低了立體視覺方案在AI平臺上的移植與升級難度,可快速投入商用。
最後,功能實現模組主要包含融合感知、功能開發兩部分。立體視覺方案可以賦予計算系統前融合“點點對齊”的高精度視差資訊與高質量影象資訊,增加了感知結果的精確性與魯棒性。
中科慧眼藉助於華為MDC強大的開發與編譯調測工具,將視差和影象的多維感知資訊作為輸入,完成路面預瞄感知功能的部署。
該融合感知模組不僅能夠輸出高質量的2D以及3D的綜合感知資訊,而且在單AI Core中的耗時還能夠控制在10ms以內,有效降低了整個感知功能的延時,為快速調整底盤引數提供了更寬裕的緩衝時間。
同時,透過華為MDC中的CPU計算能力,將根據綜合的感知資訊進行功能後處理並輸出最終的功能感知資訊。功能感知資訊包含引導前後輪的獨立懸架調整以及調節減震器阻尼係數的路面高程曲線,以及引導懸架高度調整、制動力與動力分配的路面狀態型別等。
在高工智慧汽車研究院看來,域控時代的到來,傳統視覺感知技術也可能會發生新的變革。尤其是軟體技術的迭代加上大算力硬體的效能加持,技術玩法也會越來越多,對於OEM來說,可選項也在增加。