sponsored links

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

隨著去年底梅賽德斯·賓士全新一代Drive Pilot系統(首發搭載新一代S級轎車)獲得監管機構L3級(低速)自動駕駛上路許可,前置雙目立體視覺+毫米波雷達+鐳射雷達的配置成為焦點。

按照此前公開的資料,這套感知系統的選裝價格低於9500美元。其中,雙目立體視覺感知(視場角70度)由Veoneer提供,完全整合硬體和感知軟體(CNN+3D立體視覺,對車前物體進行精確分類和定位),支援車道檢測、可行駛區域檢測、小障礙物檢測和三維物體分類。

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

而在前裝市場,去年開始,雙目立體視覺的搭載車型也在增加。比如,吉利旗下星越L、領克07/09以及極狐阿爾法S華為HI版等自主品牌新車也在陸續增加雙目立體視覺配置。

高工智慧汽車研究院監測資料顯示,2021年全年國內新車(自主+合/獨資)標配雙目立體視覺ADAS上險量為22.4萬輛,同比上年增長13.71%。而在供應端,除了日立、Veoneer、大陸、博世等傳統雙目立體視覺方案商,也有不少初創公司進入賽道。

比如,去年奇瑞汽車宣佈與以色列視覺感知供應商Foresight簽署商業合作備忘錄,對後者的QuadSight(四目)視覺原型系統進行技術評估,並尋求進一步量產落地的可能性。雙方還計劃考慮在中國成立合資企業在中國市場推廣解決方案。

而成立於2014年10月的中科慧眼,在國內率先推出可量產車載後裝、準前裝、前裝(適用於L4級自動駕駛以及商用車)雙目立體視覺感知系統。去年,該公司推出的第三代立體視覺感知系統也獲得了多家OEM的前裝定點。

近日,中科慧眼再次實現技術應用創新,基於華為MDC域控制器推出雙目路面預瞄系統,為OEM提供更高性價比,更高整合化的智慧底盤預瞄與控制解決方案。“這也是業內首次在智慧駕駛域控平臺上基於AI-Engine實現產品化的可商用、可落地的雙目立體視覺解決方案。”

一、

什麼是智慧底盤?半主動懸架或主動懸架系統就是其中一個特色配置,透過改變懸掛系統的高度、形狀和阻尼等,起到控制車身振動和車身高度的功能,主要能增進汽車操作穩定性、乘坐舒適性等效能。

近年來,隨著智慧汽車搭載感測器數量以及車載計算能力的增加,智慧底盤成為各大車企新的業務增長點。智慧底盤透過各類觀瞄感知零部件結合線控懸掛底盤,可以實現車體在垂直方向上的自適應控制,顯著提高智慧駕駛車輛的行駛平順性與透過性。

中科慧眼基於雙目立體視覺的路面預瞄系統,可以實現路面狀態3D重建感知、車輪軌跡高程曲線預測,以及路面型別檢測,預先引導車輛的半主動懸架或主動懸架系統實時獨立調節各個車輪減震器阻尼的軟硬係數、車身的整體高低、以及車輛行駛的模式。

基於雙目立體視覺的路面預瞄技術系統是實現“魔毯懸掛系統”的關鍵感知模組與融合決策模組,而未來五年,這種智慧懸掛系統有望成為30萬元以上車型的標配。這背後,還得益於大算力車載域控制器的前裝落地。

目前,大部分車載域控制器的架構中缺少立體視覺硬體處理模組。如何在儘量不增加整車硬體配置的前提下,實現基於雙目的路面預瞄系統,這其中將雙目立體校準與立體匹配演算法部署在域控制器現有的計算模組中成為關鍵點。

一直以來,雙目立體視覺的優勢也非常明顯,透過生成三維影象點雲,為ADAS及自動駕駛感知提高安全和可靠性,並提供出色的目標檢測能力和準確性。

這對於一個攝像頭來說是很困難的,但是兩個攝像頭的立體視覺方案變得更加容易。同時,雙目不依賴模式識別,幾乎任何材料、顏色或形狀都能被探測到。

目前,傳統的單目視覺最大瓶頸在於天氣變化,尤其是雨霧及夜晚環境。而立體視覺是一個全型別環境識別,以目前的主流自適應巡航ACC為例,以雙目為代表的立體視覺技術可以減少光照變化帶來的影響。

同時,雙目立體感知是一個天然融合的感測器,它將深度學習和影象學習進行有效糅合,以應對所有天氣和照明條件,從而解決現有單目感知方案的全場景覆蓋的瓶頸。

隨著國內包括中科慧眼、元橡科技、華為、大疆陸續釋出基於雙目(立體視覺)感知的輔助駕駛/自動駕駛方案,這個一直以來僅有少數幾家外資供應商參與研發量產的技術路線,正在重新成為市場的焦點。

作為國內雙目立體視覺領域的領軍企業之一,中科慧眼公司認為,雙目相機既有影象可以進行深度學習識別,又有點雲可以進行分割與測距,融合了類鐳射雷達和機器視覺的綜合能力。

將立體視覺的深度點雲圖和深度學習融合,也是立體視覺發展的趨勢。比如,夜間同車道、對向車道的目標檢測與測距精度都可以藉助深度學習的能力得到加強。

同時,將立體視覺和深度學習結合,可以為客戶提供價效比更高、效能更強的智慧視覺感測器,構成一個比較完備的邊緣運算模組,直接將識別資料,3D-BOX,以及精確的測距距離資訊等,輸送給域控制器直接進行AEB剎車或者自動駕駛控制。

二、

除了與市面上主流傳統單目攝像頭前向感知“競爭”,雙目立體視覺+智慧底盤則是另一種創新應用。這意味著,雙目立體視覺感知技術可以實現在整車上的複用。

此前,中科慧眼和華為MDC透過聯合開發,共同推進雙目路面預瞄系統在華為MDC上的方案落地,為OEM提供更高性價比,更高整合化的智慧底盤預瞄與控制解決方案。整套系統主要包含三部分,雙目成像模組、立體匹配模組以及功能實現模組。

而一直以來,雙目立體視覺對算力要求較高。域控制器的匯入,意味著,傳統依靠高成本FPGA的算力支援成為過去時。同時,獨立開發ASIC晶片也不再是剛需。

其中,華為MDC域控制中的SoC中主要包含三部分計算資源:ISP模組主要實現攝像頭感測器的成像訊號處理;AI模組實現感知融合的神經網路演算法處理,包含cube、vector、scalar三種計算資源;CPU模組則適合通用計算的感知融合、規劃、決策、控制等處理。

目前,華為MDC搭載昇騰SoC(整合ISP/NPU/CPU等異構計算模組),支援系統級ASIL D功能安全,支援R-Lock高安全冗餘架構。算力覆蓋48~400 TOPS,可滿足L2+~L4級別的自動駕駛算力所需。整機能效比可達2TOPS/W。

同時,華為MDC智慧駕駛計算平臺,具備元件服務化、介面標準化、開發工具化的特性,配套好用易用的工具鏈,基於此平臺可快速開發、調測、執行上層自動駕駛演算法與功能應用。

而中科慧眼的方案,就是儘量複用既有車載相機成像訊號與中央域控制算力,在域控制架構上低成本地實現雙目路面預瞄系統。其中,雙目成像模組主要包含ISP除錯、相機標定、影象Remap,這三個模組決定了雙目相機能夠獲取合格的左右模組成像。

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

將雙目相機的標定引數輸入到AI Core中,只利用了其中少量的Vector計算資源進行影象矯正,複用MDC底層的AI運算元,避免了複雜的運算元部署適配及開發工作。在AI Core中實現影象的矯正,也節省了不同晶片之間的頻寬消耗。

立體匹配模組則主要包含特徵匹配、代價聚合、視差計算三部分,這三部分涉及到大量的平行計算,對硬體效能以及演算法的執行效率有很高的要求。

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

中科慧眼技術團隊透過與華為MDC專家團隊的緊密合作,根據AI-Engine的計算特性,創新性地設計了適配的立體匹配方案,將大量的並行運算透過MDC深度學習底層AI運算元實現,為部署在MDC域控的AI Core上提供了演算法及部署方案。

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

高精度立體匹配稠密視差效果。上圖為柏油路與減速帶的視差效果,以及路面三維重建的效果,視差圖顏色越藍的點,表示實際成像物體離相機系統的物理距離越遠。

經過雙方的聯合研發,在只使用其中少量的Vector計算資源的前提下,就實現了基於華為MDC的25FPS以上的稠密高精度雙目匹配視差輸出。該方案,不僅能夠節省立體視覺方案落地的硬體成本,而且大大降低了立體視覺方案在AI平臺上的移植與升級難度,可快速投入商用。

最後,功能實現模組主要包含融合感知、功能開發兩部分。立體視覺方案可以賦予計算系統前融合“點點對齊”的高精度視差資訊與高質量影象資訊,增加了感知結果的精確性與魯棒性。

中科慧眼藉助於華為MDC強大的開發與編譯調測工具,將視差和影象的多維感知資訊作為輸入,完成路面預瞄感知功能的部署。

雙目立體視覺“複用”,中國企業組合首次“領跑”全球

該融合感知模組不僅能夠輸出高質量的2D以及3D的綜合感知資訊,而且在單AI Core中的耗時還能夠控制在10ms以內,有效降低了整個感知功能的延時,為快速調整底盤引數提供了更寬裕的緩衝時間。

同時,透過華為MDC中的CPU計算能力,將根據綜合的感知資訊進行功能後處理並輸出最終的功能感知資訊。功能感知資訊包含引導前後輪的獨立懸架調整以及調節減震器阻尼係數的路面高程曲線,以及引導懸架高度調整、制動力與動力分配的路面狀態型別等。

在高工智慧汽車研究院看來,域控時代的到來,傳統視覺感知技術也可能會發生新的變革。尤其是軟體技術的迭代加上大算力硬體的效能加持,技術玩法也會越來越多,對於OEM來說,可選項也在增加。

分類: 家居
時間: 2022-02-17

相關文章

小學到高中的教育,是為大學打基礎,推出小中高知識學習

小學到高中的教育,是為大學打基礎,推出小中高知識學習
#分享養兒育女的日常與經驗# #聊一聊孩子學習之數學知識# #聊一聊孩子學習之物理知識# #聊一聊孩子學習之化學知識# 養兒育女的日常與經驗,是家長們有最多共同話題的一個專題,所以我寫下了這個專題,準 ...

84消毒液為什麼要叫“84”?科普知識來了

84消毒液為什麼要叫“84”?科普知識來了
大家肯定都用過84消毒液吧 簡直是居家必備神器 但是你知道84消毒液 為什麼叫做"84"嗎? 為什麼不叫"85"."94"呢? 有人說&qu ...

A類育兒知識學習《父母的語言》
這本書傳輸了一些西方文化入侵的糟粕,有夾帶不少私貨,但還是有分析和學習的意義. 一.這本書說了什麼? 父母和孩子高質量溝通的重要性和方法. 二.這本書可借鑑之處是什麼 ①父母要跟孩子保持一個正常交流的 ...

黃蠟石科普知識

黃蠟石科普知識
黃蠟石又名龍王玉,因石表層內蠟狀質感而得名.是石英岩礦物因為受地質變動影響,與酸性土壤混合,加上酸性土壤附近有地熱或火山等自然條件,長期受酸性土壤和地熱火山溫度的雙重催化,變質形成黃蠟石.所以結構緊密 ...

科普知識:智慧遠端遙控開關距離說明

科普知識:智慧遠端遙控開關距離說明
人們進入了高科技智慧時代,遙控開關在電路中就被廣泛應用和推廣,主要是操作方便.靈活.攜帶方便.實用性更強. 距離說明:智慧遠端遙控開關受安裝現場環境的溫度.溼度.障礙物.電磁場干擾等影響會有所衰減. ...

圖解高血壓的科普知識~值得收藏

圖解高血壓的科普知識~值得收藏
什麼是高血壓? 高血壓的基本症狀有哪些? 兩種高血壓的區別是什麼? 高血壓能治癒嗎? 高血壓的確診有哪些特例? 人的血壓變化有規律嗎? 血壓隨季節變化規律是什麼? 一天中正常血壓變化是什麼樣的? 哪些 ...

應急科普|地質災害科普知識
地質災害是指在地球的發展演化過程中,由各種地質作用形成的災害性地質事件.地質災害在時間和空間上的分佈變化規律,既受制於自然環境,又與人類活動有關,往往是人類與自然界相互作用的結果. 主要型別有:崩塌. ...

“雲學習”風靡 教授成知識網紅不稀奇
如果你經常上網衝浪,應該對"B站大學生"這個名稱不陌生,這是在B站上尋找課程教學影片來自學.備考的群體的自稱.有人為備戰期末,尋找高數線代課程:也有人為了英語考級,尋找四六級影片: ...

南沙|中醫藥知識科普進社群,讓龍穴街居民掌握養生技巧

南沙|中醫藥知識科普進社群,讓龍穴街居民掌握養生技巧
近日,龍穴街文化站聯合街社群衛生服務中心.街社工站,在龍穴社群黨群服務中心開展中醫藥科普知識進社群活動. 活動邀請了龍穴街社群衛生服務中心的利興成醫生進行授課,向居民講解四季養生的注意事項及養生方法, ...

東方時評丨把課堂搬上抖音:知識分享的嘗試與突破

東方時評丨把課堂搬上抖音:知識分享的嘗試與突破
2013年10月,美國<大西洋月刊>發表了一篇題為<中國的線上教育能否蓬勃發展>文章,作者對中國彼時剛剛引起學術機構和商業資本強烈關注的線上教育行業做了一次前瞻性預測.文章認為 ...

將顯微鏡搬進課堂,家長課堂帶同學們開啟科普之旅

將顯微鏡搬進課堂,家長課堂帶同學們開啟科普之旅
齊魯晚報·齊魯壹點記者 王倩 通訊員 魏冉 9月16日下午,濟南高新區東城逸家小學2020級3班的同學們在熱烈的期盼中開啟了一堂趣味盎然的課堂,作為科研工作者的紀姝辰媽媽將顯微鏡搬入了課堂,帶領同學們 ...

在北大學習期間,逆襲成長的5個自學網站,送給正在努力的你

在北大學習期間,逆襲成長的5個自學網站,送給正在努力的你
學霸在北大學習期間,逆襲成長的5個自學網站,送給正在努力的你. 一.譯學館(綜合學習) 譯學館是一個高質量的綜合知識學習網站,比如:科普.英語.科技.計算機.繪畫.職場.勵志演講,影片質量非常高.種類 ...

助力海洋生態保護 治理赤潮跟著專家學習這樣做

助力海洋生態保護 治理赤潮跟著專家學習這樣做
來源:光明網 中國科技工作者在邁向璀璨星河的同時也擁抱著浩瀚的海洋.在他們心中,海洋應該是什麼樣的?我們又應該用怎樣的方式去愛它? 寧靜幽深是海.驚濤駭浪是海.斑斕夢幻是海--但在中國科學院海洋研究所 ...

吐血整理!15個超實用的「學習網站」彙總分享!助力自我提升

吐血整理!15個超實用的「學習網站」彙總分享!助力自我提升
歡迎來到@知科技APP,如果覺得本文有用,可以[關注]我呀. [關注]的好處宣告: 1.乾貨每日更新,主頁有更多幹貨:[軟體/網站/數碼推薦]+[實用數碼科技知識] 2.本文不斷更新,[關注]防止丟失 ...

防震減災體驗 有趣漲知識 新晉網紅打卡地國慶節開展團體活動29場

防震減災體驗 有趣漲知識 新晉網紅打卡地國慶節開展團體活動29場
接待市民遊客1417人次,開展團體體驗活動29場,10月9日,記者從湖北應急安全教育實踐基地瞭解到,在剛剛過去的"十一"黃金週,該基地聯合武漢市應急管理局(武漢市地震局)開展線上防 ...

少兒美術教育:從學習技巧的圈子跳出來

少兒美術教育:從學習技巧的圈子跳出來
作者:於園媛 簡筆畫.油畫.國畫.素描.創意繪畫--暑假期間,許多家長都會帶孩子去學習美術.比起傳授知識技能明顯的學科,美術對於孩子們來說,趣味性更強,功利性更弱.我們常說,學習美術可以讓孩子們的綜合 ...

科普 | 長期吃蜂蜜會致癌、致畸?和蔥一起吃,會中毒?真相,拿來吧你…

科普 | 長期吃蜂蜜會致癌、致畸?和蔥一起吃,會中毒?真相,拿來吧你…
本文專家:趙愛利,福建醫科大學,營養與食品專業博士研究生 王文祥,醫學博士,福建醫科大學副教授,營養與食品專業博士生導師 蜂蜜,是日常生活中很常見的食物,一直是很多人的最愛. 清晨起來,泡上一杯蜂蜜水 ...

素質教育與學科學習不應對立
從孩子上初中起,我便有意識地逐漸減少他校外培訓班的數量,直至完全不上.這並不是因為孩子有多出色,也不是因為我們有超凡的眼光,最直接的原因是,我覺得那樣提前學.超量學,沒有意義.雖然可能會換來出色的成績 ...

新高考初體驗再談選科——4、經濟學知識體系介紹

新高考初體驗再談選科——4、經濟學知識體系介紹
經濟學是一個學科門類,在教育部發布的本科專業目錄裡,經濟學門類又包含4個專業類別:經濟學類.財政學類.金融學類.經濟與貿易類. 這4個專業類別,因為同屬於經濟學門類,它們的知識體系是基本相同的,主要涉 ...

旅遊週刊 | 科普“瓊遊”看海南:太空“熱度”上升,海洋“賣點”十足

旅遊週刊 | 科普“瓊遊”看海南:太空“熱度”上升,海洋“賣點”十足
■ 海南日報記者 趙優 實習生 陳夢馨 9月17日,神舟十二號載人飛船搭載3名航天員,從中國空間站天和核心艙榮耀歸來,穩穩降落在酒泉東風著陸場:19日,"南海鯨靈--館藏鯨類標本展" ...