智慧駕駛環境感知 | 邵曉航：語素關聯約束的動態環境視覺定位最佳化

本文內容來源於《測繪學報》2021年第11期（審圖號GS（2021）7714號）

語素關聯約束的動態環境視覺定位最佳化

邵曉航

, 吳杭彬,劉春

, 陳晨,蔡天池,程帆瑾

同濟大學測繪與地理資訊學院, 上海 200092

基金專案：“十三五”重點研發計劃（2018YFB1305003）；國家自然科學基金（41771481）；中央高校基本科研學科交叉重點專案（22120190195）

摘要：在自動駕駛場景中，視覺相機能夠實現低成本的定位與環境感知，但是場景中的動態目標會影響視覺定位的軌跡。對此，本文提出了語素關聯約束的動態環境視覺定位最佳化方法。首先，利用目標檢測和語義分割提取環境中的語義實體；然後，透過語素關聯模型識別出動態語素；最後，建立動態語素的特徵掩膜，用於特徵匹配過程中的動態目標特徵點過濾，從而提高視覺定位效果。本文基於視覺機器人平臺在校園道路開展了試驗，發現了動態目標透過關鍵點影響視覺定位結果的規律——在轉彎時或者目標在視野中橫向移動時影響較大。試驗結果表明，本文方法的動態語義要素識別的平均精度F₁約為87%，並且在語素關聯最佳化前後，區域性區域最大軌跡距離差為2.463 m，與真值對比RMSE降低了38%。

關鍵詞：視覺定位同時定位與地圖構建動態場景語義關聯語義分割

引文格式：邵曉航, 吳杭彬, 劉春, 等. 語素關聯約束的動態環境視覺定位最佳化[J]. 測繪學報，2021，50(11)：1478-1486. DOI: 10.11947/j.AGCS.2021.20210308

SHAO Xiaohang, WU Hangbin, LIU Chun, et al. Visual odometry optimizing bounded with semantic elements association in dynamic scenes[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(11): 1478-1486. DOI: 10.11947/j.AGCS.2021.20210308

閱讀全文：http://xb.sinomaps.com/article/2021/1001-1595/2021-11-1478.htm

引言

高精度定位是自動駕駛的核心技術^[1]。傳統的GNSS(Global Navigation Satellite System)定位技術易受樹木、建築和隧道等障礙物遮蔽的影響。這時，同時定位與地圖構建(simultaneous location and mapping，SLAM)成為自動駕駛技術的定位方案之一。視覺SLAM不僅成本低、易維護，還可以獲得豐富的色彩、紋理資訊，逐漸成為該領域的重要補充^[2-3]。

PTAM^[4]是其中第1個採用並行方式實現跟蹤和建圖的SLAM方案，它透過非線性的BA(bundle adjustment)最佳化，能夠實時獲得影象關鍵幀的軌跡和姿態。ORB-SLAM^[5-7]在此基礎上新增了迴環檢測執行緒，並利用改進的影象特徵，實現了基於單、雙目相機和RGB-D相機的定位和跟蹤，它也是當前基於特徵點法中最成熟的開源視覺SLAM方案。除此之外還有基於畫素灰度變化的直接法^[8]和半直接法^[9]等方案。

這些方法在定位過程中普遍存在“靜態世界”的假設，即假設畫素或特徵點的空間位置是不變的，而造成影象灰度和視角變化的唯一原因是相機的位姿變化。然而自動駕駛場景是動態的，行人、汽車等移動物體會影響視覺特徵關聯的準確性。雖然這種影響可以透過RANSAC^[10]或者核函式^[11]過濾，但這是一種被動機制，並沒有從根本上改變這一假設。因此，如何在動態場景中尋找更穩健的特徵是視覺定位技術應用於自動駕駛的關鍵之一。

解決上述問題有兩種思路^[12]。一種是把動態目標的運動囊括進SLAM的估計過程，例如採用粒子濾波方法克服錯誤估計的影響^[13]，但是粒子的數量選擇和維持實時計算較困難。另一種更普遍，是讓SLAM方法結合深度學習技術^[14-15]，分割影象中的動態區域，從而把它轉換為靜態環境的SLAM問題。例如，DS-SLAM^[16]演算法使用SegNet^[17]識別環境中的物體，並將人體去除；DynaSLAM^[18]演算法採用Mask-RCNN^[19]檢測動態物體，過濾目標的同時補全被遮擋部分；MaskFusion^[20]實現了一種例項級別的語義分割，以更加完全地過濾動態特徵。DetectionFusion(arXiv: 1707.09127, 2019.)在例項分割的基礎上識別了未知運動目標，從而實現更為完整的動態過濾。還有學者結合道路結構化特徵，設計了帶有改進金字塔池化模組的語義分割神經網路^[21]。這些方法透過設計精巧的神經網路完成動態環境中的目標識別，但它們依賴於動態目標的分類規則，忽略了物體可能有“動態”和“靜態”雙重屬性的事實。例如行駛的汽車是動態的，但是停靠的汽車是靜態的；並且靜態的物體仍能為視覺SLAM過程提供豐富的特徵。因此有學者提出Detect-SLAM的方法^[22]，考慮了物體上特徵點的運動特性，在識別出語義目標的基礎上為其分配運動機率，每一幀位姿在估計時都更新機率值並去除高於閾值的運動點，但這方面研究較少。

綜上所述，目前視覺定位SLAM技術存在受動態目標影響大，且在複雜環境中不易準確分辨動態目標。為此，筆者提出了基於語素關聯的方法，並且基於經典的ORB-SLAM方法建立了動態環境中的視覺定位最佳化流程。

1 語素關聯約束的定位最佳化方法

傳統視覺定位的原理是：透過幀間匹配計算相同關鍵點之間的畫素差異，從而估計產生這種差異的位置和姿態(簡稱位姿)變化，同時輔以閉環最佳化以減少誤差，其流程如圖 1(a)所示。然而提取的特徵點可能位於動態目標上，但基於“靜態世界”假設，這些特徵點不利於位姿估計，具體說明如圖 2所示。因此，本文提出的視覺定位最佳化方法在傳統流程基礎上，透過語義關聯識別環境中的動態語義要素(簡稱動態語素)，並且形成特徵掩膜用於“特徵匹配”過程，從而幫助過濾動態特徵點以獲得“穩定的特徵”，進而最佳化後續位姿估計，如圖 1(b)所示。

圖 1 基於語義要素關聯最佳化的動態環境定位流程 Fig. 1 Flowcharts of location optimization in dynamic scenes by semantic association

圖選項

1.1 動態環境的影響

一般SLAM演算法認為環境中的地標點(影象中關鍵點所對應的物體)是固定的，空間中同一個地標在前後兩幀影象中的畫素差異，僅源於相機的位置和姿態改變。因此，當相機內參已知時，它的位姿和地標點之間存在如式(1)的關係

(1)

式中，K是用畫素座標表達的關鍵點；M是相機的內參數；ξ為相機的位姿，是一個與位置P和旋轉R有關的矩陣；Γ(·)是一個抽象函式，具體的表達可參考文獻[23-24]。

動態目標上的關鍵點會影響視覺定位結果，圖 2以二維空間中的方向觀測為例介紹了該過程。在t-1時刻，相機透過觀測s和kt-1兩種關鍵點確定了初始位置pt-1。t時刻相機和關鍵點k均發了移動，但是傳統演算法認為關鍵點位置仍然位於kt-1，即產生了平行於真實觀測(p_t, k_t)的估計觀測(p′t,kt-1)，它與來自對靜態關鍵點s的觀測(p_t,s)相交於估計位置p′_t。同理，t+1時刻的估計位置為p′t+1，由此得到的估計軌跡與真實軌跡存在偏差。針對這一現象，現有的視覺定位方法普遍將可能運動的目標全部剔除掉，但這種處理忽略了目標具有“動”“靜”雙重屬性的事實—汽車可能是運動的也可能是靜止的，靜止的汽車反而能夠為視覺定位提供特徵參考；對此不加考慮可能會剔除具有高響應值的特徵點，反而削弱定位效果。因此準確識別環境中的動態語素並消除其影響，這對於視覺定位演算法尤其重要。

圖 2 場景的動態物體對於視覺定位的影響 Fig. 2 Negative effects of moving objects in dynamic scenes

圖選項

1.2 語義實體識別

獲得動態語素的第1步是識別出視覺影象中的語義實體。假設環境中的語義實體G由位置L、大小S和類別M表達，即G={L,S,M}，根據相機的投影模型，影象中的畫素點(x,y)和g∈G存在如下的對映關係

(2)

語義實體識別就是確定對映f(·)的過程。本文利用了以YOLO(arXiv: 2004.10934, 2020)為代表的目標識別演算法和以SegNet^[17]為代表的語義分割演算法。在YOLO演算法中，M為識別出的目標類別，L和S分別是目標最小外包矩形(bounding box)的邊界和大小。在語義分割方法中，M為分割出的目標類別，L和S分別是影象中的屬於指定類別的畫素座標和數量。

1.3 語義要素抽象和關聯

語義要素約束是透過語素抽象和關聯實現的，其形式是動態特徵掩膜。本文中，語素抽象就是提取語義實體識別出的元素，例如圖 1(b)中列出的人、道路、汽車、腳踏車等元素。語素關聯就是透過建立不同元素之間的關係，判斷關聯後的語義是動態或靜態。例如“汽車”和“道路”關聯的結果是“行駛的車”這種動態語素，而“汽車”和“車位”關聯的結果是“停放的車”這種靜態語素。語素關聯能體現“汽車”具有“動”“靜”雙重屬性的事實。

在視覺影象中，關聯性透過畫素區域的位置關係和麵積大小計算得到。設有兩個語義實體g₁,g₂∈G，它們在影象中的關係可以按照式(3)計算

(3)

式中，h(·)表示計算實體在影象上的畫素區域和麵積；∩表示計算重疊畫素區域的面積；∪表示計算合併後像素區域的面積；L表示畫素位置；S表示畫素大小；r₁、r₂為兩種指標計算方法；r₁是相交區域面積比其中一種實體區域面積的指標，它側重體現動態部分與其中一種語義實體的關係；r₂是相交區域面積比兩種實體合併後區域面積的指標，它側重體現動態部分與兩種實體之間的關係。當關聯的兩者僅有一個具有動態性時，例如“人和道路”中“人”具有動態性，更加適用於r₁指標，此時g₁代表“人”；而當關聯的兩者都具有動態性的時，例如“人和腳踏車”，更加適用於r₂指標。

2 試驗與分析

2.1 試驗環境和資料採集

為了驗證提出的方法，本文基於自主研發的移動視覺機器人平臺在校園道路場景開展了試驗。該平臺為小型輪式移動機器人(圖 3(a))，搭載了雙目RGB相機，相片解析度為640×400畫素，取樣頻率30 Hz。

圖 3 試驗資料採集平臺和過程 Fig. 3 Equipment and data collection

圖選項

如圖 3(b)所示，試驗行駛路線全程約2.4 km，途經食堂、教學樓和校門，全程48 min，共得到約8萬對影象；其中，除校門前的路段為機動車道路外，其他路段均為非機動車道路。如圖 3(c)所示，SOI-1至SOI-6是典型動態場景的影象興趣序列(sequence of interest)。由於“汽車”“腳踏車”“行人”是該環境中影響視覺定位的主要語義實體，因此本文利用YOLO目標識別方法識別這3種目標，利用SegNet語義分割方法分割與之相關的“道路”“停車位”。

表 1以6個興趣序列為例，不分例項地統計了每段中各個實體出現的總頻次。從表 1中可以看出，SOI-1和SOI-2所對應的食堂、教學樓附近人、腳踏車較密集，機動車道路段中的SOI-4序列中有汽車駛過。環境中的停車區讓汽車或腳踏車具備了“動”“靜”雙重屬性，這給動態要素的準確識別帶來困難。

表 1 區域性場景影象興趣序列資訊 Tab. 1 Information on sub-sequences from SOI-1 to SOI-6

序列	時長/s	人數/人	腳踏車數/輛	汽車數/輛
SOI-1	4.6	342	102	0
SOI-2	6.9	710	42	0
SOI-3	19.9	1052	29	1
SOI-4	4.0	4	0	513
SOI-5	14.6	847	0	0
SOI-6	12.2	473	52	0

表選項

2.2 語素關聯和定位約束

根據場景的語義特點，參考圖 1(b)擬提取3種動態語素，其含義見表 2。同時為了確定動態語素關聯的閾值，從興趣序列中選擇樣本，根據式(3)計算了3種動態語素的r指標的分佈，並把它們從大到小排序，結果如圖 4所示。其中，根據指標特性在動態語素1和動態語素3上統計r₁指標，而動態語素2上統計r₂指標。需要說明的是，由於環境中車輛少、機動車路段集中，動態語素3的樣本不夠，因此相似場景下計算得到的r值較為接近。

表 2 語素關聯過程和閾值 Tab. 2 Semantic elements association and threshold of rvalue

名稱	關聯物件	關聯含義	r閾值
動態語素1	人/道路	行人目標	r₁∈[0.155 3, 1)
動態語素2	人/腳踏車	騎行目標	r₂∈[0.269 7, 1)
動態語素3	車/道路	車行目標	r₁∈[0.045 2, 1)

表選項

圖 4 r指標統計結果 Fig. 4 Statistics forrvalue

圖選項

考慮到閾值應滿足篩選出大部分動態語素的要求，試驗中以成功篩選出90%樣本為目標確定了r的閾值，得到取值區間見表 4。對於本試驗的影象序列，如果計算出的r落入當前指定區間，則認為該語素對應的畫素區域屬於動態語素區域，則構建特徵掩膜以過濾相應特徵點；反之則不構建掩膜。需要說明的是，在以樣本估計總體閾值的過程中，本文方法基於兩個前提：不考慮靜態語素的關聯性和動態語素關聯性越強r值越大。

表 3 區域性區域語素最佳化前後定位軌跡差統計 Tab. 3 Deviation statistics of sampled points in sub-sequences

序列	最大距離差/m	平均距離差/m	語素關聯計算耗時/s
SOI-1	1.003	0.666	5.2
SOI-2	2.174	1.218	4.5
SOI-3	2.463	1.454	4.2
SOI-4	0.429	0.207	0.1
SOI-5	2.118	0.605	0.1
SOI-6	0.129	0.055	3.8

表選項

表 4 視覺最佳化前後軌跡與真值誤差對比 Tab. 4 Comparisons of trajectories from visual and laser

序列	均方根誤差	偏差均值	偏差中位數	偏差標準差	最小偏差	最大偏差
原始軌跡	20.426	19.252	18.375	6.825	4.967	44.544
對比方法	15.359	14.506	14.042	5.046	2.790	29.332
本文方法	12.691	12.148	11.656	3.671	3.576	24.572

表選項

動態語素關聯透過特徵掩膜參與定位過程，如圖 5所示。在圖 5(a)中，透過語義實體識別可以得到“腳踏車”和“人”兩種語義實體，由最小外包矩形標註；透過語義分割方法可以得到“道路”實體，由多邊形標註。根據人與腳踏車的關聯性可以判斷出影象存在“騎行目標”語素，如圖 5(b)中紅色區域；根據人與道路的交集可以判斷影象中存在“行人”語素，如圖 5(b)中藍色區域。它們在視覺定位中都屬於動態語素，因此根據其範圍形成特徵掩膜，如圖 5(c)所示。在SOI-4中，透過語義實體識別可以得到“汽車”“停車位”“道路”3種語義實體。透過“汽車”與“停車位”的交集判斷出“停放的汽車”語素，透過“汽車”與“道路”的交集判斷出“車行目標”語素，如圖 5(e)中黃色區域。後者在視覺定位過程中屬於動態語素，因此根據其範圍形成特徵掩膜，如圖 5(f)所示。

圖 5 語素關聯最佳化過程 Fig. 5 Semantic elements association

圖選項

視覺定位過程中，高響應值的特徵點優先參與位姿解算過程。然而它們中有一部分會落在動態語素目標上，這些點並不利於位姿計算。語素關聯約束過程會過濾掉動態語素上的關鍵點，如圖 5(b)、(e)所示，綠色的關鍵點被保留並參與位姿估計，而紅色的關鍵點被特徵掩膜過濾。

2.3 試驗結果和分析

2.3.1 區域性最佳化結果分析

本文以SOI-1至SOI-6 6個場景的興趣序列為例，詳細說明在區域性場景中語素關聯最佳化對視覺定位結果的提升。圖 6展示了序列中代表性的影象，標註了主要動態物件的移動方向和最佳化前後的定位軌跡。其中，本文方法指經過語素關聯約束得到的定位軌跡，對比方法指過濾所有人、車、腳踏車目標後的定位軌跡，原始軌跡指不過濾任何目標的定位軌跡。機器人的實際運動狀態為向前行駛(SOI-1、SOI-2和SOI-4)和轉彎(SOI-3、SOI-5和SOI-6)兩種狀態。

圖 6 動態場景和語素關聯最佳化前後視覺定位軌跡對比 Fig. 6 Performance of semantic elements filtering in dynamic scenes

圖選項

從試驗對比中可看出，動態目標透過特徵點影響視覺定位結果，識別和消除其影響可以獲得更穩定的視覺定位結果。在SOI-1中，有運動的腳踏車和行人。其中一輛腳踏車從右後方駛入視野，為了避讓行人而左拐進入步行道。腳踏車相對於機器人移動速度快，剛開始佔據相機大部分視野，隨後逐漸消失。由於車身尾部顏色對比明顯，部分關鍵點落在腳踏車上。另一輛腳踏車由遠處迎面駛來，但目標較小，其上的關鍵點不多。視野中還有很多停放在路邊的腳踏車，它們提供了一些可用於定位的關鍵點。從軌跡對比結果可以看出，雖然機器人實際保持向前行駛，但是原始軌跡表現為先後退、再右轉。造成這種現象的原因是：相對於機器人，主要運動腳踏車上的關鍵點發生了向左前方的快速移動，按照視覺定位演算法“靜態世界”的假設，如果認為關鍵點是靜態的，那麼相機就應該發生向右後方向的移動。相對比地，無論是本文方法還是對比方法得到的軌跡都一直保持向前，比較符合機器人的行進路線。

這種情況在其他場景序列中也表現明顯。SOI-2序列中有行人從右向左橫穿視野，其書包和衣服紋理豐富，提供了大量視覺關鍵點。但是在運動目標的影響下，原始軌跡發生了向右的移動；經過特徵掩膜過濾後，最佳化後定位軌跡不再存在這種情況。SOI-3序列中機器人緩慢向左拐彎，有人騎車從右向左穿過視野，經過最佳化後的軌跡更加平滑。SOI-5序列中採集車緩慢左拐彎，有人在視野中先向右前方移動，然後轉向左前方；由於行人運動的影響，演算法認為機器人提前開始左轉，而在最佳化後的軌跡中，機器人先保持向前行駛一段距離後再左轉。

然而雖然本文方法和對比方法都能減少運動目標的影響，但是本文提出的語素關聯方法能夠在定位時保留更多具備高響應值的特徵點。例如SOI-4序列中只有1輛汽車從視野中駛過，由於其上特徵點少而且僅4 s就駛出視野，原始軌跡與本文方法軌跡差別不大。但由於對比方法丟失了一些靜止汽車上的高響應特徵，其定位軌跡在尺度上與前兩者具有明顯差別。需要特殊說明的是，如果動態語素區域的關鍵點少，那麼三者的定位軌跡區別也不大，例如SOI-6序列中特徵點集中於植被和樹枝，而不在騎行人身上。

表 3記錄了上述動態場景序列的時長，並且從本文方法和原始軌跡中取樣了受影響的定位點，計算相應兩個取樣點的差距。由表 3可以看出，取樣點的最大差距在0.1~2.5 m之間；最大平均差距出現在SOI-3序列中，為1.454 m，該序列中機器人正在轉彎，並且有行駛快的腳踏車橫向穿過。最小平均差距在SOI-6中，該場景的關鍵點集中在非動態區域，最佳化作用不大。

分析表明，語素關聯約束對動態場景的視覺定位結果有一定的提升作用，尤其在相機轉彎時或者動態目標在視野中產生橫向移動時最佳化效果明顯。然而，由於動態目標是透過關鍵點影響視覺定位的，如果運動目標本身視覺特徵不明顯、出現時間不長或者運動幅度不大，最佳化前後定位軌跡沒有明顯差異。

2.3.2 整體最佳化結果和分析

因鐳射感測器具有精度高、不易受動態環境影響的優勢，定位結果更穩定可靠^[25]，故以鐳射雷達資料計算得到的軌跡為真值，採用了EVO(https://github.com/Michae(Grupp/evo))軌跡評價工具，對比了原始軌跡(不處理動態目標)、對比方法(剔除所有“人”“車”目標)和本文方法的二維軌跡結果，結果如圖 7所示。圖 7(a)說明視覺軌跡與真值之間存在仿射變換差異，X軸是初始狀態的左右方向，Y軸是初始狀態的前後方向。經過旋轉、平移和縮放變換後，本文方法更加貼近真值。圖 7(b)的“小提琴圖”展示了絕對位姿誤差(absolute pose error, APE)中位移分量的分佈，本文方法平均誤差更小，而且分佈更加集中，這說明軌跡差更加穩定。表 4為視覺最佳化前後軌跡與真值誤差對比。

圖 7 語素最佳化前後視覺定位整體軌跡對比

Fig. 7 Full trajectory before and after semantic elements filtering

圖選項

由表 4和圖 7(b)的誤差柱狀圖可以看出，本文方法定位軌跡在均方根誤差、偏差均值、偏差中位數、偏差標準差和最大偏差多個指標都小於對比方法，遠小於原始軌跡。相對於原始軌跡和對比方法，均方根誤差分別降低了38%和17%。

2.3.3 精度和效率分析

以6段興趣序列為基礎，觀察和統計了語素關聯結果的正確性，得到預測與觀察結果的混淆矩陣見表 5。同時選擇了精確率P、召回率R和綜合指標F₁來反映方法的精度，計算過程如式(4)-式(6)所示

(4)

(5)

(6)

表 5 預測和觀察結果的混淆矩陣

Tab. 5 Confusion matrix between predictions and observations

觀察結束	預測結果
觀察結束	Positive	Negative
true	3134	584
false	321	128

表選項

經計算，P約為91%，R約84%，平均精度F₁約為87%。

為了評價計算效率，以6個興趣序列為例，統計了其中語素關聯步驟(計算和判斷r值)的耗時，由表 3可以看出，該步驟的效率與場景中語義的複雜性有關，序列要判斷的動態語素種類越多耗時越高。同時對比序列的時長可以看出，語素關聯步驟能夠與資料採集同步。但是，語素關聯計算的前提是語義實體識別，即目標識別和語義分割過程。在單核2.2 GHz CPU的計算平臺上進行，處理每張圖片的耗時約0.8 s。因此，由於語義實體識別耗時過大，當前方法仍不能達到實時計算的效果。

3 結論和展望

本文提出的動態環境視覺定位最佳化方法，能夠解決現有的特徵點法受動態目標影響大、視覺定位結果準確度下降的問題。在保留更多高響應值特徵點的基礎上，能夠較好地抑制由於動態實體橫向穿越相機視場而導致的定位誤差。

視覺定位是自動駕駛場景定位方案的重要補充，但環境中的動態目標不是影響其的唯一因素，影象匹配誤差、相機標定誤差和深度估計誤差都會影響視覺定位結果^[26]。另外，由於語義識別耗時，當前方法無法達到實時最佳化效果，並且受平臺限制本文未能討論其在城市級道路的定位提升能力。在更復雜的無人駕駛場景中，如何更好地最佳化視覺定位結果仍有待深入研究。

作者簡介

第一作者簡介：邵曉航(1992—), 男, 博士生, 研究方向為視覺機器人定位與環境認知。E-mail：[email protected]

通訊作者：劉春, E-mail：[email protected]

致謝

感謝武漢大學郭遲教授團隊在結果分析的對比方法中提供幫助。

初審：張豔玲

複審：宋啟凡

終審：金君

往期推薦

資訊

○ 測繪地理資訊標準化進展

○ 多地釋出“三調”公報，主要資料成果全在這裡了