介紹最近半年的一些SLAM論文，包括視覺和鐳射雷達，有傳統方法，也有深度學習方法。

1、“LT-mapper: A Modular Framework for LiDAR-based Lifelong Mapping“，arXiv July，2021

是韓國KAIST Department of Civil and Environmental Engineering 發表。

長期的3D地圖管理是機器人在非靜止現實世界中可靠導航所需的基本能力。本文為城市區域開發了開源、模組化和現成的基於鐳射雷達的持久地圖（lifelong map），稱為LT-Mapper（LiDAR-based lifelong mapping）。它將問題劃分為序貫子問題：多節SLAM（multi-session SLAM，MSS）、高/低動態變化檢測和正/負變化管理。該方法利用MSS，處理潛在的軌跡誤差；因此，變化檢測不需要良好的初始校準。這個變化管理方案在記憶體和計算成本方面保持有效性，提供了大規模點雲地圖自動分離目標的功能。透過對多個時間間隔（從一天到一年）的大量實際實驗，驗證了該框架的可靠性和適用性。

程式碼在 https://github.com/gisbi-kim/lt-mapper

·透過錨節點（anchor node）彈性地處理各節，而子模組 LT- SLAM 可用 LiDAR 在共享幀中拼接多節。

·子模組 LT-removert 克服了各節之間對齊的多義性，沿空域軸和時域軸呼叫 remove-then-revert 演算法。

·子模組 LT-map 可以有效地生成最新地圖（實時地圖）和持久地圖（元地圖），同時變化存為增量地圖（delta map）。透過增量地圖，恢復和變化檢測操作在記憶體和計算上成本高效。

·上述模組打包在單個框架中，其中包含現成的基於控制檯命令。此外，提供多個時間間隔（每天）的真實世界實驗。

模組流水線如圖所示：

在 LT-SLAM 模組中，用多節 SLAM 共同最佳化多個節，同時從基於 LiDAR 的全域性定位器進行強大的節間閉環檢測。在此模組中，查詢測量校準到到現有的中心地圖。

對齊查詢和中心節並刪除 HD （High Dynamic）點，在查詢測量和中心地圖之間應用set difference運算檢測變化。這個變化稱Low Dynamic (LD), 進一步可分成兩類: 1）新出現的點，Positive Difference (PD) ；和2）消失的點，Negative Difference (ND)。

魯棒的節間閉環檢測，採用Scan Context (SC) ，因為其具備的長時全域性定位能力和輕量計算成本。檢測節間閉環後，透過Iterated Closest Point (ICP) 演算法計算兩個關鍵幀之間的6D相對約束。

如圖是LT-removert視覺化的流水線：LT-removert模組把動態點分成HD和 LD 兩種，（a） LT-removert 從 LT-SLAM 接收對齊的中心地圖和查詢地圖；（b-c）刪除了HD points的清洗地圖；（d-e）LD 變化檢測（即 PD 和 ND 分割）；（f） 透過多節抹去未刪除的HD points。

給定檢測到的 LD，LT-map 對中心節的每個關鍵幀執行節間變化更新。與上傳/下載整個地圖的基於快照方法相比，僅包含差異的增量地圖具有優勢。

2 、“DSP-SLAM: Object Oriented SLAM with Deep Shape Priors“， arXiv，August，2021

作者來自University College London。

DSP-SLAM（Deep Shape Priors-SLAM），這是一種面向目標的SLAM系統，可以為前景目標構建豐富而精確的密集3D模型聯合地圖，而稀疏的地標點表示背景。DSP-SLAM將基於特徵SLAM系統重建的3D點雲作為輸入，透過對檢測物體進行密集重建來增強其稀疏地圖的能力。透過語義例項分割來檢測目標，並透過一個二階最佳化，特定類別（category-specific）的深度形狀嵌入作為先驗，估計形狀和姿勢。目標-覺察BA構建一個姿勢圖，共同最佳化相機姿勢、目標位置和特徵點。DSP-SLAM 可以在 3 種不同的輸入模式，即單目、立體視覺或立體視覺+LiDAR，以每秒 10 幀速度執行。

專案網頁：https://jingwenwang95.github.io/dsp-slam/

如圖所示：DSP-SLAM 構建了豐富的目標-覺察地圖，提供了檢測目標的完整詳細形狀，同時將背景粗略地作為稀疏特徵點發送；在KITTI 00上重建地圖和相機軌跡。

如圖是DSP- SLAM的系統概覽：

採用 DeepSDF（“Deepsdf: Learning continuous signed distance functions for shape representation“，CVPR 2019）作為形狀嵌入，輸入一個形狀碼和一個3D查詢位置，輸出給定點的signed distance function (SDF) 值。

ORB-SLAM2 用作跟蹤和製圖主幹網，一個基於特徵的SLAM框架，在單目或立體影象靜止狀態上執行。雖然跟蹤執行緒從對應關係中以幀速率估計相機姿勢，但製圖執行緒透過重建 3D 地標來構建稀疏地圖。

在每個關鍵幀執行目標檢測，共同推斷2D目標邊框和分割掩碼。此外，透過3D邊框檢測獲得目標姿勢估計的初始值。

新檢測將關聯到現有地圖目標，或透過目標級資料關聯例項化為新目標。每個檢測目標例項由一個 2D 邊框、一個 2D 掩碼、稀疏 3D 點雲的深度觀測和初始目標姿勢等組成。

新例項化目標透過重構流水線進行重構。DSP-SLAM 採用一組稀疏的 3D 觀測值 ，其來自重建的 SLAM 點（單目和立體視覺）或 LiDAR 輸入（立體視覺+LiDAR），並選擇形狀碼和目標姿勢最小化表面一致性和深度渲染損失。地圖中已存在的目標將僅透過姿勢最佳化更新其 6自由度姿勢。

點特徵（來自SLAM）、目標和攝像機姿勢的聯合因子圖（joint factor graph）透過bundle adjustment（BA）進行最佳化，以保持一致地圖並考慮閉環（loop closure）。新目標作為節點，新增到聯合因子圖中，其相對姿勢估計即相機-目標之間的邊緣。

表面項定義為：

SDF定義為：

事件機率定義為：

渲染的深度項為：

ray-tracing渲染項為：

最佳化的最終能量函式是表面一致項、渲染項以及形狀碼正則項的加權和，即

資料相關中目標是將每個檢測與其在地圖中最近的目標相關聯，並根據不同的輸入模式採用不同的策略。當LiDAR輸入可用時，比較3D邊框和重建目標之間的距離。當僅用立體視覺或單目影象作為輸入時，計算檢測和目標之間匹配的特徵點數量。如果多個檢測與同一目標相關聯，保留最近的一個並拒絕其他目標。與任何現有目標無關的檢測，將初始化為新目標，其形狀和姿勢再進行最佳化。對於立體視覺和單目輸入模式，僅當觀察到足夠表面點時才會進行重建。對現有目標有關聯的檢測，執行只有姿勢的最佳化；新相機-目標邊緣會新增到聯合因子圖中來最佳化姿勢。

最後聯合BA最佳化一個聯合地圖，包括攝像頭姿態、目標姿勢和地圖點：

3、 “DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras” arXiv，August 2021

普林斯頓大學鄧加團隊發表。

DROID（Differentiable Recurrent Optimization-Inspired Design）-SLAM，是一種基於深度學習的SLAM系統。DROID-SLAM透過dense BA層對攝像機姿勢和畫素深度進行重複迭代更新。儘管在單目影片方面進行了訓練，但採用立體視覺或RGB-D影片的話，在測試時可實現更高效能。

開原始碼：https://github.com/princeton-vl/DROID-SLAM%E3%80%82

如圖是示意圖：

它包括recurrent iterative updates，在RAFT optical flow模型（“Raft: Recurrent all-pairs field transforms for optical flow“，ECCV，2020）基礎上做了兩點改進：

1）採用多幀最佳化，而不是兩幀；

2）更新基於一個可微分的Dense Bundle Adjustment (DBA) 層。

採用一個frame-graph，特徵提取主要來自RAFT，同樣包括兩個：特徵網路和上下文網路。特徵網路用於構建一組關聯體，而上下文特徵則在更新操作的每個應用程式注入網路。

SLAM 系統的核心元件是如圖所示的學習更新操作：更新操作是具有隱狀態 的 3 × 3 ConvGRU，操作在frame- graph的邊緣進行，預測對映到深度的流修正（flow revision），並透過DBA層進行姿勢更新。

相關特徵提供了有關緻密流域每個畫素位置附近視覺相似性的資訊，使網路能夠學習對齊視覺相似的影象區域。但是，對應關係有時是模稜兩可的。該流提供了一個互補資訊源，允許網路利用運動場中的平滑度來獲得魯棒性。

相關特徵和流特徵在注入GRU之前分別透過兩個卷積層進行對映。此外，透過逐元加操作將上下文網路提取的上下文特徵注入GRU。

ConvGRU是一個小感受野的區域性操作。沿著空間維做隱平均，提取全域性上下文，並將此特徵向量用作GRU的額外輸入。全域性上下文在 SLAM 中很重要，因為不正確的對應關係（例如由大型移動目標引起）會降低系統的準確性。對網路來說，識別和拒絕錯誤對應非常重要。

DBA層把流修正集對映成姿態集，並逐元深度更新。如下定義成本函式：

整個系統包含兩個非同步執行執行緒。前端執行緒接收新幀、提取特徵、選擇關鍵幀並執行區域性BA；後端執行緒同時對關鍵幀的整個歷史記錄執行全域性BA。

DROID- SLAM可以泛化到其他資料集，如圖所示：

4、 “ART-SLAM: Accurate Real-Time 6DoF LiDAR SLAM“，arXiv，September，2021

由義大利一所大學發表。

基於地面車輛的實時6-自由度姿態估計是機器人學中的一個重要研究課題，應用如自動駕駛和三維地圖。本文提出一種快速、準確和模組化的鐳射雷達SLAM系統，用於批次和線上估計。首先下采樣和出格點去除，濾除噪聲並減小輸入點雲的大小。然後將過濾後點雲用於姿態跟蹤和地面檢測，最佳化估計的軌跡。與濾波過程並行工作，一個預跟蹤器允許獲得預計算里程計，在跟蹤時用作輔助工具。透過g2o pose graph實現的高效閉環和位姿最佳化，是該SLAM流水線的最後步驟。系統的效能與當前基於點雲的方法（LOAM、LeGO-LOAM、A-LOAM、LeGO-LOAM BOR和HDL）進行了比較，結果表明，系統達到了相同或更好的精度，並且可以輕鬆地處理無閉環的情況。使用KITTI和Radiante資料集對估算的軌跡位移量進行比較。

注：HDL（“A portable 3d lidar-based system for long-term and wide-area people behavior measurement”，IEEE T- HMS，2018）

程式碼上線：https://github.com/MatteoF94/ARTSLAM

ART（Accurate Real-Time）- SLAM的框架如下：該系統由多個不同模組組成，基本兩個主塊。第一個塊是必需的（灰色），是ART-SLAM的核心，在輸入點雲上執行SLAM的所有模組（圖中為橙色）。其他塊是可選的，用於主系統與來自不同感測器資料整合，或和重新處理輸入整合。

給定入射鐳射掃描，第一步是在預濾波器中進行處理，減小其尺寸並去除噪聲。過濾後的點雲同時傳送到兩個模組。最重要的模組是跟蹤器，與先前濾波的掃描進行scan-to- scan匹配（比如實用方法 ICP, GICP, VGICP 和 NDT)，估計機器人當前位移。另一個是地面檢測器，發現機器人相對地面的姿勢，增加對軌跡的高度和旋轉一致性。當前姿勢估計連同其對應點雲一起傳送到閉環檢測器（基於SC演算法）模組，在新點雲和以前點雲之間找到閉環，再次執行scan-to- scan匹配。此外，用姿勢、閉環和地面係數（由地面檢測器模組估計）構建pose graph，表徵機器人的軌跡。最後，對pose graph進行最佳化，以提高姿態估計精度。

IMU和GPS資料（圖中粉紅色區域）可以整合在pose graph生成器模組，提高估計軌跡的精度。此外，預計算里程計（例如，透過不同的感測器或系統）可以作為scan matching的初始猜測提供給跟蹤器。最後，預跟蹤器模組（圖中綠色區域）執行多級scan-to- scan匹配，在跟蹤之前快速估計機器人運動。

每個模組的架構如下：它由一個或多個observers、一個或多個dispatch佇列、一個core和一個或多個notifiers組成。此外，ART-SLAM是一種零複製軟體，允許對大量資料進行完善改進，同時將其儲存在記憶體中。

observer允許模組在資料可用時立即捕獲資料，與型別無關。由於資料到達速率可能不同於處理所需時間，observer將接收到的資料放入一個或多個dispatch佇列，即FIFO結構，避免丟失傳入資料。模組中core是主要特點：一次為每個dispatch完善改進一個數據，從相對dispatch佇列中提取資料。一旦core完成任務，會將模組的副產品傳送給notifier程式，將這些副產品廣播給所有需要的模組。使用dispatch佇列的優點是，如果不需要時間一致性，可以在多個執行緒並行執行相同core任務。

pose graph中的每個節點表示機器人的位置和在該位置獲取的測量值（點雲）；此外，每個節點都與相應的關鍵幀相關聯。兩個節點之間的邊，包含節點對應機器人姿勢變換的機率分佈。這些變換，要麼是跟蹤器模組在連續位置之間給出的里程計測量值，要麼是透過兩個關鍵幀之間獲取的感測器測量值對齊來估計。由於感測器噪聲和機器人里程計中的漂移，相關邊只表示軟約束且不固定。但是，可以插入絕對約束，不做任何方式修改。這些約束的示例包括地面係數、GPS或IMU資料，儘管也可以設定為非絕對約束，因為感測器或測量帶有不確定性。此外，當執行閉環檢測和進行閉合的時候，可以在圖中的非連續節點之間新增新邊。

以下圖例是實驗的演算法結果比較：

Sequence 07 KITTI

Sequence 05 KITTI

5、 “A Biologically Inspired Simultaneous Localization and Mapping System Based on LiDAR Sensor“，September，2021

受齧齒動物的海馬模型（rodent hippocampus）啟發，本文提出一種基於鐳射雷達感測器的生物啟發SLAM系統，用海馬模型構建認知地圖（cognitive map）並估計機器人在室內環境中的姿勢。基於生物啟發模型，SLAM系統用鐳射雷達感測器的點雲資料，用來自鐳射雷達里程計的自運動線索和來自鐳射雷達區域性檢視單元（local view cells）的區域性檢視線索來構建認知地圖和估計機器人姿勢。

整個SLAM系統架構如下：包括鐳射雷達里程計，鐳射雷達區域性檢視單元和姿態單元網路（pose cell network）。

“鐳射雷達里程計“為機器人生成運動資料起著重要作用。“鐳射雷達區域性檢視單元”模組提供基於鐳射雷達觀測處理和整合區域性檢視線索。”姿態單元網路“，根據”鐳射雷達里程計“的自運動資料和”鐳射雷達區域性檢視單元“模組的區域性檢視線索，透過路徑積分和閉環，估計機器人的3-DoF姿態。

“鐳射雷達區域性檢視單元“模組，將鐳射雷達觀測結果處理為檢視模板（view templates），表示場景的特徵資訊。“鐳射雷達區域性檢視”模板用於維護區域性檢視，並向“姿勢單元網路”提供區域性檢視線索資訊。實時鐳射雷達觀測輸入與學習的區域性檢視進行比較，要麼在成功找到匹配檢視時生成一個姿勢標定活動，要麼在沒有匹配檢視時將其新增到學習的區域性檢視中，學習新區域性檢視。

一個區域性視角的兩步匹配（two-stage matching）演算法如下：

該文由RatSLAM（“Ratslam: a hippocampal model for simultaneous localization and mapping,” IEEE ICRA’04）啟發，提出姿勢單元網路來保持姿勢表徵，整合來自鐳射雷達里程計的自運動線索和來自鐳射雷達區域性檢視單元的區域性檢視線索，旨在減少里程計漂移、解決製圖過程中的區域性檢視多義性問題。利用姿勢單元網路，SLAM系統能夠基於自運動線索做路徑積分來構建認知地圖。此外，藉助鐳射雷達檢視線索，姿勢單元網路執行閉環來標定估計的姿勢和線上認知地圖，以減少鐳射雷達里程計累積誤差和漂移。

姿勢單元網路是一個3D連續吸引網路，即3D-CAN（“Path integration and cognitive mapping in a continuous attractor neural network model,” Journal of Neuroscience, 1997），表徵為活動的3D矩陣。姿勢單元網路的每個姿勢單元，透過興奮性（excitatory）和抑制性（inhibitory）連線，與其相鄰單元相連，以3-D形式圍繞在網路的邊界，這樣姿勢單元網路能夠表徵有限數量姿勢單元的無界空間（unbounded space）。

姿勢單元網路，加入基於3-D高斯分佈的區域性興奮和全域性抑制活動，隨時間自更新姿勢單元網路動力學。作為啟用細胞聚集的姿勢單元網路穩定狀態，如OpenRatSLAM（“Openratslam: an open source brain-based slam system,” Autonomous Robots, 2013），姿勢估計則編碼為活動包（activity packet）質心。

給定來自區域性檢視單元的鐳射雷達區域性檢視線索，一個標定活動會注入姿勢單元網路，執行進一步的閉環和重定位。為解決區域性檢視的多義性，當連續區域性檢視的更新超過閾值，讓姿態單元的主活動包可以移動。

在製圖過程中，鐳射雷達里程計、鐳射雷達區域性檢視單元和姿勢單元網路的資訊，組合和累積在一起估計機器人姿勢，並構建認知地圖作為機器人運動經驗的拓撲圖。當觀察學習的區域性檢視檢測到閉環時，在兩個現有經驗節點之間建立新的轉換（transition），在認知圖中帶來新迴圈。

6、 “Learning Efficient Multi-agent CooperativeVisual Exploration“，arXiv，October，2021

由清華大學和上海期智研究院發表。

任務是視覺多智體室內探索，其中智體用盡可能少的步驟合作探索整個室內。傳統的基於規劃方法，通常在每個推理步驟都會遭遇特別昂貴的計算以及協作策略有限的表現力。相比之下，強化學習（RL）具備任意複雜策略的建模能力和最小推理開銷，所以成為應對這一挑戰的一種趨勢典範。

本文引入一種基於RL全域性目標規劃器，即空間協調規劃器（Spatial Coordination Planner，SCP），將單智體RL解決方案，即主動神經SLAM（Active Neural SLAM，ANS），擴充套件到多智體環境，以端到端的方式，利用每個智體的空間資訊有效地引導智體，以高探索效率對不同的空間目標導航。

SCP組成包括兩個：一個基於transformer的relation encoder用於捕獲智體內互動，和一個spatial action decoder生成準確目標。此外，實現一些多智體增強功能，處理來自每個智體的區域性資訊，實現對齊的空間表徵和更精確的規劃方案。最終的解決方案，即多智體主動神經SLAM（Multi-Agent Active Neural SLAM，MAANS），結合所有這些技術，在視覺逼真的物理試驗檯Habitat中，進行實驗。

基於規劃的解決方案已被廣泛應用於單智體和多智體場景中的機器人導航問題。基於規劃的方法只需要很少的訓練，可以直接應用於不同的場景。然而，這些方法通常在協調策略上的表現力有限，需要對每個測試場景進行不同尋常的超引數調整，由於在每個決策步驟重複重規劃，因此特別耗時。

相比之下，強化學習（RL），對一些決策問題而言，包括各種視覺導航任務，是一種很有前途的方案。基於RL的智體通常被引數化為深度神經網路，並根據原始感測器訊號直接生成動作。一旦策略透過RL演算法得到很好的訓練，機器人就可以捕獲任意複雜的策略，並透過高效的推理計算（即神經網路的單次前傳）生成實時決策。然而，訓練有效的RL政策可能特別具有挑戰性。因此，大多數現有的機器人探索問題，其RL方法集中在單智體設定上，而大多數多智體RL方法，僅在迷宮（maze）或網格世界等簡單場景下進行評估。

如圖是原ANS的框架：根據傳入的RGB觀測和感測器資料，預測地圖和智體姿勢估計。全域性策略使用該地圖和姿勢輸出長期目標（long-term goal），用分析路徑規劃器轉換為短期目標（short-term goal）。訓練一個區域性策略，實現這一短期目標。

這裡全域性規劃器採用增強的以智體為中心的區域性地圖作為輸入，包括指示已探測區域、未探測區域及障礙和歷史軌跡的通道，從長期目標座標的兩個高斯分佈中輸出兩個實數。該全域性規劃器被引數化為CNN策略，並透過PPO演算法進行訓練。

而區域性規劃器在智體為中心的區域性地圖執行經典規劃，即FMM（Fast Marching Method）演算法，實現給定的長期目標，並輸出短期子目標的軌跡。最後，區域性策略生成給定RGB影象和子目標的動作，並透過模仿學習進行訓練。

如圖是ANS中Neural SLAM架構：該模組透過監督學習進行訓練，以RGB影象、姿勢感知訊號及其過去的輸出作為輸入，並輸出更新的2D重建地圖和當前姿勢估計。

如圖是本文提出的MA-ANS新框架：

每個智體首先將其姿態感知訊號和RGB影象傳遞給NeuralSLAM模組，獲得智體為中心的區域性地圖和姿態估計。地圖細化（map refiner）對每個區域性地圖進行規範化，並與其他特定於智體的資訊結合，作為空間協調規劃器（SCP）的輸入全域性地圖。對ID=k的每個智體，SCP接收ID資訊，在所有輸入地圖的提取特徵應用基於transformer的關係編碼器（relation encoder），並透過智體k的空間動作解碼器（spatial action decoder）生成全域性目標。區域性規劃器在合併的全域性地圖上為全域性目標執行軌跡規劃。最後，由區域性策略生成一個動作。

如圖是SCP模組示意圖：包括N個CNN-based feature extractors, 一個relation encoder 和一個 spatial action decoder。

如圖是地圖細化（map refiner）和地圖合併（map merger）的計算工作流：

“地圖細化“，首先合成所有以前以智體為中心的區域性地圖，恢復以智體為中心的全域性地圖。然後，基於姿勢估計變換座標系，規範化來自同一座標系的所有智體全域性地圖。相應地規範化的全域性地圖，包含圍繞實際可探測室內區域的無法探測的大邊界。為了確保SCP的特徵提取只關注可實現部分，並導致更集中的空間動作空間，裁剪歸一化地圖的不可解釋邊界，並放大室內區域作為最終的細化地圖。

在“地圖細化”獲得N個放大的全域性地圖後，“地圖合併”對每個畫素位置應用max-pooling操作簡單地整合這些地圖。也就是說，對於合併的全域性地圖的每個畫素，成為障礙的機率是，在所有放大的全域性地圖中該畫素位置的最大值。人工合併的全域性地圖僅用於區域性規劃器，而不用於全域性規劃器SCP。

7、 “MegBA: A High-Performance and Distributed Library for Large-Scale Bundle Adjustment“，arXiv December，2021

曠視科技和愛丁堡大學發表。

大規模BA是3D視覺應用的關鍵（例如，SfM和SLAM）。儘管重要，但現有BA庫（如Ceres和g2o）對大規模BA的支援較差。這些庫未充分利用加速器（即GPU），並且缺乏有效分配BA計算的演算法，因此限制了BA問題的規模。本文提出MegBA，一個用於大規模BA的高效能分散式庫。MegBA有一種端到端向量化BA演算法，可以在GPU上完全釋放大量並行核，從而加快整個BA計算。它還具有一種精確分散式BA演算法，可以自動劃分BA問題，並用分散式GPU解決BA子問題。GPU用網路高效的集體通訊（collective communication）同步中間求解狀態，並且設計同步最小化通訊成本。MegBA有一個記憶體高效的GPU執行，並公開了和g2o相容的API。實驗表明，在公共大型BA基準測試中，MegBA的效能比最先進的BA庫（即Ceres和DeepLM）分別高出47.6倍和6.4倍。

MegBA概覽如圖所示5步：（1） MegBA基於邊劃分BA問題；BA子問題的大小相同，調遣到分散式GPU；（2）在每個GPU用向量化運算計算雅可比矩陣；（3） 採用向量化運算構造線性系統；（4）採用向量化分散式PCG演算法求解線性系統，並透過集體通訊同步中間PCG狀態。迭代執行步驟（2）-（3）-（4），直到滿足（5）收斂標準。

一個BA問題定義：

求解BA，經常利用Schur Complement (SC) ，即

求解該問題相當於一個等價方程求解，即

SIMD-optimised Vectorised BA的演算法如下：

SIMD-optimised vertorised PCG的演算法如下：

在高層看，MegBA分散式BA演算法有兩個主要組成部分：（i）一種可以將BA問題劃分為子問題的方法，這些子問題可以由並行向量化PCG解決；（ii）一種可以同步並行PCG狀態的演算法，以便可以共同解決原始全域性BA問題。

distributed PCG演算法如下所示：

在Nvidia GPU上實現MegBA，整個實現基於兩項技術最佳化記憶體效率：

• （i） 預測BA記憶體緩衝區使用，最小化記憶體分配；
• （ii）在GPU執行緒之間共享記憶體。

與g2o和Ceres完全相容的方式實現MegBA的API，MegBA API包含兩個主要元件：

• 1）宣告BA問題；
• 2）選擇BA求解器。

效能比較結果見表：

8 、“Fast Direct Stereo Visual SLAM“， arXiv，December，2021

作者來自美國明尼蘇達大學。

本文提出一種不依賴於特徵檢測和匹配的快速、準確的立體視覺SLAM方法，DSV（direct-stereo-vision）-SLAM。將單目DSO（Direct Sparse Odometry）方法擴充套件到立體視覺系統，透過最佳化3D點尺度來最小化立體視覺的光度（photometric）誤差；與傳統的立體匹配相比，這是一種計算效率高且魯棒的方法。進一步擴充套件到有閉環的完全SLAM系統，減少累積誤差。在假設攝像機向前運動的情況下，從視覺里程計獲得3D點，模擬鐳射雷達掃描，用鐳射雷達點雲描述子進行位置識別，更有效地檢測閉環。然後，用直接對齊法（direct alignment）估計相對姿態，最小化潛在閉環的光度誤差。可選地是，用ICP（Iterative Closest Point）演算法對直接對齊方法進一步改進。最後，最佳化一個pose graph，提高全域性SLAM精度。因為避免SLAM系統的特徵檢測或匹配，確保較高的計算效率和魯棒性。對公共資料集的徹底實驗，驗證表明其有效性。

程式碼開源：https: //github.com/IRVLab/direct_stereo_slam

如圖是該方法DSV-SLAM的概覽：將尺度最佳化和基於鐳射雷達描述子的位置識別方法結合到直接立體視覺SLAM系統中，（1） 從Cam0開始，單目VO估計攝像機姿勢並生成3D點；（2） Scale Optimization模組用3D點估計並保持VO尺度；（3） 閉環檢測（loop closure detection）模組基於VO的3D點檢測閉環；（4） 對於潛在閉環，Loop Correction模組估計閉環的相對姿勢，並全域性性最佳化姿勢。

尺度最佳化方法取自作者論文（“Extending Monocular Visual Odometry to Stereo Camera Systems by Scale Optimization”. IROS, 2019），最佳化的主要思想是將Cam0的單目VO點投影到Cam1，找到使光度誤差最小的最佳尺度。

而基於鐳射雷達描述子的閉環檢測取自作者論文（“A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors“. IROS, 2020）。從VO區域性累積3D點，獲得一組區域性點，然後圍繞當前姿勢生成一組Spherical Points，模擬鐳射雷達掃描。

備註：感謝微信公眾號「3D視覺工坊」整理。

SC演算法的主要思想是使用城市區域（例如建築物）的高度分佈來描述鐳射雷達生成的點雲。原始SC將點雲相對於 IMU 重力方向對齊。由於不希望引入額外的感測器（即IMU）到視覺SLAM系統中，因此用PCA來對齊點雲。水平面（PCA 平面）根據半徑和方位角劃分為多個bins。每個bin的最大高度連線起來，形成當前位置的簽名（signature）。在SC演算法之前用ring-key進行快速初步搜尋，SC編碼半徑確定每個ring的occupancy ratio 。

如圖所示即模擬鐳射雷達掃描ring-key和SC描述子的簡化圖（假設建築物和樹木的高度分別為10米和3米）：

系統中，對於立體視覺VO的每個關鍵幀，該方法模擬鐳射雷達掃描，並用修改SC描述子生成位置簽名。然後，在簽名資料庫（signature database）搜尋潛在的閉環。首先透過ring-key進行搜尋，其操作速度快，但不易區分，因此我們選擇前三位候選做SC，這樣再做出最終決定。

一些實驗結果比較如下：

翊弼生態企業——武漢天眸光電科技有限公司(以下簡稱：天眸光電)是國內領先的鐳射雷達製造商，專注於鐳射雷達掃描成像、鐳射雷達測距等產品的研發、生產和銷售。公司是國內為數不多的掌握了多種鐳射雷達技術方案的企業，已成熟量產多款高階系列鐳射雷達，並具備為下游客戶進行定製化設計和開發的能力。

同時，天眸光電是國內少數自主研發鐳射雷達自動化、半自動化生產線的企業。以規模化生產，降低成本，提升鐳射雷達產品效能及穩定性。目前天眸光電客戶涵蓋：物流自動化、服務機器人、軌道交通、智慧交通、電力巡檢、高階測繪、汽車自動駕駛等領域。

翊弼智行生態企業——上海幾何夥伴智慧駕駛有限公司（以下簡稱“幾何夥伴”）成立於2018年10月末，是一家集自動駕駛相關軟硬體產品研發、製造、銷售和服務於一體的國家高新技術企業。基於機器感知和深度學習，幾何夥伴提供面向自動駕駛L2-L4階段的軟硬體整合系統和總體解決方案，創新性地以4D毫米波成像雷達為主感測，輔之以可見光視覺和紅外成像等多感測融合的全天候感知模組實現“硬體賦能汽車”，透過感知、決策、規劃、控制為一體的全棧式自動駕駛系統軟體與解決方案，實現“軟體定義汽車”，開創出一條“低成本、高可靠、全天候、易量產”的自動駕駛技術路線。

作者丨黃浴@知乎

來源丨https://zhuanlan.zhihu.com/p/445358895