周彥武

圖片來源：網際網路

上圖為有人拍到一輛搭載Luminar鐳射雷達的特斯拉Model Y，一般自動駕駛公司會用林肯MKZ混動改裝做原型車，因為有AutonomouStuff公司專業改裝線控車輛，顯然這是特斯拉自己用的，這當然不是特斯拉要上鐳射雷達了，這是做資料採集的，鐳射雷達產生真值即Ground Truth，沒有鐳射雷達就沒有真值。

目前深度學習簡單分為兩種，一種是強監督學習，主要用做識別，即採集資料，標註資料，訓練獲得權重模型，然後再推理時匯入權重模型，對目標識別分類。還有一類是還停留在學術研究的概念階段，即端到端的深度學習，也有叫無監督學習。2018年以前豐田和英偉達在這個領域研究頗多，目前幾乎完全看不到。

圖片來源：網際網路

上圖英偉達2016年的端到端深度學習無人駕駛框架，只有一個輸入，就是方向盤轉角，這種方法有明顯缺點，首先，這是個徹底的黑盒子，也就是沒有可解釋性，沒有可解釋性就意味無法迭代，因為你不知道為什麼這個場景下表現好，那個場景下表現不好。無法迭代意味著跑多少公里，安全性舒適性都不會有提升。其次，沒有真值，所謂真值就是標準答案，對這種端到端的方式來說，真值就是不出錯的駕駛，而人類駕駛員是不可能做到不出錯。英偉達當時也只是淺嘗輒止，人類駕駛行為，包括速度和轉向角，單一個轉向角根本不夠。

物體識別的強監督學習勉強可看做灰盒子，資料覆蓋面越廣，識別的型別就可能越多，而端到端是徹底的黑盒子，它知其然，不知其所以然，它只是機率預測（深度學習裡最重要的置信度）。

無論是強監督學習還是端到端的深度學習，特斯拉或者說任何一家沒有真值生成的車輛無論跑多少億公里，都不會對感知能力或智慧駕駛能力有絲毫提升。

智慧駕駛中目標分類或者說識別是深度學習的主要應用領域，但智慧駕駛中，感測器不僅要識別目標，還要探測目標的邊框或者叫Bounding Box。自動駕駛則需要更高階的3D目標檢測，3D目標檢測需要同時實現目標定位和目標識別兩項任務。其中，透過比較預測邊框和Ground Truth邊框的重疊程度(Intersection over Union,IoU)和閾值(e.g. 0.5)的大小判定目標定位的正確性；透過置信度分數和閾值的比較確定目標識別的正確性。

如果僅僅是識別目標，那麼真值就是正確的標註（Label或Annotation），這個標註只是判斷目標是哪一類物體，無論是L2還是L4，單純識別目標毫無價值，都需要進一步探測目標資訊，比如目標與自車的距離。這就需要鐳射雷達的真值，只有鐳射雷達的物理測量法才能做真值，才能做標準答案。沒有鐳射雷達，自然就沒有真值，這樣的資料對L2或L4都沒有多少價值。

三位年輕俊才，2008年就開始研究自動駕駛資料集

圖片來源：網際網路

如何構建一個智慧駕駛資料集，我們以全球最權威的KITTI為例，KITTI資料集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前全球公認的自動駕駛領域最權威的測試資料集，也是最早的。儘管已經過去10年，但眾多智慧駕駛演算法公司評估演算法優劣無一例外都是在KITTI上打榜。

該資料集用於評測立體影象(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的效能。KITTI包含市區、鄉村和高速公路等場景採集的真實影象資料，每張影象中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。

整個資料集由389對立體影象和光流圖，39.2 km視覺測距序列以及超過200k 3D標註物體的影象組成 ，以10Hz的頻率取樣及同步。總體上看，原始資料集被分類為‘Road’、‘City’、‘Residential’、‘Campus’和 ‘Person’。對於3D物體檢測，label細分為car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc組成。採集車的雙目攝像頭基線長54釐米，車載電腦為英特爾至強的X5650 CPU，RAID5 4TB硬碟。採集時間是2011年的9月底和10月初，總共大約5天。主要內容如下：

下圖為Kitti的資料採集車。

圖片來源：網際網路

主要感測器型號如下表：

OXTS，即Oxford TechnicalSolutions，脫胎自牛津大學，成立自1998年。RT 3003感測器就是一箇中級慣性感測器，記錄一個完整的三維運動和動力學輪廓與GNSS +慣性感測器融合。提供平滑、健壯和可重複的實時輸出，具有低延遲。完全整合的高檔MEMS IMU和RTK能力的GNSS接收器記錄了一個全面的測量列表，包括位置、速度、加速度和方位。整合6 軸導彈級MEMS IMU，100 Hz重新整理頻率， L1/L2 RTK 精度:0.02m / 0.1◦ 即使GPS訊號丟失，RT仍然能透過內部的慣性感測器來繼續輸出資料。可以透過輪速計等裝置，校正位置漂移，在2分鐘正常行駛的條件下，位置誤差不會大於5米。內部的ADC轉換，20bit解析度，加速度測量的解析度是0.12mm/s2(12 μg)。ADC轉換模擬量輸入，採用圓錐/划船（coning/sculling）運動補償演算法來避免訊號的混淆。價格據說接近百萬人民幣（僅供參考，任何直接或間接引用與本文無關），目前有第三代RT3003和更高階的RT4000，頻率為250Hz。國內為降低成本，採用分體，即將GNSS和IMU分離，典型的如百度的NovAtel SPAN ProPak6 GNSS接收機 和 NovAtel IMU-IGM-A1。天線一般是GPS NovAtelGPS-703-GGG-HV。順便說一句，這需要槓桿臂測量做標定，偏移量誤差在1釐米之內。這一套參考價格大約25萬人民幣（僅供參考，任何直接或間接引用與本文無關）。

圖片來源：網際網路

上表為相機引數，現在最少都是400萬畫素起，有些是800萬畫素。鐳射雷達是64線鐳射雷達，想必大家已經很熟悉了，無需介紹了。

圖片來源：網際網路

什麼需要這麼多感測器和IMU？

Kitti的資料集格式

圖片來源：網際網路

標註檔案的readme.txt檔案

圖片來源：網際網路

該檔案儲存於object development kit (1 MB)檔案中，readme詳細介紹了子資料集的樣本容量，label類別數目，檔案組織格式，標註格式，評價方式等內容。從中我們可以看出IMU主要是為了保證資料的時間戳一致，建立統一的座標系，包括全部座標系和區域性座標系。高精尖感測器是為了提供參考數值，即Ground Truth。

圖片來源：網際網路

上圖是通用汽車自動駕駛研發小組在2017年開發的自動真值生成系統即AGT，順便說一下這個研發小組主要活動在以色列，如今應該併入Cruise了。上圖才是真正的資料驅動型智慧駕駛。

圖片來源：網際網路

通用的資料採集車以及與KITTI的對比，這個將64線鐳射雷達放在車頭，顯然有點危險，萬一追尾，幾十萬美元就沒了。

車輛位姿預測離不開高精度IMU。

圖片來源：網際網路

光流的真值對比，最糟糕的情況下，誤差近60%。

圖片來源：網際網路

圖片來源：網際網路

更不要說專業的資料採集系統需要百萬元級人民幣硬體，以及更為昂貴的資料採集軟體系統。

在目前的深度學習方法中，引數的調節方法依然是一門“藝術”，而非“科學”。深度學習方法深刻地轉變了人類幾乎所有學科的研究方法。以前學者們所採用的觀察現象、提煉規律、數學建模、模擬解析、實驗檢驗、修正模型的研究套路被徹底顛覆，被資料科學的方法所取代：收集資料、訓練網路、實驗檢驗、加強訓練。這也使得算力需求越來越高。機械定理證明驗證了命題的真偽，但是無法明確地提出新的概念和方法，實質上背離了數學的真正目的。這是一種“相關性”而非“因果性”的科學。

人類的智慧來自好奇心也就是發現問題，這是機器永遠無法做到的，因為它永遠不可能有好奇心，所謂人工智慧永遠只能停留在二次元空間。

佐思 2021年研究報告撰寫計劃

智慧網聯汽車產業鏈全景圖（2021年9月版）

「佐思研究月報」

ADAS/智慧汽車月報 | 汽車座艙電子月報 | 汽車視覺和汽車雷達月報 | 電池、電機、電控月報 | 車載資訊系統月報 | 乘用車ACC資料月報 | 前視資料月報 | HUD月報 | AEB月報 | APA資料月報 | LKS資料月報 | 前雷達資料月報