感知是自動駕駛的第一環(huán)，十分重要，同時感知算法要考慮傳感器的功能特性、適配其采集到的數(shù)據(jù)，才能開發(fā)出更好的算法。感知算法根據(jù)使用的傳感器不同而不同。

激光雷達(dá)（Lidar）點(diǎn)云感知的兩種檢測算法——啟發(fā)式的Ncut、深度學(xué)習(xí)算法CNNSeg

點(diǎn)云障礙物感知的主要任務(wù)是感知障礙物的位置、大小、類別、朝向、軌跡、速度等。核心是點(diǎn)云檢測分割技術(shù)

啟發(fā)式Ncut

啟發(fā)式Ncut

特別注意：首先要利用地圖信息對點(diǎn)云進(jìn)行預(yù)處理；例如：去除ROI（感興趣區(qū)域）之外的點(diǎn)云，降低點(diǎn)云圖的復(fù)雜度。

算法核心思想：將點(diǎn)云轉(zhuǎn)化為拓?fù)鋱D分割問題，利用圖聚類的方法（Ncut）解決問題，每一簇即為一個障礙物，雖然可以予點(diǎn)云以區(qū)分，但是缺乏對應(yīng)的語義信息。

深度學(xué)習(xí)方法：CNNSeg

算法核心思想：利用卷積神經(jīng)網(wǎng)絡(luò)來處理激光雷達(dá)捕獲的點(diǎn)云數(shù)據(jù)，并對點(diǎn)云中的目標(biāo)進(jìn)行識別；關(guān)鍵詞：數(shù)據(jù)驅(qū)動、特征學(xué)習(xí)。

Apollo的實(shí)踐：

1.前視圖（front-view）：將所有點(diǎn)云都投到前視圖（front-view）（投影面是一個圓柱面）來構(gòu)造特征，將點(diǎn)云問題轉(zhuǎn)化為矩陣問題，進(jìn)而使用深度學(xué)習(xí)進(jìn)行處理。通過構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)對前向視圖進(jìn)行處理。

2.制作俯視圖：借助自采集車隊(duì)，采集更多的實(shí)際數(shù)據(jù)，并且擴(kuò)展數(shù)據(jù)視角，制作俯視圖，通過將俯視圖+前視圖相結(jié)合的方式進(jìn)行訓(xùn)練。同時，修改Loss函數(shù)，包括使用3D回歸和Segmentation的損失函數(shù)。如下圖：

經(jīng)過多次實(shí)驗(yàn)，發(fā)現(xiàn)基于俯視圖的Segmentation方法效果最好

但是俯視圖沒有高度信息，于是把前視圖和Camera圖像加進(jìn)來進(jìn)行輔助檢查，綜合了Lidar測距準(zhǔn)和Camera識別準(zhǔn)的優(yōu)點(diǎn)，從而誕生了Middle-Level Fusion方法（Multi-View 3D Object Detection Network for Autonomous Driving）；該方法使用俯視圖提取Proposal，利用前視圖和光學(xué)圖像輔助進(jìn)行更加精準(zhǔn)的位置回歸。流程圖如下：

俯視圖+前視圖+Camera

視覺感知——CNN檢測、CNN分割與后處理

視覺感知最早從ADAS（高級駕駛輔助系統(tǒng)）發(fā)展而來（ADAS采用人工構(gòu)造的特征，使用淺層分類器）；現(xiàn)在主流已經(jīng)變?yōu)?b>“深度學(xué)習(xí)+后處理計(jì)算”；其特點(diǎn)是計(jì)算硬件要求升級、數(shù)據(jù)需求量大增、安全性評估的變化。

面向自動駕駛的深度學(xué)習(xí)的特點(diǎn)：1.2D感知向3D感知滲透，模型輸出更豐富（后處理需要的3D信息、跟蹤信息、屬性信息等都會放在CNN中進(jìn)行學(xué)習(xí)）；2.環(huán)視能力構(gòu)建（傳統(tǒng)方法靠一個Camera完成前向檢測、碰撞檢測、車道線檢測。無人駕駛需要環(huán)視）；3.感知+定位+地圖緊密結(jié)合。

自動駕駛領(lǐng)域的CNN檢測

1.場景有幾何約束（規(guī)則道路），可以輔助檢測

2.模型輸出需要更加豐富；Detectation--->2D to 3D--->Tracking

3.多任務(wù)學(xué)習(xí)（學(xué)習(xí)多種障礙物特征），網(wǎng)絡(luò)結(jié)構(gòu)適配；（由多個專用網(wǎng)絡(luò)則流程太長難以滿足需求）

4.屬性識別——不僅限于障礙物級別的輸出

CNN分割

分割與檢測有相似之處，但是分割粒度更細(xì)，相比于檢測的“畫框”，它要求邊緣分割

后處理——?針對下游模塊

2D-to-3D的幾何計(jì)算：需要考慮相機(jī)位姿的影響、接地點(diǎn)、穩(wěn)定性

時序信息計(jì)算（針對跟蹤處理）：相機(jī)幀率與延時的要求、跟蹤不能耗費(fèi)太多時間、利用檢測模塊的輸出進(jìn)行跟蹤；考慮輕量級的Metric Learning

多相機(jī)的環(huán)視融合：相機(jī)布局決定融合策略，要做好視野重疊?

紅綠燈檢測算法、Radar感知與超聲波感知

紅綠燈檢測算法：

任務(wù)描述：在距離停止線50～-2米的范圍內(nèi)精準(zhǔn)識別紅綠燈亮燈狀態(tài)，檢測精度要求非常高（需要達(dá)到99.9%），同時召回不能太低（recall = TP/（TP + FN））；天氣等環(huán)境問題；紅綠燈的制式；

紅綠燈感知算法的技術(shù)途徑

自動駕駛中使用深度學(xué)習(xí)進(jìn)行紅綠燈感知模塊的構(gòu)建，主要分為以下幾步：

1.相機(jī)選擇和安裝

2.高精地圖的交互

3.使用深度學(xué)習(xí)識別燈顏色的變化（分為檢測和顏色分類兩步）

一條道路上有很多紅綠燈，檢測算法會把所有的燈都檢測出來，地圖會告知需要看幾個燈，但是并不知道看哪幾個燈。因此需要把對應(yīng)關(guān)系匹配起來，需要做3D到2D的投影，投影又受到標(biāo)定、定位、同步、地圖等因素的影響，需要綜合考慮

Radar感知

Radar波長長，適應(yīng)較為惡劣的天氣，但是精確度不夠

超聲波感知

超聲波只能進(jìn)行近距離感知，并且無法感知具體的位置；對無人駕駛幫助不大，更多的是用于倒車和特別近距離的感知； 圖中的綠線，如果兩個探頭感知范圍存在重疊部分，這兩個傳感器的兩根綠線會交接，就可以確定障礙物的準(zhǔn)確位置。