第二篇?Scene Understanding Networks for Autonomous Driving based on Around ViewMonitoring System
讓我們接著閱讀2018CVPR的論文，今天的論文題目是Scene Understanding Networks for Autonomous Driving based on Around ViewMonitoring System，我把這個(gè)題目理解為基于環(huán)視系統(tǒng)的自動(dòng)駕駛場景理解網(wǎng)絡(luò)。
這篇文章是使用安裝在汽車四周的魚眼攝像機(jī)來采集圖像信息進(jìn)而完成障礙物檢、可行域檢測等自動(dòng)駕駛場景中的相關(guān)任務(wù)，由于本篇論文代碼和數(shù)據(jù)集都沒有開源，因此就不對(duì)這篇論文進(jìn)行過于詳細(xì)的解讀啦，感興趣的讀者可以自行下載閱讀。
論文動(dòng)機(jī)：相較于現(xiàn)有的自動(dòng)駕駛車載感知系統(tǒng)（雷達(dá)、聲納、激光雷達(dá)等），視覺系統(tǒng)具有成本低，功耗小的優(yōu)點(diǎn)，因此如果可以只使用攝像機(jī)采集的圖片信息就可以完成各種自動(dòng)駕駛?cè)蝿?wù)的話，對(duì)自動(dòng)駕駛汽車落地和降低生產(chǎn)成本具有很大幫助。例如，我比較喜歡的一家國內(nèi)自動(dòng)駕駛汽車公司“小鵬汽車”的一款G3車型上面就有20個(gè)傳感器。
同時(shí)，相比于常規(guī)的RGB攝像機(jī)，本文使用四個(gè)魚眼攝像機(jī)采集車輛周圍信息，魚眼攝像機(jī)的視場角度為190°，因此只需要4個(gè)就可以完全覆蓋車輛周圍。
本文主要目的是設(shè)計(jì)一個(gè)輕量級(jí)架構(gòu)完成障礙物底端點(diǎn)檢測，可行域檢測、以及三維姿態(tài)估計(jì)三個(gè)任務(wù)。作者考慮到在自動(dòng)駕駛場景中的場景理解任務(wù)中，實(shí)時(shí)性的要求是很高的，因此作者將三個(gè)任務(wù)融入到一個(gè)框架以便共享底層特征，在犧牲一定準(zhǔn)群率的情況下達(dá)到實(shí)時(shí)要求。
網(wǎng)絡(luò)設(shè)計(jì)思路：
受到single-shot（關(guān)于single-shot大家可以閱讀這篇博客）思想的啟發(fā)，為了減少冗余的計(jì)算，作者先將圖片使用一個(gè)由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的編碼器編碼，然后對(duì)編碼后的特征圖進(jìn)行重復(fù)采樣以避免對(duì)重疊區(qū)域進(jìn)行不必要的卷積操作。
如上圖所示，在進(jìn)行底端點(diǎn)檢測時(shí)，將圖片從左到右進(jìn)行采樣，每次采樣寬度為24pix，相鄰樣本間的重疊寬度為23pix，如果每采樣一次就進(jìn)行一次卷積操作的話將會(huì)進(jìn)行大量的重復(fù)操作，因此作者將整張圖片使用一個(gè)編碼器進(jìn)行編碼，然后對(duì)編碼后的特征空間進(jìn)行相應(yīng)的重復(fù)采樣，這樣可以減少95%以上的計(jì)算量。
同時(shí)作者采用了多任務(wù)學(xué)習(xí)的思想，在不同任務(wù)中共享底層權(quán)重，以達(dá)到多任務(wù)實(shí)時(shí)的目的。根據(jù)經(jīng)驗(yàn)表明，共享層越少，相對(duì)任務(wù)的準(zhǔn)確率就越高，帶來的代價(jià)就是時(shí)間消耗越大，反之亦然。因此共享層數(shù)的折衷將會(huì)對(duì)實(shí)驗(yàn)結(jié)果帶來很大影響。
文章還對(duì)目標(biāo)物體進(jìn)行了維度估計(jì)和姿態(tài)估計(jì)，涉及一些計(jì)算機(jī)圖形學(xué)的知識(shí)（我也不懂，嗚嗚），在進(jìn)行方形估計(jì)時(shí)，作者先將物體朝向角度離散化，轉(zhuǎn)變?yōu)橐粋€(gè)分類問題，然后使用mean-shift方法恢復(fù)為連續(xù)狀態(tài)估計(jì)。
更多和更加詳細(xì)的訓(xùn)練細(xì)節(jié)大家可以自己閱讀論文，作者對(duì)比了高精度和低復(fù)雜兩種網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果，對(duì)自動(dòng)駕駛的實(shí)時(shí)性問題進(jìn)行了很好的探索，并且是我見到的第一篇使用魚眼攝像機(jī)作為傳感器的文章（要是數(shù)據(jù)集和代碼開源就好了）。未來作者還會(huì)將3D姿態(tài)估計(jì)也融入到一個(gè)框架當(dāng)中，進(jìn)一步減少計(jì)算負(fù)擔(dān)，然我們拭目以待吧，期待自動(dòng)駕駛領(lǐng)域有更多讓人耳目一新的工作。
最后，祝好！愿與諸君一起進(jìn)步。
