文獻(xiàn)閱讀《Road Mapping and Localization Using Sparse Semantic Visual Features》

文章解決的主要問題

應(yīng)該怎么抽象到用數(shù)學(xué)的角度對(duì)各類語義建模？

• 對(duì)路燈等豎直的物體建模

  • 提取FREAK描述子

• 對(duì)道路標(biāo)志（例如轉(zhuǎn)彎、直行箭頭）

  • 檢測(cè)角點(diǎn)

• 對(duì)車道線建模

  • 實(shí)心車道線提供單向運(yùn)動(dòng)約束

    • 利用centernet識(shí)別，同時(shí)記錄左右和上下的邊界點(diǎn)，利用laneNet對(duì)這幾個(gè)位置的特征進(jìn)行降維再用dbscan進(jìn)行分類
    • 三次樣條曲線表示車道線

  • 虛線車道線在拐角點(diǎn)可以視為索引點(diǎn)地表，即類似于關(guān)鍵幀，方便快速查找

    • 給定64*64圖像塊檢測(cè)角點(diǎn)生成線段，保存時(shí)加入H10和H11計(jì)算角度查和長(zhǎng)度差

當(dāng)輸入圖像時(shí)如何從語義模型地圖中實(shí)現(xiàn)定位？

• 混合的深度學(xué)習(xí)語義特征和GFTT特征結(jié)合

  • GPS粗定位搜索附近的語義信息

  • 求解pnp得到相對(duì)語義的位姿

  • 跟蹤loose和tight

    • 將所有提取的地圖中的點(diǎn)投影到當(dāng)前需要定位的幀上，再用匈牙利匹配接收投影關(guān)聯(lián)

建立視覺里程計(jì)

• 對(duì)語義的特征跟蹤

  • 車道線

    • 利用IMU計(jì)算平移T

    • 重投影

    • 匈牙利匹配策略

      • 位姿關(guān)聯(lián)，計(jì)算5*5像素車道線的IOU
      • 像素關(guān)聯(lián)

  • 垂直對(duì)象

    • 關(guān)鍵點(diǎn)+光流法

將語義特征引入姿態(tài)估計(jì)，設(shè)計(jì)五個(gè)優(yōu)化變量

• 語義特征點(diǎn)對(duì)應(yīng)3D空間點(diǎn)
• ground objects地面參數(shù)
• 垂直語義的豎直平面參數(shù)
• 車道線的樣條曲線Ck
• 樣條曲線初始化的數(shù)據(jù)關(guān)聯(lián)

相關(guān)概念

centerNet

• CenterNet不僅可以用于目標(biāo)檢測(cè)，還可以用于其他的一些任務(wù)，如肢體識(shí)別或者3D目標(biāo)檢測(cè)等等，。
• 網(wǎng)絡(luò)實(shí)現(xiàn)的過程主要是使用boundingbox中心點(diǎn)代表物體，將圖像輸入到全卷積網(wǎng)絡(luò)得到熱圖（heatmap），根據(jù)熱圖分布來決定定位中心。

LaneNet

• LanNet提取車道線實(shí)例
• HNet輸出轉(zhuǎn)化矩陣H將測(cè)到仙女點(diǎn)坐標(biāo)經(jīng)過矩陣H轉(zhuǎn)化后用最小二乘擬合反轉(zhuǎn)換回原圖。

FREAK描述子

• 本文主要被用于進(jìn)行光流追蹤，其中描述子是從豎直類的語義中（諸如路燈和交通燈等）。

GFTT特征提取器

讀后感

• 相比于orb-slam建圖和定位，本文最大的優(yōu)點(diǎn)就在于改變傳統(tǒng)的各類特征點(diǎn)匹配計(jì)算位姿，對(duì)道路上的各類語義信息進(jìn)行不同類別的建模，從而降低了建圖所占用的存儲(chǔ)大小，并且也減輕了匹配的計(jì)算復(fù)雜度。然而，存在的問題也很明顯：
  1.建立的地圖是稀疏的，在一些開闊且沒有道路標(biāo)志的地方，可能并不會(huì)存在語義特征，此時(shí)依然只能使用GPS定位，對(duì)于環(huán)境的適用性沒有傳統(tǒng)的orb-slam高。
  2.在建圖階段，還是依賴于高精度的RTK慣導(dǎo)作為地圖的標(biāo)準(zhǔn)位置。