Effective Background Model-Based RGB-D Dense Visual Odometry in a Dynamic Environment
動(dòng)態(tài)環(huán)境下基于有效背景模型的三維稠密視覺里程計(jì)
摘要:
本文提出了一種基于背景模型的魯棒密集視覺里程計(jì)算法,該算法在動(dòng)態(tài)環(huán)境中使用了一個(gè)RGB-D傳感器。該算法從深度場景中估計(jì)非參數(shù)模型表示的背景模型,然后基于估計(jì)的背景模型使用基于能量的稠密視覺里程計(jì)方法來估計(jì)傳感器的自我運(yùn)動(dòng),以考慮運(yùn)動(dòng)物體。實(shí)驗(yàn)結(jié)果表明,在動(dòng)態(tài)環(huán)境下,BaMVO能夠魯棒地獲得自我運(yùn)動(dòng)。
深度場景中估計(jì)非參數(shù)模型表示背景模型,用背景模型和基于能量?估計(jì)傳感器自我運(yùn)動(dòng)
I.介紹
本文提出了一種基于背景模型的基于RGB-D傳感器的稠密視覺里程計(jì)(BaMVO)算法,用于動(dòng)態(tài)環(huán)境下的魯棒導(dǎo)航。對于動(dòng)態(tài)環(huán)境下的視覺里程計(jì)計(jì)算,考慮了背景模型來減小運(yùn)動(dòng)目標(biāo)的影響。為了對背景模型進(jìn)行估計(jì),本文采用了一種主要用于背景減法領(lǐng)域的非參數(shù)模型[20]。然而,對于運(yùn)動(dòng)相機(jī)的圖像,由于相機(jī)的自我運(yùn)動(dòng)是未知的,使用背景減法提取異常運(yùn)動(dòng)是困難的。在此基礎(chǔ)上,利用深度場景計(jì)算背景模型,同時(shí)對傳感器的自運(yùn)動(dòng)進(jìn)行估計(jì),并用非參數(shù)模型表示背景模型。最后,應(yīng)用基于能量的DVO方法計(jì)算了基于估計(jì)背景模式的自運(yùn)動(dòng)
II.算法原理:基于背景模型的稠密視覺里程計(jì)算法
A.初始化
- x=(x,y)為像素坐標(biāo)
- 3d點(diǎn):
- 像素深度:
- 顏色信息:
- 針孔相機(jī)模型:
- 2維轉(zhuǎn)為3D點(diǎn):
- 3D點(diǎn)轉(zhuǎn)為2維:
- 2維轉(zhuǎn)為3D點(diǎn):
-
歐幾里得變換表示相機(jī)位姿變換:
-
李群李代數(shù):
B.深度圖變換
背景模型是通過累計(jì)深度差值來計(jì)算的。但是不能通過移動(dòng)的RGB-D相機(jī)的連續(xù)序列直接獲得,因?yàn)閳D像的視角在不斷變換。



背景模型就定義為當(dāng)前深度圖像與其重映射深度圖像之間差異圖像。
C.背景模型估計(jì)
本節(jié)介紹如果結(jié)余非參數(shù)模型,從深度場景中估計(jì)背景模型:
- 將深度圖像變換到和前一幀圖像的相同坐標(biāo)系下,計(jì)算出差分圖像
- 背景概率密度函數(shù)
可以對每個(gè)像素分別進(jìn)行非參數(shù)估計(jì)。
其中是深度圖像每個(gè)像素的偏差,N是深度圖像大小。
該算法從一開始就假設(shè)RGB-D傳感器在N幀內(nèi)沒有運(yùn)動(dòng),為了減少這種假設(shè)的負(fù)面影響,在考慮估計(jì)誤差的情況下,應(yīng)該將存儲的深度圖像的數(shù)量設(shè)置的盡可能低,作者設(shè)置為N

- 由于RGB-D傳感器的干涉孔位置隨時(shí)間的不同而變化,連續(xù)變換的深度圖像之間存在較大的跳動(dòng)。由于存儲的深度圖像之間的點(diǎn)不對應(yīng),也會出現(xiàn)這種情況。
這一段沒讀懂
-
偏差σZ (x)是使用圖像中的所有像素的深度的平均絕對偏差估計(jì)的:
這里是每個(gè)像素一個(gè)偏差,計(jì)算中用到的是第k-n個(gè)到第k個(gè)圖像差分的像素x的均值。
C 是常數(shù)比例因子, 是累積分布函數(shù)。
- 定義背景圖像
- 為了確定背景閾值,(8)和(9)與每幀的動(dòng)態(tài)目標(biāo)速度
相結(jié)合:
-
95%的置信區(qū)間(CI)為:
其中
是深度差分布的標(biāo)準(zhǔn)差,圖3是深度差的概率密度函數(shù),作者說靜態(tài)環(huán)境中固定的RGB-D傳感器的
為16.23,然后就獲得了想圖4(d)一樣的有標(biāo)記的背景圖像
D.傳感器模型估計(jì)
為了提高自我運(yùn)動(dòng)估計(jì)的魯棒性,需要使用傳感器模型來剔除標(biāo)記背景圖像中的異常值。與[14]中的工作類似,該解析器通過使用t分布增強(qiáng)了魯棒性,灰度殘差圖像
定義為:

其中
是RGB圖像轉(zhuǎn)為的灰度圖像值。
- 為了增加魯棒性,從t分布推導(dǎo)出傳感器模型的權(quán)重函數(shù)
其中v是t分布的自由度,是估計(jì)的強(qiáng)度殘差(灰度)標(biāo)準(zhǔn)差
作者設(shè)置v=5
-
通過由粗到細(xì)的迭代估計(jì)強(qiáng)度殘差的方差來計(jì)算自我運(yùn)動(dòng):
其中
是剔除掉運(yùn)動(dòng)物體后的像素幾何,M是背景(
)的像素?cái)?shù)
-
綜合考慮估計(jì)的背景和傳感器模型,將用于運(yùn)動(dòng)估計(jì)的權(quán)函數(shù)W定義為:
E.基于背景模型的自我運(yùn)動(dòng)估計(jì)
- 利用權(quán)函數(shù)
計(jì)算自運(yùn)動(dòng),從連續(xù)的RGB-D場景的整個(gè)密集信息中計(jì)算自運(yùn)動(dòng),采用基于背景模型的基于能量的方法,能量函數(shù)
定義為:
通過最小化(17),不僅最大化了連續(xù)圖像之間的光一致性,而且最小化了場景中移動(dòng)對象的影響。
-
為了解決最小化問題,需要對殘差進(jìn)行線性逼近。本文采用一階泰勒級數(shù)近似方法對翹曲光強(qiáng)圖像進(jìn)行近似:
-
(18)中的變換函數(shù)也近似化為
-
根據(jù)鏈?zhǔn)椒▌t,對變換函數(shù)(19)中的坐標(biāo)系k的導(dǎo)數(shù)展開為:
-
由式(4)可以得到單位時(shí)間齊次變換矩陣的導(dǎo)數(shù)為
-
類似地,在(13)中,上面齊次變換矩陣的導(dǎo)數(shù)在R12中被重新構(gòu)造成一個(gè)向量,以簡化符號為
T是
中的齊次變換向量,從齊次變換矩陣的第一行到第三行進(jìn)行重構(gòu),M是一個(gè)12x6矩陣。
-
變換函數(shù)對坐標(biāo)系k的導(dǎo)數(shù)表示為
是 2 × 6 的矩陣
-
最終的能量函數(shù)為:
- 由于能量函數(shù)(24)是一個(gè)線性加權(quán)最小二乘問題,通過求解其對應(yīng)的正態(tài)方程為,可以很容易地找到使殘差最小的最佳其中:
- 在整個(gè)計(jì)算過程中應(yīng)用由粗到精的方法,逐步計(jì)算了齊次變換矩陣
。對于細(xì)化方案,使用翹曲函數(shù)(5)as更新第k幀的強(qiáng)度
是四個(gè)相鄰像素
- 通過對每一幀的齊次變換矩陣進(jìn)行累加,很容易得到傳感器(
)的位姿:
III.實(shí)驗(yàn)
平均總計(jì)算時(shí)間為每幀42.6 ms,在此幀率(23.5幀/秒)下,該算法可用于機(jī)器人實(shí)時(shí)導(dǎo)航。通過靜態(tài)和動(dòng)態(tài)兩種實(shí)驗(yàn)驗(yàn)證了該算法的有效性。
B.動(dòng)態(tài)環(huán)境中的實(shí)驗(yàn)
實(shí)驗(yàn)結(jié)果表明,該算法在動(dòng)態(tài)環(huán)境下對標(biāo)記背景圖像的魯棒性較好。為了表示定量分析中的誤差,采用均方誤差法測量每幀傳感器姿態(tài)的變化,如表二所示。如表所示,所提出的視覺測距算法BaMVO的精度是其他算法的幾十倍。





















