立體匹配也稱 _{視差估計(jì)}、 _{雙目深度估計(jì)}

• 輸入：一對(duì)在統(tǒng)一時(shí)刻捕捉的，經(jīng)過(guò) _極線校正 的左右圖像 Il和 Ir
• 輸出：參考圖像(一般選為左圖)每個(gè)像素對(duì)應(yīng)的視差值對(duì)應(yīng)的視差圖d
• 根據(jù)公式 z = b*f / d可獲得深度圖
  • b: 兩相機(jī)光心距離
  • f: 相機(jī)光心到成像平面的焦距
  • d: 兩相機(jī)的視差

立體匹配

背景概念

對(duì)極幾何

[[對(duì)極幾何｜Epipolar Geometry]]

視覺模型

• 匯聚式
  匯聚式

• 平行式
  平行式

平行式立體視覺模型中，兩攝像機(jī)光軸平行，因此左右圖像間對(duì)極線互相平行，且位于相同的圖像平面上，因此視差矢量平行于圖像的水平線，使得時(shí)差矢量退化為標(biāo)量

基本流程

匹配代價(jià)計(jì)算 -> 代價(jià)聚合 -> 視差計(jì)算 -> 視差優(yōu)化

匹配代價(jià)計(jì)算

• 目的：通過(guò)匹配代價(jià)函數(shù)計(jì)算待 _匹配像素 和 _候選像素 間的相關(guān)性，匹配代價(jià)越小說(shuō)明相關(guān)性越大

在右圖里尋找哪個(gè)像素對(duì)應(yīng)左圖中的這里，得到了視差，就可以根據(jù)焦距和光心距離計(jì)算到深度了

• 細(xì)節(jié)：會(huì)將視察搜索的范圍限定在Dmin~Dmax間，因此對(duì)于參考圖像的每一個(gè)像素，用一個(gè)W*H*D的三維矩陣(::DSI::-Disparity Space Image)存儲(chǔ)視差范圍內(nèi)每個(gè)像素的匹配代價(jià)
• 算法
  • 攝影測(cè)量：灰度絕對(duì)值差 AD、灰度絕對(duì)值之和 SAD、歸一化相關(guān)系數(shù) NCC

  • CV：互信息 MI、Census變換 CT、Rank變換 RT、BT等

    
    
    DSI矩陣

代價(jià)聚合

• 上一步計(jì)算出匹配代價(jià)的問題：只考慮了局部信息，通過(guò)兩個(gè)像素鄰域內(nèi)一定大小窗口內(nèi)的像素信息計(jì)算代價(jià)值，但這很容易受到噪聲影響，當(dāng)影像處于弱紋理或重復(fù)紋理區(qū)域(有意義信息很少，噪聲影響很大的區(qū)域)，代價(jià)值極有可能無(wú)法準(zhǔn)確反映像素之間的相關(guān)性
• 根本目的：考慮全局信息，對(duì)DSI進(jìn)行優(yōu)化，讓優(yōu)化過(guò)的代價(jià)值能準(zhǔn)確的反映像素之間的相關(guān)性
• 大致步驟：類似于 _視差傳播，
  1. 信噪比高的區(qū)域初始匹配效果很好，原始代價(jià)就能很好的反映相關(guān)性，可以更準(zhǔn)確的得到最優(yōu)視差值
  2. 通過(guò)建立鄰接像素之間的關(guān)系，每個(gè)像素在某個(gè)視差下的新代價(jià)值會(huì)根據(jù)相鄰像素在統(tǒng)一視差或附近視差下的代價(jià)值重新計(jì)算(如相鄰像素應(yīng)該具有連續(xù)的視差值)
  3. 傳播至信噪比低、匹配效果不太好的區(qū)域
  4. 最終得到新的矩陣S
• 常用方法：掃描線發(fā)、動(dòng)態(tài)規(guī)劃法、SGM算法中的路徑聚合法
  
  代價(jià)聚合

注：這一步極為關(guān)鍵，直接決定了算法的準(zhǔn)確性

視差計(jì)算

使用贏家通吃算法(WTA, Winner-Takes-All)對(duì)代價(jià)矩陣S選擇最小代價(jià)值對(duì)應(yīng)的視差值作為最佳視差

再次注：因?yàn)檫@部沒什么本質(zhì)性的操作，因此要求聚合效果非常好

視差計(jì)算

視差優(yōu)化

• 目的：對(duì)上一步得到的視差圖進(jìn)行進(jìn)一步優(yōu)化，改善視差圖的質(zhì)量，主要包括 _{剔除錯(cuò)誤視差}、 _{適當(dāng)平滑}、子像素精度優(yōu)化等
• 算法
  • 剔除因?yàn)檎趽鹾驮肼暥鴮?dǎo)致的錯(cuò)誤視差：左右一致性檢查算法(Left-Right Check)
  • 剔除孤立異常點(diǎn)：剔除小連通區(qū)域算法
  • 對(duì)視差圖進(jìn)行平滑：中值濾波(Median Filter)、雙邊濾波等平滑算法(Bilateral Filter)
  • 其他提高視差圖質(zhì)量的方法：魯棒平面擬合(Robust Plane Fitting)、亮度一致性約束(Intensity Consistent)、局部一致性約束(Locally Consistent)等
• 子像素精度優(yōu)化：由于WTA算法得到的視差值是整像素精度，可以對(duì)其進(jìn)一步子像素細(xì)化

  • 一元二次曲線擬合算法：通過(guò)最優(yōu)視差下的代價(jià)以及左右兩個(gè)視差下的代價(jià)值擬合一條一元二次曲線，取二次曲線的極小值點(diǎn)代表的視差值作為精細(xì)化后的子像素視差值

    
    
    視差優(yōu)化

References

• 3D視覺之立體匹配（Stereo Matching） - 知乎