先思考一個(gè)問題：用兩個(gè)相機(jī)在不同的位置拍攝同一物體，如果兩張照片中的景物有重疊的部分，我們有理由相信，這兩張照片之間存在一定的對(duì)應(yīng)關(guān)系，本節(jié)的任務(wù)就是如何描述它們之間的對(duì)應(yīng)關(guān)系，描述工具是對(duì)極幾何 ，它是研究立體視覺的重要數(shù)學(xué)方法。
要尋找兩幅圖像之間的對(duì)應(yīng)關(guān)系，最直接的方法就是逐點(diǎn)匹配，如果加以一定的約束條件對(duì)極約束(epipolar constraint)，搜索的范圍可以大大減小。
先回顧簡(jiǎn)單的立體成像系統(tǒng)
對(duì)極約束的圖示
image
更一般的立體成像關(guān)系：兩個(gè)相機(jī)的坐標(biāo)無任何約束關(guān)系，相機(jī)的內(nèi)部參數(shù)可能不同，甚至是未知的。要刻畫這種情況下的兩幅圖像之間的對(duì)應(yīng)關(guān)系，需要引入兩個(gè)重要的概念——對(duì)極矩陣(Epipolar Matrix)和基本矩陣(Fundamental Matrix)。
image
對(duì)極幾何中的重要概念（參考下圖）：
極點(diǎn)：極點(diǎn)el
:右相機(jī)坐標(biāo)原點(diǎn)在左像平面上的像；極點(diǎn)er
:左相機(jī)坐標(biāo)原點(diǎn)在右像平面上的像
極平面：由兩個(gè)相機(jī)坐標(biāo)原點(diǎn)Ol
、Or
和物點(diǎn)P組成的平面
級(jí)線：極平面與兩個(gè)像平面的交線，即plel
和prer
級(jí)線約束：兩極線上點(diǎn)的對(duì)應(yīng)關(guān)系
有點(diǎn)煩人，先轉(zhuǎn)移一下話題：What would Pinhead’s eye look like close up?
image
image
image
如果兩個(gè)人同時(shí)看這一景物，將是什么樣的呢？
image
image
image
image
image
再回到對(duì)極幾何圖上來，通過上面幾幅圖示，利用對(duì)極幾何的約束關(guān)系，我們可以：
- 找到物點(diǎn)P在左像平面上的像點(diǎn)pl
； - 畫出極線plel
； - 找到極平面Olplel
與右像平面的交線，即得極線prer
； - 像點(diǎn)pl
的對(duì)應(yīng)點(diǎn)一定在極一prer
上。
image
兩個(gè)相機(jī)坐標(biāo)系之間的關(guān)系為
image
由于R是正交矩陣，因此可寫為
image
Geometry)" style="margin: 0px; padding: 0px; border: 0px; list-style: none;">
三向量共面，它們的混合積為零(混合積對(duì)應(yīng)于有向體積)
image
將向量乘(叉乘)寫成矩陣的形式
image
image
通過進(jìn)一步的改寫，可以得到左像點(diǎn)和右像點(diǎn)之間約束關(guān)系(非常簡(jiǎn)單、漂亮)
image
顯然，左像點(diǎn)pl
和右像點(diǎn)pr
是通過矩陣E=RS
來約束的，我們稱矩陣E
為本質(zhì)矩陣(Essential Matrix)，它的基本性質(zhì)有：
? has rank 2(秩為2)
? depends only on the EXTRINSIC Parameters (R & T)(僅依賴于外部參數(shù)R和T)
