光束平差法由Bundle Adjustment翻譯得來(lái)，有兩層意思：
對(duì)場(chǎng)景中任意三維點(diǎn)P，由從每個(gè)視圖所對(duì)應(yīng)的的攝像機(jī)的光心發(fā)射出來(lái)并經(jīng)過(guò)圖像中P對(duì)應(yīng)的像素后的光線，都將交于P這一點(diǎn)，對(duì)于所有三維點(diǎn)，則形成相當(dāng)多的光束（bundle）；實(shí)際過(guò)程中由于噪聲等存在，每條光線幾乎不可能匯聚與一點(diǎn)，因此在求解過(guò)程中，需要不斷對(duì)待求信息進(jìn)行調(diào)整（adjustment），來(lái)使得最終光線能交于點(diǎn)P。對(duì)m幀，每幀含N個(gè)特征點(diǎn)的目標(biāo)函數(shù)如下：
其中：x?表示受白噪聲影響的估計(jì)二維點(diǎn)坐標(biāo)，π為投影函數(shù)，如果點(diǎn)j出現(xiàn)在圖i上，則θ=1，否則θ_{ij}=0。
這是一個(gè)非凸問(wèn)題。
式子（1）表示對(duì)所有點(diǎn)
以上便是光束平差法目標(biāo)函數(shù)的原理。由于場(chǎng)景中特征點(diǎn)往往較多，該問(wèn)題是一個(gè)巨大的高維非線性?xún)?yōu)化問(wèn)題。接下來(lái)，需要對(duì)上述式子進(jìn)行求解，這是光束平差法的核心內(nèi)容。
針對(duì)具體應(yīng)用場(chǎng)景，光束平差法有不同收斂方法。目前常用的方法有梯度下降法，牛頓法，高斯牛頓法，Levenber-Marquardt等方法。
一個(gè)直觀的圖如下所示：
- 其實(shí)第一次投影指的就是相機(jī)在拍照的時(shí)候三維空間點(diǎn)投影到圖像上
- 然后我們利用這些圖像對(duì)一些特征點(diǎn)進(jìn)行三角定位（triangulation），利用幾何信息（對(duì)極幾何） 構(gòu)建三角形來(lái)確定三維空間點(diǎn)的位置
- 最后利用我們計(jì)算得到的三維點(diǎn)的坐標(biāo)（注意不是真實(shí)的）和我們計(jì)算得到的相機(jī)位姿（當(dāng)然也不是真實(shí)的）進(jìn)行第二次投影，也就是重投影。
重投影誤差：指的真實(shí)三維空間點(diǎn)在圖像平面上的投影（也就是圖像上的像素點(diǎn)）和重投影（其實(shí)是用我們的計(jì)算值得到的虛擬的像素點(diǎn)）的差值，
因?yàn)榉N種原因計(jì)算得到的值和實(shí)際情況不會(huì)完全相符，也就是這個(gè)差值不可能恰好為0，此時(shí)也就需要將這些差值的和最小化獲取最優(yōu)的相機(jī)位姿參數(shù)及三維空間點(diǎn)的坐標(biāo)。
