深度學習開創(chuàng)了3D真實場景下，獲取深度的新道路。

分享一下CVPR2019的文章：Group-wise Correlation Stereo Network

X. Guo, K. Yang, W. Yang, X. Wang and H. Li:?Group-wise correlation stereo network. CVPR 2019.

? ? ?立體匹配估計一對矯正過的圖像之間的視差(disparity)，這對深度感知、自動駕駛和其它相關(guān)任務(wù)非常重要。之前的學術(shù)工作主要是算出代價量（cost volume），通過交叉相關(guān)或者是在所有的視差層級上進行左右特征的 concat，然后用一個 2D或3D的卷積網(wǎng)絡(luò)來回歸出視差圖。這篇論文中，我們提出要通過分組相關(guān)（group-wise correlation）來算出代價量。沿著通道維度將左、右特征劃分為若干組，然后在每組中計算相關(guān)圖，進而得到多個匹配代價 proposals，然后打包到代價量中。分組相關(guān)為特征的相似度的計算提供了有效的表示，而不會像完全相關(guān)（full correlation）一樣造成過多的信息丟失。和之前的方法相比，它在降低參數(shù)個數(shù)的同時也可以保持原先的性能。這篇論文也改進了 3D stacked Hourglass 網(wǎng)絡(luò)，提升性能，降低推理計算成本。我們在 Scene Flow, KITTI2012 和 KITTI2015 數(shù)據(jù)集上進行了實驗，證明該方法的性能。

? ? ? ?一個像素點的視差d 可以通過Fl/d 轉(zhuǎn)換為深度值，F(xiàn) FF表示相機的焦距，l ll是兩個相機中心點的距離。因此，深度的精度隨著視差預測的精度而提升。

? ? ? ?傳統(tǒng)的立體方法通常由以下四個步驟組成，匹配代價計算、代價聚合、視差優(yōu)化、和后處理。匹配代價計算為左圖像塊和可能對應(yīng)的右圖像塊提供初始相似性度量，這一步對立體匹配很關(guān)鍵。一些常用的匹配代價包括絕對差值（SAD）、平方差之和（SSD）、歸一化相關(guān)系數(shù)（NCC）。cost aggregation和optimization steps則結(jié)合了上下文匹配代價、正則化項來得到更強大的視差預測.?

? ? ? ?基于深度學習的方法

用神經(jīng)網(wǎng)絡(luò)來計算matching cost,視差優(yōu)化,匹配代價聚合，還有一些后處理過程。GC-NET,PSM-NET(spatial parmaid pooling model,