The SEN1-2 Dataset for Deep Learning in SAR-Optical Data Fusion
Jul 2018 by M. Schmitt & L. H. Hughes & X. X. Zhu
??????關(guān)鍵詞
合成孔徑雷達（SAR）、光學(xué)遙感(optical remote sensing)、哨兵一號、哨兵二號、深度學(xué)習(xí)、數(shù)據(jù)融合
??????0. 摘要
雖然在許多技術(shù)領(lǐng)域，深度學(xué)習(xí)爆發(fā)了一波影響力，但是在遙感領(lǐng)域生成足夠大量的訓(xùn)練數(shù)據(jù)仍然是一個很有挑戰(zhàn)性的難題，尤其是涉及到來自于多種傳感器的帶有異質(zhì)特征的數(shù)據(jù)。舉一個例子，合成孔徑雷達（SAR）的數(shù)據(jù)和光學(xué)影像的融合就很能說明問題。在這篇文章中，我們推出了一個SEN1-2數(shù)據(jù)集，用來為將深度學(xué)習(xí)應(yīng)用到SAR-Opt數(shù)據(jù)融合領(lǐng)域提供助力。SEN1-2容納了 282,384 對兒(pairs of)呈對應(yīng)關(guān)系的圖像塊兒(patches)，空間上，來自全球，時間上則囊括了每一個氣象季節(jié)。拋開對數(shù)據(jù)集的詳細(xì)描述不談，我們還展示了幾個實例性的實際應(yīng)用，像是SAR圖像著色、SAR-Opt圖像匹配，還包括把輸入的SAR圖像轉(zhuǎn)變成光學(xué)圖像。既然SEN1-2是此類首個大型開源數(shù)據(jù)集，我們相信它將會支撐在「遙感領(lǐng)域的深度學(xué)習(xí)」和「多傳感器數(shù)據(jù)融合」領(lǐng)域的長遠發(fā)展。
??????1. 引言
在過去的幾年里，深度學(xué)習(xí)在遙感領(lǐng)域嶄露頭角( Zhang et al., 2016, Zhu et al., 2017 )，這主要是因為在遙感觀測結(jié)果和我們期待的地理信息之間存在著高度非線性的關(guān)系，這樣的關(guān)系用物理模型來解釋非常操蛋，但深度神經(jīng)網(wǎng)絡(luò)卻可以模擬出來。深度學(xué)習(xí)在遙感這一塊最讓人感覺靠譜的方向之一應(yīng)該就是數(shù)據(jù)融合( Schmitt and Zhu, 2016 )，這尤其適合SAR和光學(xué)數(shù)據(jù)的聯(lián)合研究，因為它倆無論在幾何方面還是輻射測量的表征上都截然不同。SAR系統(tǒng)基于距離測量(range measurements)并主要觀測目標(biāo)場景的理化性質(zhì)，光學(xué)圖像基于角度測量(angular measure- ments)觀測環(huán)境的化學(xué)特征的信息。
為了推動深度學(xué)習(xí)技術(shù)在SAR-Opt數(shù)據(jù)融合領(lǐng)域的發(fā)展，能夠搞一個完美對齊的圖像或圖像塊組成的大型數(shù)據(jù)集相當(dāng)重要，但這需要在工程上作出很大的努力。與此同時，比起傳統(tǒng)的計算機視覺使用一些隨處可得的圖像就能玩得溜，遙感圖像一般頗為昂貴，發(fā)射一顆遙感衛(wèi)星要花好多錢，這就造成了圖像成本相對比較高的問題。不過，在2014年，情況被大大改善了，哨兵系列衛(wèi)星的第一顆——搭載著SAR系統(tǒng)的哨兵一號A(Sentinel-1A)被歐洲空間局ESA送上太空，多說兩句，哨兵系列工程是哥白尼計劃的一部分，這一計劃最終目的是持續(xù)性地向終端用戶免費提供各種衛(wèi)星的觀測數(shù)據(jù)。
利用這個新潮的大型遙感數(shù)據(jù)源，我們就在這篇文章了里推出了被稱為SEN1-2的數(shù)據(jù)集。它包括282,384對兒SAR-Opt圖像塊，這些圖像都是哨兵一號和哨兵二號的觀測結(jié)果。這些圖像塊范圍遍布全球陸地，四季都有。這篇文章主要描述了一下數(shù)據(jù)集的制作過程，它的特點(characteristics)和特征(features)，還有一些用作實例的應(yīng)用。
??????2.哨兵一號、哨兵二號遙感數(shù)據(jù)集介紹
哨兵衛(wèi)星是ESA的哥白尼工程的一部分，其目的是取代過去在氣候、海洋、陸地檢測的領(lǐng)域的遙感任務(wù)，以保持?jǐn)?shù)據(jù)的連續(xù)性。為了完成這一任務(wù)，六個不同的衛(wèi)星投入運行，它們在地球觀測方面有不同的側(cè)重。在這些任務(wù)中，我們尤其關(guān)注哨兵一號和哨兵二號，因為它們分別提供了合成孔徑雷達和光學(xué)遙感最常規(guī)的影像。
???2.1 哨兵一號
哨兵一號( Torres et al., 2012 )包括兩個極地軌道衛(wèi)星，配備了C波段SAR遙感系統(tǒng)，使它們獲得了無視天氣情況進行觀測的能力。
哨兵一號以預(yù)編程模式運行，以避免沖突并向長期運行的程序生成具有一致性的數(shù)據(jù)存檔。取決于選擇四種特有的成像模式中的某一種，圖像分辨率最高可達五米，覆蓋四百公里內(nèi)的區(qū)域，而且，哨兵一號在赤道附近能提供雙極化能力，重訪時間也非常短，大概一周。將衛(wèi)星高度和姿態(tài)的高精度和基于距離的SAR系統(tǒng)的高精度相結(jié)合，哨兵一號具有高開箱即用( high out-of-the-box )的地理定位精度( Schubert et al., 2015 )。
對于我們數(shù)據(jù)集中的哨兵一號圖像，采用了最為常規(guī)的干涉寬幅寬帶(IW)模式下采集，結(jié)果就是所謂的地面檢測(GRD)效果。這些圖像中每個像素都包含dB標(biāo)度和σ0反向散射系統(tǒng)，采用的方向角為五米，范圍是二十米。為了簡化操作，我們把注意力集中在垂直極化(VV)數(shù)據(jù)上而把其他的極化拋到一邊。最后，對于精確的正射校正，恢復(fù)的軌道信息與三十米的SRTM-DEM或者是ASTER-DEM相結(jié)合，彌補了高緯度地區(qū)無法得到數(shù)據(jù)的缺陷。
終端用戶可能對數(shù)據(jù)做自己想要的預(yù)處理來使數(shù)據(jù)更適合自己的任務(wù)，因此，我們就沒有做什么散斑過濾之類的工作。
???2.2 哨兵二號
哨兵二號( Drusch et al., 2012 )包括了在同一個極地軌道上的兩顆衛(wèi)星，它們彼此相差180°，這項工程目的是為SPOT和LandSat類型的多光譜圖像數(shù)據(jù)續(xù)命，所得到的數(shù)據(jù)提供了有關(guān)地球表面幾十年的信息。它的掃描寬幅達到290公里，當(dāng)衛(wèi)星運行在赤道面附近(僅有一顆)時，回訪時間大約是十天，有兩顆衛(wèi)星是則是五天。在沒有云的時候，它尤其適合處在生長季節(jié)內(nèi)的植被檢測。
對于我們所使用的哨兵二號衛(wèi)星數(shù)據(jù)的部分來說，只涉及了紅色、綠色和藍色通道(也就是第4、3和2波段)，用RGB來生成逼真的彩色圖像。哨兵二號的數(shù)據(jù)并非以衛(wèi)星圖片的形式分發(fā)，而是精確的地理參考顆粒(granules)，因此就省了我們做進一步處理。與SAR系統(tǒng)不同，光學(xué)圖像選擇數(shù)據(jù)必須參考云層覆蓋的量，對于剛開始的選擇，在數(shù)據(jù)庫里查詢，從而能使用那些云層覆蓋率在一個百分點以下的顆粒。
