6月15日下午，在WGDC2018人工智能遙感解譯大會上，商湯科技高級研究員李聰做了專題演講，以下為演講實錄。

　　主持人：各位來賓，下午好，感謝大家撥冗蒞臨WGDC2018商湯科技專場。商湯科技是全球領(lǐng)先的人工智能平臺公司，秉持著堅持原創(chuàng)，讓AI引領(lǐng)人類進步的理念，與我們共同來探討人工智能遙感影像解譯方案。

　　地球是我們賴以生存的美麗家園，人類自誕生以來就沒有停止過對這顆美麗藍色星球的探索，從盤古開天到滄海桑田，那些傳說中記載著人類文明以來我們對地球的認知，現(xiàn)代文明的發(fā)展，遙感技術(shù)的進步，讓冰冷而陌生的地理物質(zhì)變得溫?zé)岫煜?。進入人工智能時代，我們更加愿意擁抱新技術(shù)，用更加自動化的數(shù)據(jù)處理與分析能力。下面有請商湯科技高級研究員李聰，為大家介紹人工智能機器視覺是如何解讀遙感大數(shù)據(jù)的。

　　李聰：

　　謝謝大家，感謝大家的耐心等待。我是商湯科技的算法研究員，主要負責(zé)深度學(xué)習(xí)技術(shù)遙感方面的應(yīng)用，今天由我來為大家分享一些基于深度學(xué)習(xí)技術(shù)在遙感領(lǐng)域中取得的技術(shù)成果。

　　首先，對我們公司進行簡要的介紹。我們公司到目前成立還不足四年，但我們在人工智能科研技術(shù)里面有了20年的科研積淀，目前員工超過1700名。人工智能方面的博士超過150名，我們公司在今年上半年已經(jīng)獲得了累計超過12億美元的融資，在人工智能領(lǐng)域目前累計融資全球最大。同時，我們的技術(shù)也在各個行業(yè)里有了深入的應(yīng)用，比如金融、智慧城市、智能手機、AR芯片、無人駕駛等方面。

　　能取得上述的成績離不開我們公司在以下三個方面的堅實的工作，首先是我們有深度學(xué)習(xí)平臺Parrots，是我們自主研發(fā)的，擁有自主知識產(chǎn)權(quán)，面對我們現(xiàn)在超大規(guī)模的網(wǎng)絡(luò)、超大數(shù)據(jù)的學(xué)習(xí)以及復(fù)雜關(guān)聯(lián)應(yīng)用網(wǎng)絡(luò)方面有突出的優(yōu)勢。為了加快深度學(xué)習(xí)模型的訓(xùn)練，算法的迭代優(yōu)化，我們還有深度學(xué)習(xí)超算中心。我們深耕多個領(lǐng)域進行AI原創(chuàng)技術(shù)的研發(fā)與積累，目前希望打造中國的人工智能時代的國家電網(wǎng)。目前我們已經(jīng)在14個垂直行業(yè)里面與700多個國內(nèi)外知名企業(yè)進行了深度學(xué)習(xí)，并且在市場占有率上居于首位。這是我們的自主原創(chuàng)的深度學(xué)習(xí)平臺Parrots，我們有自主知識產(chǎn)權(quán)，不必擔(dān)心受制于人。我們可分布式的訓(xùn)練必不可少，我們也對底層代碼進行深度優(yōu)化，提升了運算效率，降低能耗。為了應(yīng)對復(fù)雜的需求，我們的平臺同時支持復(fù)雜關(guān)聯(lián)應(yīng)用模型的快速便捷的部署跟搭建，具有高度的可伸縮特性。這是我們目前擁有的GPU超算集群，目前擁有超過8000塊GPU卡，在多地搭建了10個GPU集群，最大的連接規(guī)模超過800塊GPU卡。

　　我們的技術(shù)也在計算機視覺里面多項全球的賽事獲得了驗證，參賽隊伍有IT知名企業(yè)，還有科研院校。我們的任務(wù)包括分割檢測、分類識別、跟蹤、場景深度估計等多個任務(wù)。在6月1號結(jié)束的CVPR上，在土地分類的任務(wù)中我們也取得了冠軍。完成該比賽的只是我們一名大四的實習(xí)生，這其中離不開他自身的努力，當然也離不開我們前面提到的軟硬件的基礎(chǔ)，和我們各項技術(shù)的積累。

　　后面通過兩個案例更具體的介紹一下基于深度學(xué)習(xí)技術(shù)在遙感解譯方面的應(yīng)用。我們是以光學(xué)遙感影像的解譯為主，先介紹兩個方向，一個是分割，另一個是檢測。分割的主要技術(shù)，現(xiàn)在處理的主要是在土地利用類型分類的問題上，具體應(yīng)用到遙感場景的時候會有這樣幾個問題，首先遙感場景里面對的待分類的地類有分布廣的特性，通常在圖像上有大面積的分布，比如說圖中的耕地、水體、林地等地類。然后相比起通用場景下的分割，我們遙感場景里的地類缺少結(jié)構(gòu)信息，比如說我們右邊的這幾個場景，如果說我們想對人體進行分割的時候，我們會知道人會有頭部、四肢這樣的結(jié)構(gòu)信息，如果我們?nèi)ミM行一個車的識別跟分割的時候，知道車有車輪、車箱、車頭這些部件，右圖建筑物的分割，我們知道如果來分割一個矩形物體，然后外面有好多的窗戶的部件，可能是建筑物?？赡茉谖覀冞b感場景中就缺少這些必要的結(jié)構(gòu)信息。還有傳統(tǒng)的解譯方法主要有兩類，一個是面向像素，一個是面向?qū)ο?。但是由于我們遙感場景里面的問題多樣性，場景的復(fù)雜，如何去設(shè)計更好的特征進行特征的選取和融合，以達到更好的解譯效果。這是一個非常關(guān)鍵的問題，我們以6月1號結(jié)束的比賽里面，土地利用類型分類的具體任務(wù)，給大家介紹一下我們的解決思路。

　　首先我們搭建了一個網(wǎng)絡(luò)，主要有三部分組成，也分別針對于剛才提到的三個問題進行了充分的剖析和優(yōu)化。首先第一個是我們建立了Backbone，這個Backbone是滿足我們處理大區(qū)域圖像的訴求，應(yīng)對了我們前面提到的遙感場景里面的分布網(wǎng)絡(luò)特性。第二個部分是我們多使用了道路信息，讓它作為一個輔助類增加結(jié)構(gòu)信息，以輔助大類之間準確性的判斷，后面會有具有的效果。第三個部件是我們設(shè)計的深度融合模塊，這個模塊會使不同層次的信息進行深度融合，同時保證了整個網(wǎng)絡(luò)梯度信息回傳，能提升細節(jié)，又能優(yōu)化模型訓(xùn)練，最后實現(xiàn)更精準的分類效果。

　　經(jīng)過這三個模塊，我們的模型就能達到很好的分類效果，最終在我們的原始指標上提升20%以上，同時取得第一名的成績。

　　為了證明模型的穩(wěn)定性，還同時將我們設(shè)計優(yōu)化的網(wǎng)絡(luò)應(yīng)用到了一個建筑物提取的任務(wù)上，我們使用了跟spaceNet challenge建筑物提取的數(shù)據(jù)集一樣的，我們跟之前的指標進行了比較，可以看到總體指標上我們已經(jīng)取得了大幅度的提升，超過5%。尤其是在這些比較困難的城市上，提升幅度已經(jīng)超過了10%。如果大家對深度學(xué)習(xí)在分割任務(wù)上比較了解的話，在通用場景下mask-rcnn是一個穩(wěn)定的模型，我們發(fā)現(xiàn)各個城市已經(jīng)取得了優(yōu)于mask-rcnn的精度，下面給大家看一下我們的效果。首先我們用前面的網(wǎng)絡(luò)提出來一個關(guān)于建筑物的概率圖，然后進行矢量轉(zhuǎn)換，疊加到原始影像上，就出現(xiàn)了右邊這個具體的效果。前面的具體的任務(wù)主要是介紹一下深度學(xué)習(xí)技術(shù)的成果，后面一個就是目標檢測的問題。

　　目標檢測同樣有三個自己的特點，首先我們的遙感影像通常數(shù)據(jù)特別大，1萬×1萬，甚至更大?，F(xiàn)在深度學(xué)習(xí)的目標檢測通常是在一個尺寸比較固定的小圖上處理的，比如說500×500的大小，所以在處理大圖的時候要把它裁成若干個小圖，一下子就會多達幾千個，普通網(wǎng)絡(luò)的處理效率簡直就沒法忍受了。另一個是遙感場景里的目標，通常尺寸比較小，大部分集中在幾個像素到幾十個像素之間，如何保證這么小的目標有比較高的召回，不遺漏我們需要檢測到的目標是非常核心的問題。另外一個問題，當我們保證關(guān)注的目標不被漏檢的時候，是不是可能會導(dǎo)致產(chǎn)生特別多的虛警，保證高召回跟高虛警的目標就變成了特別需要關(guān)注的問題。

　　我們以大圖像上的飛機檢測給大家做個介紹。首先我們整個網(wǎng)絡(luò)有四個子模塊構(gòu)成，前面介紹的兩個是特征提取的小網(wǎng)絡(luò)跟分類的子網(wǎng)絡(luò)，這兩個網(wǎng)絡(luò)是為了進行圖像處理的提速，就是前面說的要處理幾千個小圖像，會優(yōu)化每一次的處理效率。另外一個目標檢測的子網(wǎng)絡(luò)，主要是針對于前面提到的特別小的目標設(shè)計的，我們既要保證我們的小目標能夠被高效的召回，同時又不引入特別多的虛警。另外一個就是為了加強大家在具體用我們模型時候的用戶體驗，我們會對模型的虛警進行進一步的優(yōu)化，這個優(yōu)化是結(jié)合在通用場景里面大家常用的多任務(wù)聯(lián)合訓(xùn)練的思路，將飛機的關(guān)鍵點檢測子網(wǎng)絡(luò)融合到其中，同時這個子網(wǎng)絡(luò)還有一個優(yōu)勢，如果我們的數(shù)據(jù)里還有坐標和分辨率的信息，那我們也能夠提供準確的飛機的方位信息，輔助我們后面進行更深層次的飛行型號識別的任務(wù)。通過總共四個子模塊的優(yōu)化，就實現(xiàn)了在大尺寸的遙感影像上對小目標的高精度的檢測。

　　首先我們介紹一下特征提取小網(wǎng)絡(luò)。我們對模型的網(wǎng)絡(luò)結(jié)構(gòu)進行了深度的優(yōu)化，同時對參數(shù)量進行了極大的壓縮。這次給大家展示的具體的實踐效果，所使用的網(wǎng)絡(luò)，我們的模型參數(shù)僅有39萬。大量的網(wǎng)絡(luò)參數(shù)壓縮也會顯著降低內(nèi)存消耗，提升整個小圖的處理效率，為我們大圖的CPU平臺的處理提供了可能。

　　第二，我們設(shè)計分類子網(wǎng)絡(luò)，要對大圖下的小圖進行處理，后續(xù)的流程就是做子網(wǎng)絡(luò)的很多的任務(wù)，比如說關(guān)鍵點檢測。有的時候小圖上沒有飛機，我們沒有進行后面的兩個操作，所以我們增加了分類的子網(wǎng)絡(luò)，只判斷這個小圖上有沒有，有的時候才處理，所以可以節(jié)省后面兩個子網(wǎng)絡(luò)的時間，節(jié)省的時間大概在20%到30%之間，同時我們也不需要單獨設(shè)計的特征提取，我們后面的三個子網(wǎng)絡(luò)都是共享前面特征小網(wǎng)絡(luò)里面的特征。

　　我們再具體介紹一下目標檢測子網(wǎng)絡(luò)。這里面讓我們考慮兩個內(nèi)容，首先是在小目標檢測上關(guān)于anchor的正對性優(yōu)化設(shè)計。經(jīng)過我們的優(yōu)化極大的提升我們對小目標的召回。

　　下面是另外一個問題，我們有了這個小目標的召回之后，我們怎么能保證我們的小目標召回出來的都是正確的，而不是說把其他的類似于飛機的東西都檢測出來了。我們就設(shè)計了一個多尺度的特征提取跟融合方案。比如說小飛機，發(fā)現(xiàn)旁邊還有一個檢測清晰度更高的飛機，當前這個目標就很有可能被預(yù)測成飛機，是這樣的關(guān)聯(lián)。通過這兩部分，我們就能既提高小目標的召回，有能有效的抑制它的虛警。

　　我們想對前面做出來的關(guān)于目標的檢測做出來的更進一步的虛警，實際的應(yīng)用中大家會發(fā)現(xiàn)在飛機上，其實你特別容易檢測出來一些類似于飛機的東西，當成一個正樣本，導(dǎo)致你最終的結(jié)果有好多的虛警。我們就設(shè)計了一個關(guān)鍵點檢測的子網(wǎng)絡(luò)，這對我們一開始獲得的初步的飛機檢測結(jié)果，進行關(guān)鍵點的檢測，用幾何信息判斷是不是真正的飛機。

　　下面是機場的具體的效果，設(shè)計了不同顏色、不同尺寸，甚至有一些高度上的重疊對象。正常情況下我們會拿到一張?zhí)貏e大的影像，也是我們普通的影像，對兩萬×兩萬左右的影像，除了飛機場很多情況下都有飛機，只是大家不太關(guān)注。通過我們的算法也能很高效的給機場外的小飛機進行高精度的檢測。

　　前面我們通過土地利用類型分類和建筑物的提取，加上最后在目標檢測方面的一個飛機檢測具體的案例，介紹了我們部分遙感應(yīng)用上的探索。其實我們現(xiàn)在已經(jīng)取得了很多的技術(shù)成果，到目前為止已經(jīng)有了關(guān)于技術(shù)的20多個發(fā)明專利，而且其中絕大部分的技術(shù)已經(jīng)被成功的應(yīng)用到了我們具體的業(yè)務(wù)場景里，關(guān)于這一部分一會兒我們的產(chǎn)品負責(zé)人會進行更細致的介紹。我的演講內(nèi)容就是這些，再次感謝大家的光臨。如果大家對深度學(xué)習(xí)技術(shù)的遙感方面的應(yīng)用比較感興趣，也特別期待大家會后進行深層次的交流。特別希望我們商湯科技利用自己的技術(shù)和我們的努力，真正能夠為遙感技術(shù)的應(yīng)用奉獻一份自己的力量，謝謝大家。