主持人：我們下面開始開會，尊敬的龔健雅院士，各位領(lǐng)導(dǎo)，各位企業(yè)家，各位來賓、朋友們，還有今天云端的包括世界各地的朋友們，大家上午好！這里是WGDC2021第十屆全球地理信息開發(fā)者大會商業(yè)航天2025峰會現(xiàn)場。我是主持人張新長。

首先有請中國科學(xué)院院士、泰伯研究院名譽(yù)院長龔健雅教授給大家作特邀報告，他的報告題目是“智能遙感解譯的研究進(jìn)展與挑戰(zhàn)”，有請！

龔健雅：非常感謝張老師的介紹，我今天受泰伯劉總的邀請，到這里來給大家介紹一下關(guān)于智能遙感解譯的研究進(jìn)展與挑戰(zhàn)以及我們做的工作。

人工智能現(xiàn)在迅速發(fā)展，各行各業(yè)都在討論這個問題，將來對各行各業(yè)都會產(chǎn)生巨大影響，許多行業(yè)會在變革中消失，有一些行業(yè)也得到大的發(fā)展。遙感是與人工智能密切關(guān)聯(lián)的領(lǐng)域，我們既有發(fā)展的機(jī)遇，也面臨很大的挑戰(zhàn)。大家知道，人工智能發(fā)展最重要的兩個方向，一個是對影像的解譯，一個是對語音的識別。我們在飛機(jī)場、高鐵的識別，都是通過影像，人工智能在影像、視頻領(lǐng)域得到了廣泛應(yīng)用，那我們跟圖像有什么區(qū)別？今天跟大家解釋一下我們用那些技術(shù)做了哪些工作，進(jìn)展怎么樣。

我在這里報告三個方面的問題：一是深度學(xué)習(xí)在遙感解譯中的應(yīng)用進(jìn)展，第二我們遇到了哪些瓶頸和挑戰(zhàn)，第三就是我們現(xiàn)在做的一些工作。在這里也做一個廣告，我們武漢大學(xué)今年將要推出一個最大的或者是說比較大的一個樣本庫，和一個自己從底層開發(fā)的深度學(xué)習(xí)遙感的專用網(wǎng)絡(luò)，希望大家以后在這個平臺上來共同發(fā)展我們中國自己的一個網(wǎng)絡(luò)。

深度學(xué)習(xí)的應(yīng)用進(jìn)展，很多人都非常清楚。這一次人工智能的發(fā)展，得益于深度學(xué)習(xí)，實(shí)際上在50年代以后，人工智能這個概念提出來，大家就想到你必須要有學(xué)習(xí)的能力，所以機(jī)器學(xué)習(xí)就是一個重要方向。那么機(jī)器學(xué)習(xí)主要的一個泛指，就是我們用很多樣本的數(shù)據(jù)讓機(jī)器學(xué)習(xí)，得到一個模型，我們再把這個模型用到其它需要解譯的數(shù)據(jù)來得到應(yīng)用，這就是機(jī)器學(xué)習(xí)。

在機(jī)器學(xué)習(xí)里頭一直以來有兩派，一派叫符號主義，一派叫聯(lián)結(jié)主義。符號主義基本上是基于統(tǒng)計(jì)來學(xué)習(xí)，聯(lián)結(jié)主義通過提出人工神經(jīng)元網(wǎng)絡(luò)的方法來學(xué)習(xí)，這個其實(shí)很早就有，但是這一次為什么影響能這么大呢？就是因?yàn)樵?006年的時候Hinton他們提出深度神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練，取得了成功，并且2012年在ImageNet挑戰(zhàn)賽中深度學(xué)習(xí)的方法奪得了第一，并一舉超過了傳統(tǒng)的機(jī)器學(xué)習(xí)方法10個百分點(diǎn)，這是它的第一個影響。就是說，它的識別的準(zhǔn)確率提高了10個百分點(diǎn)，我們知道現(xiàn)在的算法都是在60%、70%，最好的是70%、80%，結(jié)果他一下就到了84%，一下就引起了轟動，13年開始各行各業(yè)都來關(guān)注這個算法，開啟了一個新的時代。

這個網(wǎng)絡(luò)第一年出來之后，后面很多大的公司和大學(xué)就開始對這個網(wǎng)絡(luò)來進(jìn)行改進(jìn)，包括程式也參加。我們看到這幾年的發(fā)展，12年同樣的一套數(shù)據(jù)誤差率從16.4%一直發(fā)展到15年誤差只有3.57%，這個時候我們可以看到它的發(fā)展，現(xiàn)在一個用的比較多的就是101，當(dāng)然現(xiàn)在各種各樣的網(wǎng)絡(luò)，包括對抗網(wǎng)絡(luò)等很多一些新的網(wǎng)絡(luò)系統(tǒng)。這些都是計(jì)算機(jī)領(lǐng)域里面的發(fā)展，為我們?nèi)祟悓θ斯ぶ悄艿陌l(fā)展起了非常大的作用。

對于我們遙感來說，我們首先都想，都是圖像，就是說既然能夠在圖像里頭能夠達(dá)到這樣的精度，那我們的遙感是不是也可以用？所以很多是跟它相似的，一個是目標(biāo)識別，我們的遙感的目標(biāo)識別比它的概念要復(fù)雜一些，可能一個就是立交橋，一個就是機(jī)場，像這些東西可能比它復(fù)雜，但是我如果有足夠的樣本，是不是也可以用來識別？還有一個就是計(jì)算機(jī)領(lǐng)域里頭的方法可以用來語義分割，用來圖像分類，包括實(shí)體的分割，我們做了很多研究，像牧羊人能夠把羊和人都分割出來，我們能不能把房屋，把物體提取出來？這就是我們當(dāng)時想的用人工智能的一些方法來做的意圖。

所以我們在遙感里頭很快的就開始引進(jìn)了這些方法，應(yīng)該說我們中國的速度或者說我們這個領(lǐng)域的速度，引入人工智能來做遙感圖像解譯的速度大概和美國差不多。我的團(tuán)隊(duì)當(dāng)時承擔(dān)了一個973，大概在13年就開始做遙感的一些研究，目前來說主要是做7個方面的研究，一個是基礎(chǔ)方面的研究，也就是說我們要有一個樣本數(shù)，大家知道要有一個很大的樣本，樣本怎么來標(biāo)注，我們要有一個我們遙感的樣本；第二個就是網(wǎng)絡(luò)的結(jié)構(gòu)和模型設(shè)計(jì)，我們剛開始沒有想到自己做一個網(wǎng)絡(luò)結(jié)構(gòu)，我們可以用現(xiàn)有的網(wǎng)絡(luò)或者是我們看到的像剛才講的像對抗網(wǎng)絡(luò)的一些變種，我們能不能在這里面做一些設(shè)計(jì)，很多人做這個工作。另外就是一些典型的應(yīng)用，我現(xiàn)在把它歸納起來大概是這5個方面的應(yīng)用：第一個就是目標(biāo)與場景的檢索，第二個是目標(biāo)的檢測，第三個是地物分類，第四個是變化檢測，第五個是三維重建，三維重建現(xiàn)在還是很少人在做。

我們首先來看一下樣本庫的設(shè)計(jì)與標(biāo)注。在武漢大學(xué)13年開始我當(dāng)時自己掏了十幾萬塊錢請公司標(biāo)注了一些樣本，后來有一些老師也在做，我們現(xiàn)在做的比較大的就是我們實(shí)驗(yàn)室的夏老師做了100多個樣本 ，主要是做目標(biāo)和場景的樣本，他最近又做大的開源的樣本，做了100多萬的樣本，但是還遠(yuǎn)遠(yuǎn)不夠。

接下來就是網(wǎng)絡(luò)的結(jié)構(gòu)與模型。我們知道，深度神經(jīng)元網(wǎng)絡(luò)它是這樣一個架構(gòu)，有很多層，在這些層里頭有一些類型，我們剛才講的，你可以設(shè)計(jì)100層，可以設(shè)計(jì)80層，有各種各樣的設(shè)計(jì)。你還可以設(shè)計(jì)卷積，這里面還有池化函數(shù)設(shè)計(jì)和損失函數(shù)設(shè)計(jì)，我們很多人做這種應(yīng)用的時候就調(diào)整參數(shù)和調(diào)整函數(shù)，然后得到一個最優(yōu)效果，這是做的里面的最基礎(chǔ)的一些研究。

當(dāng)然我們算力這一塊是硬件做的，我們可以不做。它的應(yīng)用，一個是場景和目標(biāo)檢索的應(yīng)用，這是肖志峰老師14年出的一個成果，我們看到，它比傳統(tǒng)的方法一下確實(shí)提高了20%左右，都達(dá)到90%以上，當(dāng)時我們深度學(xué)習(xí)的方法在遙感的問題上，就目前來說，場景和目標(biāo)檢測精度確實(shí)很高。

緊接著就是建筑物的提取。很多人做建筑物的提取我們可以看到，這次季順平這個團(tuán)隊(duì)，能夠把查全率和準(zhǔn)確度能達(dá)到95%，不僅是建筑物，還要把建筑物的邊界都提取出來，這個時候很多工作包括樹的一些遮擋這些問題都要解決，所以需要大量的研究。

最后是道路的提取。道路也非常重要，我們可以提取單線的道路，可以提取雙線的道路，這些都是靠深度學(xué)習(xí)的方法。這個結(jié)果也挺不錯的，這是胡效云他們的團(tuán)隊(duì)做的。

第三個就是地物的分類。這是我們遙感最重要的一個工作，無論是地理國情的監(jiān)測，還是國土二調(diào)、國土三調(diào)，一直以來我們都很難突破，都是靠人工解譯的，現(xiàn)在我們能不能做全要素、全自動的分類？大家看到這個圖是很不容易的，如果我們靠神經(jīng)元網(wǎng)絡(luò)這樣做，目前的結(jié)果，這是一條道路，中間有很多坑坑洼洼，現(xiàn)在你要把這些數(shù)據(jù)都要能夠做到能夠用的話，要很多人工時間?，F(xiàn)在我們一個學(xué)生做了一個實(shí)驗(yàn)，如果用多光譜來分類的話，用普通的方法，我們看到濕地森林的結(jié)果，草地、沼澤地他們的結(jié)果是挺大的，后來我們發(fā)展一維、二維、三維的神經(jīng)元網(wǎng)絡(luò)，我們可以看到，三維的神經(jīng)元網(wǎng)絡(luò)最差的是草原是70%，其它的都可以到90%，還是不錯的，但是像上海這些地區(qū)，草原到了60%，像北京的水田分割出來只到了30%多，這些問題是什么問題呢？我認(rèn)為最大的一個核心問題，就是我們的樣本季節(jié)性的問題，因?yàn)椴莸睾退锵奶旌投焱耆灰粯?，如果把這些樣本不加細(xì)分的都用來做訓(xùn)練的話，你得到的結(jié)果肯定是不行的。所以關(guān)于全要素的自動分類，目前為什么我們生產(chǎn)部門還不能實(shí)用的一個主要原因，就是我們還沒有達(dá)到95%、97%這樣的水平，能夠真正放心用。那么大家可以看到這些房子，就是剛才講的城區(qū)、水體這些應(yīng)該還是相當(dāng)不錯，水體到了97%，城區(qū)的識別到了98%。

第四個應(yīng)用就是變化檢測。這一塊的進(jìn)展目前還不錯，我想各個團(tuán)隊(duì)都做了很多的工作，我給大家看一下我們胡教授的團(tuán)隊(duì)在重慶做的這個例子。大家看這些密密麻麻的園區(qū)，上面有很多變化，這些變化怎么自動檢測出來？檢測出來有356個房屋，準(zhǔn)確率要達(dá)到47.19%，這是前兩年得出來的。所以現(xiàn)在很多城市，包括重慶和廣州都在推廣應(yīng)用。

第五個就是三維重建。以前三維重建都沒有用人工智能的方法，都是用左右相片的相關(guān)方法，但是現(xiàn)在因?yàn)橛萌斯ぶ悄艿姆椒?，左右兩張相片的相似性是很高的，這時候找重名點(diǎn)是可以做的，但是有一個問題就是它的投影立體面是很大的，所以一定要考慮投影的問題，所以我們要找到影像在三維重建的時候，在人工智能的同名點(diǎn)的時候，這是一些幾何的應(yīng)用，但是這些是屬于先進(jìn)的知識怎么用到人工智能里面去，用到神經(jīng)元網(wǎng)絡(luò)里面去，是一個比較難的題目。這是做的一些結(jié)果，包括在天津、廣州，也做了三維重建的一些結(jié)果。

大家可以看到，現(xiàn)在人工智能確實(shí)在很多方面取得了很多的進(jìn)展，但是也面臨著很大的一些挑戰(zhàn)。這些挑戰(zhàn)，首先就是樣本庫，我們的樣本庫還遠(yuǎn)遠(yuǎn)不夠，我們差至少一個數(shù)量級。第二個，我們的樣本區(qū)域性缺少，特別是我們一些行業(yè)部門保守，不愿意提供樣本，當(dāng)然有一個保密問題，最近我們廣東省希望跟我們做深度合作，我一直呼應(yīng)他們，他們也愿意把廣東省所有的數(shù)據(jù)拿過來做訓(xùn)練。第二個很大的問題，就是現(xiàn)在我們做人工智能的一些研究學(xué)者都是用計(jì)算機(jī)領(lǐng)域的方法，他的樣本很少，因?yàn)樗灰R別一個目標(biāo)像不像就行了，而我們要把目標(biāo)提取出來，這個時候我們用他的方法就存在很多問題，我們都要把樣本切成固定塊，另外我們看到很多樣本庫里連季節(jié)也沒有，也沒有實(shí)像的信息，也沒有地區(qū)的信息，3月份的東北跟3月份的廣東相差其實(shí)很大的，東北所有的森林都還沒有長起來，南方就已經(jīng)郁郁蔥蔥，這個時候它的紋理結(jié)構(gòu)就相差很大，所以這個我們樣本庫基本不考慮。第三個就是我們樣本庫都是全色或者RGB的，缺少高光譜、紅外、SAR遙感影像的樣本。第四個就是缺少三維目標(biāo)樣本庫。

接下來是關(guān)于網(wǎng)絡(luò)。我們知道，網(wǎng)絡(luò)從HIT出來以后，很多公司包括谷歌，包括百度、華為都在推他們的網(wǎng)絡(luò)，華為他們也剛剛推出來一個網(wǎng)絡(luò)，但是這些網(wǎng)絡(luò)都是主要是圍繞他們計(jì)算機(jī)領(lǐng)域來做圖像識別的，對我們遙感圖像識別里面有幾個問題：一個是多種類型的數(shù)據(jù)的學(xué)習(xí)，它主要是學(xué)習(xí)RGB的數(shù)據(jù)；第二個，它的數(shù)據(jù)量放不進(jìn)去，拿我們一幅影像放到那個里頭去學(xué)就不動了，我們覺得必須要把它切割成一小塊一小塊來學(xué)習(xí)，這是通道的問題。另外一個，我們能不能把知識融入進(jìn)去。

所以我們在去年申請到一個重大研究計(jì)劃的項(xiàng)目，就是專用的遙感樣本庫和專用的網(wǎng)絡(luò)架構(gòu)，這是去年申請的，主要做4個方面的問題：標(biāo)注規(guī)范，標(biāo)注的方法，以及支持一個工具，我們要在網(wǎng)上來標(biāo)注，數(shù)據(jù)庫管理，或者數(shù)據(jù)庫發(fā)布，希望打造一個全球的最有影響的樣本數(shù)據(jù)庫。所以我們也希望在座的各位加盟到我們的樣本庫里頭，我們樣本庫叫珞珈。

我們要用智能的一些設(shè)計(jì)方法，要能夠做目標(biāo)的檢測、要素的提取、以及三維重建，要能夠解決這些問題。這個網(wǎng)絡(luò)里頭，我們還有一個想做嘗試的，就是從理論上做發(fā)展，我們拿一個神經(jīng)元網(wǎng)絡(luò)發(fā)展不知道能做成什么樣，我們現(xiàn)在希望能夠把理論框架，就是哪一個元素、哪一個參數(shù)能起什么作用，我們希望做可行性和可靠性分析，這個事由一個搞地學(xué)的博士來做。第二個我們要把地學(xué)知識能夠牽進(jìn)去，這樣就形成了一個我們針對遙感的一個專用網(wǎng)絡(luò)，這個也希望大家能夠合作。

目前的進(jìn)展是這樣的。樣本庫的進(jìn)展，我們各種各樣的樣本都要能夠兼容，同時要把多光譜、高光譜、紅外線這些體系都要加入進(jìn)去。

這是5個大的方面，一個場景識別，一個目標(biāo)識別， 一個地類分類樣本識別，一個是變化檢測樣本，還有一個是三維多視重建樣本，這是幾個樣本庫的設(shè)計(jì)。

現(xiàn)在的樣本庫我們找到開源的256萬個樣本，大量的樣本在剛才講的目標(biāo)和場景的檢測和目標(biāo)的識別，變化檢測的也有一些，三維重建這個方面的比較少。

接下來就是專用網(wǎng)絡(luò)。專用網(wǎng)絡(luò)現(xiàn)在根據(jù)我前面講的，我們現(xiàn)在的專用網(wǎng)絡(luò)這個內(nèi)存是可以拓展的，無論多大的影像都要能夠進(jìn)行。第二個是通道，你可以到100個通道，也就是說100個通道的高光譜都可以進(jìn)去，整個網(wǎng)絡(luò)都可以直接來支持這個事。

這里面的架構(gòu)，一個就是專用的核心架構(gòu)，各種各樣的硬件要支持。第二個就是各種隱形或者終端表示層，計(jì)算機(jī)領(lǐng)域我們現(xiàn)在有一幫年輕教授參與進(jìn)來了，這是核心層。第二個就是遙感的地學(xué)知識如何牽進(jìn)去，多渠道內(nèi)存如何拓展。另外一個就是數(shù)據(jù)源，像這些都能夠加進(jìn)去。最后我們有一個前端的交付，就是支持現(xiàn)有的編程語言，另外我們支持可視化的編程。

這是現(xiàn)在的一些核心結(jié)構(gòu)，包括核心操作的算法，已經(jīng)設(shè)計(jì)一個框架出來了。包括底下的框架式計(jì)算，都已經(jīng)計(jì)算出來的。目前我們用金字塔的一個方法，能夠把大的影像放入到一個深度學(xué)習(xí)的網(wǎng)絡(luò)里頭。

再一個重要測試，這也是我們這次做的通過工作流編程，做深度神經(jīng)元網(wǎng)絡(luò)這些架構(gòu)的時候，不需要人再在程序里編程，而是通過拓載的方式建立這個圖，然后運(yùn)行這個模型，我們就可以得出一個網(wǎng)絡(luò)架構(gòu)出來了。

最后一個就是知識。我們一開始說統(tǒng)計(jì)學(xué)習(xí)，或者是說基于專家學(xué)習(xí)知識庫的方法，和現(xiàn)在神經(jīng)元網(wǎng)絡(luò)的發(fā)展，這兩條路并行，很少有交叉，希望我們在地學(xué)領(lǐng)域里頭率先把地學(xué)知識和圖譜能夠牽到網(wǎng)絡(luò)里面去，這樣形成一些地學(xué)知識。我們把實(shí)地的專題信息分類以后放進(jìn)去，這樣效果就好得多，大家融合知識來進(jìn)行網(wǎng)絡(luò)的研究。

下面我簡單介紹一下目前的進(jìn)展，因?yàn)楣ぷ鬟€在做，9月份我們會跟華為發(fā)布一個初稿，但是希望今年底能夠把架構(gòu)和網(wǎng)絡(luò)庫發(fā)布出來。

現(xiàn)在我們已經(jīng)做了一個光學(xué)影像。這里面對于以前的我們可以看到車輛的這些進(jìn)展提高不大，但是對樹木、低矮植被這方面的進(jìn)展要大一點(diǎn)。還有一些，現(xiàn)在已經(jīng)用小樣本用在SAR圖像識別里頭，我們現(xiàn)在可以看到這個結(jié)果要好一些，這是現(xiàn)在做的一些初步實(shí)驗(yàn)。

高光譜，我們現(xiàn)在做一些農(nóng)業(yè)作物類型的識別。這里頭做了一些實(shí)驗(yàn)，可以看到現(xiàn)有的精度比我們這個方法稍微有一些提高，這是高光譜的應(yīng)用。

最后我簡單做一個小結(jié)。人工智能特別是深度學(xué)習(xí)的方法已經(jīng)在遙感的目標(biāo)與場景識別、信息提取、地物分類、變化檢測、三維重建等方面已經(jīng)取得重要進(jìn)展，但是都還在實(shí)驗(yàn)室。我可以這么說，因?yàn)楹芏嗟纳a(chǎn)單位實(shí)際上都沒有得到一些應(yīng)用，包括我們現(xiàn)在一些大的公司，華為也好，還有阿里，都說我們現(xiàn)在深度學(xué)習(xí)做得很好，能夠解決遙感的問題，我們那幾年遙感的部門也很自信，最后也沒有太大的實(shí)用化。

所以我們覺得還是有一定難度的，特別是解決分類的問題，還存在很大的挑戰(zhàn)。一個是擴(kuò)大樣本庫，這個還遠(yuǎn)遠(yuǎn)不夠；第二個是多樣性和區(qū)域性的樣本，另外我們希望設(shè)計(jì)一個專用的神經(jīng)元網(wǎng)絡(luò)，很多人不理解或者反對我們做這個網(wǎng)絡(luò)，說不是一個大學(xué)做的，但是我們認(rèn)為，如果武漢大學(xué)不牽頭做，就沒有人做專用的遙感網(wǎng)絡(luò)，所以我們要試一下，如果做一個專用的遙感網(wǎng)絡(luò)是不是比現(xiàn)在的通用網(wǎng)絡(luò)有比較大的提高。這是我們現(xiàn)在的想法，當(dāng)然我們希望建立一個大的社區(qū)，一起來解決這個問題。

謝謝大家！