大家可能都用過谷歌地圖的街景功能，讓你可以足不出戶就能看世界，通過將一景一景的圖片拼接，并在圖像的接邊處進(jìn)行平滑的羽化，但是這也僅限于大家看看世界。因?yàn)閳D像看似連續(xù)，數(shù)據(jù)卻可能與真實(shí)情況不符，如果在此基礎(chǔ)上做進(jìn)一步的信息提取就會產(chǎn)生誤差。

　　在可持續(xù)發(fā)展這件事上，人們對于使用地球衛(wèi)星觀測數(shù)據(jù)一直有著巨大的需求，但是使用門檻依然還很高。所以清華大學(xué)地球系統(tǒng)科學(xué)系通過公共數(shù)據(jù)資源和時(shí)空遙感技術(shù)，制作完成了中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用制圖，以及中國30米逐日無縫遙感數(shù)據(jù)集Seamless Data Cube（SDC）。

　　在此之前中國一直沒有直接就能使用的數(shù)據(jù)（Analysis Ready Data, ARD），此次項(xiàng)目對數(shù)據(jù)的處理、銷售、共享、應(yīng)用都產(chǎn)生了根本性的改變，對于地球系統(tǒng)觀測行業(yè)將產(chǎn)生深遠(yuǎn)影響，清華大學(xué)理學(xué)院院長、地球系統(tǒng)科學(xué)系主任宮鵬教授也稱這是一場革命。而云計(jì)算在項(xiàng)目的背后提供了核心的支持，包括了大量的計(jì)算和存儲資源，驅(qū)動了人工智能和數(shù)據(jù)的時(shí)空建模算法，從而恢復(fù)和重建了數(shù)以萬計(jì)的各種云污染衛(wèi)星圖像，解決了高效運(yùn)行PB級數(shù)據(jù)的分析所帶來的挑戰(zhàn)。

清華大學(xué)理學(xué)院院長、地球系統(tǒng)科學(xué)系主任宮鵬教授

　　為可持續(xù)發(fā)展提供定量化決策參考

　　土地覆蓋、土地利用是自然和人類作用的共同塑造結(jié)果，也是人類活動對土地自然生態(tài)系統(tǒng)影響的直接表現(xiàn)形式。全球及區(qū)域土地覆蓋數(shù)據(jù)對絕大多數(shù)全球變化研究目標(biāo)是非常重要的，可以實(shí)現(xiàn)像全球環(huán)境狀況評估、模擬未來全球環(huán)境情景，幫助環(huán)境保護(hù)政策的制定。

　　隨著人類活動的加劇，地球表面正發(fā)生前所未有的變化，需要及時(shí)、準(zhǔn)確地獲取地球表面特性以快速的了解變化。土地覆蓋、土地利用制圖是提取遙感觀測信息，有力監(jiān)測地表變化的重要途徑。

　　宮鵬教授指出，現(xiàn)在世界已有土地覆蓋制圖產(chǎn)品存在很多缺陷和問題，第一、制圖樣本采集難度大、復(fù)用率低；第二、產(chǎn)品靈活性差，無法滿足更為廣泛的用戶需求；第三、城市、農(nóng)作物種植、森林火災(zāi)等快速變化地區(qū)，難以有效實(shí)現(xiàn)同時(shí)高空間分辨率和高時(shí)間頻率檢測、近實(shí)時(shí)土地動態(tài)監(jiān)測；第四、時(shí)間序列制圖可比較性較差。

　　針對這些世界性難題，宮鵬教授團(tuán)隊(duì)開發(fā)了首套中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖，將世界首套30米、10米土地覆蓋圖精度分別提高了20%和10%，以前所未有的高空間分辨率和高時(shí)間頻率反應(yīng)地表格局與動態(tài)變化，這就是中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖。但是完成項(xiàng)目的前提需要大量的高質(zhì)量遙感觀測數(shù)據(jù)，所以作為中間衍生產(chǎn)品首套中國30米逐日無縫遙感數(shù)據(jù)集Seamless Data Cube（SDC）也在其間孕育而生。

首套中國30米分辨率逐季節(jié)土地覆蓋圖

世界唯一一套10米分辨率地表覆蓋圖

　　為了解決高空間分辨率和頻繁的時(shí)間覆蓋之間的沖突，并改善部分不完整的情況，清華大學(xué)地球系統(tǒng)科學(xué)系劉涵博士等提出了一種多維數(shù)據(jù)立方體的時(shí)空數(shù)據(jù)融合重建框架，該框架具有自動化的，無服務(wù)器的端到端生產(chǎn)鏈，以構(gòu)建一組無縫、分析就緒數(shù)據(jù)格式的多維數(shù)據(jù)集。這套數(shù)據(jù)將大大減輕用戶的預(yù)處理負(fù)擔(dān)，將遙感數(shù)據(jù)的使用范圍擴(kuò)大到更廣泛的社區(qū)，并為我們提供近實(shí)時(shí)地球觀測的能力。

　　“首套中國30米逐日無縫遙感數(shù)據(jù)集Seamless Data Cube（SDC）和制圖產(chǎn)品代表著中國衛(wèi)星遙感數(shù)據(jù)處理和信息提取的新范式。”宮鵬教授說道，其可以進(jìn)一步應(yīng)用于自然災(zāi)害防范、農(nóng)業(yè)檢測、城鄉(xiāng)規(guī)劃、生態(tài)環(huán)境保護(hù)、氣候模擬、可持續(xù)發(fā)展等方面，對國民經(jīng)濟(jì)、社會發(fā)展提供定量化的決策參考。

　　從中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖可以看到，我國耕地確實(shí)在減少，但是目前耕地面積并沒有想象的擔(dān)憂，離18億畝的耕地紅線還很遠(yuǎn)；經(jīng)過時(shí)空一致性的結(jié)算，了解到中國森林面積在不斷增加，印證了我國森林保護(hù)工程的高有效性；國家保護(hù)區(qū)有較好的土地保護(hù)效應(yīng)，但是在保護(hù)區(qū)周圍有比較大的干擾，有較強(qiáng)的土地利用還有破壞的效果。

　　云與土地制圖衍生出無限應(yīng)用可能

　　由于項(xiàng)目需要大量的計(jì)算和數(shù)據(jù)存儲資源，宮教授的團(tuán)隊(duì)很快就鎖定了AWS，因?yàn)樵朴?jì)算具備穩(wěn)定性、靈活性、性能等多種優(yōu)勢，所以在2019年9月開始了合作。據(jù)介紹項(xiàng)目使用了10萬個(gè)vCPU，相當(dāng)于500強(qiáng)算力里前200位超級計(jì)算機(jī)所提供的能力，傳統(tǒng)的建設(shè)可能需要三百到四百個(gè)機(jī)柜，正是因?yàn)樵朴?jì)算讓項(xiàng)目的建設(shè)周期大大縮短。

　　同時(shí)在構(gòu)建中國30米逐日無縫遙感數(shù)據(jù)集時(shí)需要開放數(shù)據(jù)集，開放數(shù)據(jù)集的規(guī)模達(dá)到PB級，如果將數(shù)據(jù)存儲再計(jì)算，會耗費(fèi)大量的時(shí)間。宮鵬教授指出，AWS提供了公共數(shù)據(jù)集，根據(jù)不同區(qū)域的開放數(shù)據(jù)集，我們可以在AWS就近區(qū)域進(jìn)行計(jì)算，節(jié)省了搬運(yùn)數(shù)據(jù)的時(shí)間與數(shù)據(jù)集存儲的費(fèi)用，快速對公共數(shù)據(jù)集進(jìn)行計(jì)算得到最后的結(jié)論。

　　除了算力和公共數(shù)據(jù)集，AWS在首套中國30米逐日無縫遙感數(shù)據(jù)集Seamless Data Cube（SDC）和首套中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖的制作過程中也給予了很多支撐。

　　首套中國30米逐日無縫遙感數(shù)據(jù)集Seamless Data Cube（SDC）是基于AWS開放數(shù)據(jù)集上PB級的遙感數(shù)據(jù)，構(gòu)建了虛擬星座，之后基于AWS無服務(wù)器以及容器化的大規(guī)模并行計(jì)算技術(shù)，構(gòu)建了一套端到端、自動化的Data Cube生產(chǎn)鏈。基于這條生產(chǎn)鏈生產(chǎn)了Raw Data Cube，進(jìn)一步利用團(tuán)隊(duì)劉涵博士等自主研發(fā)的時(shí)空數(shù)據(jù)融合重建技術(shù)生成Seamless Data Cube，并通過特征工程和特征學(xué)習(xí)技術(shù)獲得用于制圖的Feature Cube，從而構(gòu)建了一套Multi-level ARD產(chǎn)品體系。

　　首套中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖是基于SDC，運(yùn)用AWS上一整套完善的人工智能和機(jī)器學(xué)習(xí)的套件和服務(wù)，像Amazon SageMaker、Amazon EKS、Amazon EMR等。并且結(jié)合世界首套全球全季節(jié)普適樣本庫和相關(guān)領(lǐng)域知識，設(shè)計(jì)和訓(xùn)練了一套適應(yīng)遙感大數(shù)據(jù)的深度遙感特征學(xué)習(xí)和分類模型。再利用AWS AutoGluon等自動化多層堆疊集成技術(shù)對模型結(jié)構(gòu)和參數(shù)進(jìn)行深度調(diào)優(yōu)，并進(jìn)行分布式高性能推理。分類結(jié)果最后經(jīng)過遙感專業(yè)化的變化檢測和時(shí)空一致性后處理方法，得到首套中國2000-2018年間逐季節(jié)土地覆蓋和逐年土地利用圖。

　　清華大學(xué)劉涵博士表示，從原始數(shù)據(jù)到Raw Data Cube到Seamless Data Cube再到最終的制圖產(chǎn)品，都是統(tǒng)一存放在我們構(gòu)建的AWS Remote Sensing Data Lake（遙感數(shù)據(jù)湖）中，實(shí)現(xiàn)各種異構(gòu)數(shù)據(jù)的存儲，同時(shí)也方便數(shù)據(jù)統(tǒng)一處理和分析。

　　宮鵬教授也提到下一步希望與AWS繼續(xù)制作出全球的SDC，以及逐年逐季節(jié)土地覆蓋和逐年土地利用圖，這也將衍生出無限的應(yīng)用可能。