以下是浙江大學(xué)GIS重點(diǎn)實(shí)驗(yàn)室副主任、副教授杜震洪在“自然資源主題論壇”以“自然資源大數(shù)據(jù)云平臺(tái)的技術(shù)創(chuàng)新與實(shí)踐”為主題的演講報(bào)告,內(nèi)容如下(未經(jīng)本人審核)。
浙江大學(xué)GIS重點(diǎn)實(shí)驗(yàn)室副主任、副教授杜震洪
杜震洪:各位領(lǐng)導(dǎo)、專家,朋友們,大家下午好!
非常榮幸有這個(gè)機(jī)會(huì)能夠來到這個(gè)論壇,參加自然資源確權(quán)登記相關(guān)工作的討論和交流,我是來學(xué)習(xí)的。
今天我給大家報(bào)告一下“自然資源大數(shù)據(jù)云平臺(tái)的技術(shù)創(chuàng)新與實(shí)踐”。
其實(shí)我是自然資源相關(guān)工作的外行。剛才聽了很多專家和領(lǐng)導(dǎo)的報(bào)告,特別是對(duì)一些工作的解讀,我是感觸頗深,受益匪淺。
我想從工作重要性來說,我就不再贅述了。應(yīng)該說,部委相關(guān)領(lǐng)導(dǎo)和專家,已經(jīng)給我們明確了頂層設(shè)計(jì),也建議了工作的主要任務(wù),清家底、立賬戶、建平臺(tái),這是當(dāng)下所做的工作。
回到這個(gè)平臺(tái),這個(gè)平臺(tái)有廣義的也有狹義的。自然資源確權(quán)登記的本身工作,我認(rèn)為有兩個(gè)層面的事情可以理解:一是從確權(quán)登記要?jiǎng)澢遒Y源、劃清所有的邊界,統(tǒng)一的調(diào)查、登記類似。怎么登?登什么東西?剛才吳老師已經(jīng)進(jìn)行了解讀。從另外一個(gè)層面,科學(xué)和戰(zhàn)略意義,特別是我剛剛聽到吳老師的講解,我認(rèn)為非常重要。這個(gè)東西真的很新,我們要去探索。我覺得應(yīng)該有三個(gè)層次去理解:一是確實(shí)要非常全面地掌握自然資源的權(quán)屬,特別是分布的問題。隨著這個(gè)工作常態(tài)化以后,要從時(shí)間和空間兩個(gè)尺度去看自然資源的變化過程,以及我們能不能去看它的演變規(guī)律。自然資源與經(jīng)濟(jì)、社會(huì)、人口到底有沒有關(guān)系,怎么去工作,這會(huì)帶來很多技術(shù)方面的挑戰(zhàn)。我從構(gòu)建這個(gè)平臺(tái)的視角,來考慮目前我們面臨的工作重點(diǎn)和難點(diǎn)。
第一,我們要和不動(dòng)產(chǎn)登記進(jìn)行對(duì)接和協(xié)調(diào)。橫向上,有不動(dòng)產(chǎn)登記。其他的包括土地利用資源,甚至是國(guó)情普查的對(duì)接??v向上,國(guó)家、省、市、縣多級(jí)進(jìn)行聯(lián)動(dòng)更新,增量對(duì)焦。
第二,常態(tài)化工作中,今天談大數(shù)據(jù),貴陽(yáng)也是大數(shù)據(jù)的基地,應(yīng)該以“快”為指標(biāo)。從早期看武俠小說、武俠電影都知道,天下武功唯快不破。這個(gè)“快”,從建設(shè)方案來說的“快”意味著生產(chǎn)成本的提高;從管理用途,大規(guī)模的去進(jìn)行查詢分析,“快”就意味著感覺就會(huì)好。這是高效處理,我們面臨大規(guī)模數(shù)據(jù)的時(shí)候,這是一個(gè)瓶頸。
第三,我們要構(gòu)建一個(gè)自然資源“一張圖”,目的是為了用。怎么用?對(duì)自然資源數(shù)據(jù)的運(yùn)用,它的精度、分析,以及外延的擴(kuò)展和分析,這是當(dāng)下面臨的挑戰(zhàn)。
從調(diào)查本身來說,目前遇到的困難是我們的數(shù)據(jù)源還是比較粗,特別是自然資源有的條件很惡劣,在偏遠(yuǎn)山區(qū)靠人工去跑肯定不行。我們遇到困難,可能要從影像和其他的知識(shí)庫(kù)中去,通過新的比如人工智能去深度學(xué)習(xí),去做這些工作,補(bǔ)足我們調(diào)查上的基礎(chǔ)困難。
我們?cè)趺雌瞥@些技術(shù)的難點(diǎn),今天這個(gè)時(shí)代叫云計(jì)算,它可以扎扎實(shí)實(shí)去助力自然資源大數(shù)據(jù)的應(yīng)用。云計(jì)算有很多的S,IaaS、PaaS、SaaS,到今天這個(gè)時(shí)代還要談一個(gè)“KaaS”,大數(shù)據(jù)簡(jiǎn)單應(yīng)用要用知識(shí)的推理去支持我們的服務(wù)。在這個(gè)工作中,我們和新興華安一起來探索在自然資源大數(shù)據(jù)云平臺(tái)技術(shù)框架的整理和思考。面對(duì)著大規(guī)模數(shù)據(jù)的管理,高性能計(jì)算和數(shù)據(jù)的處理以及分析,我們有一個(gè)框架。這個(gè)框架包含了從管理、處理、分析一體化的工作。
一、自然資源大數(shù)據(jù)混合多態(tài)管理
不同來源、不同格式、不同目的的數(shù)據(jù)?,F(xiàn)在自然資源的調(diào)查、登記過程中會(huì)遇到很多的數(shù)據(jù),包括國(guó)土資源數(shù)據(jù)、不動(dòng)產(chǎn)登記數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、影像數(shù)據(jù),類型來說非常復(fù)雜,分結(jié)構(gòu)化半結(jié)構(gòu)化、非結(jié)構(gòu)化的信息。在管理大數(shù)據(jù)時(shí),我們現(xiàn)有的技術(shù)和方法是不足的,我們提出一套混合技術(shù)框架。
在很長(zhǎng)一段時(shí)間里,我們都在思考有沒有統(tǒng)一的方式來管理這些大數(shù)據(jù)。我們根據(jù)目的、用途、需求來選取不同的存儲(chǔ)模型。不同的數(shù)據(jù)劃分為幾類,根據(jù)用戶需求、需求頻度、出發(fā)點(diǎn),可以以不同的方式來登記。小要素集、更新頻率快的采取的方式;大要素集、計(jì)算頻繁的數(shù)據(jù)采取的方式。
我們進(jìn)行多級(jí)索引機(jī)制,解決數(shù)據(jù)查詢和統(tǒng)計(jì)的基本功能。對(duì)三核、矢量、非結(jié)構(gòu)化數(shù)據(jù),通過多維多級(jí)的方式去構(gòu)建索引機(jī)制。對(duì)于多態(tài)存儲(chǔ),對(duì)于云計(jì)算,有個(gè)非常重要的工作:任務(wù)劃分。我們的任務(wù)劃分考慮的是計(jì)算量評(píng)估的任務(wù)劃分,能幫助我們更好地去平衡各種資源和計(jì)算的需求。
二、自然資源大數(shù)據(jù)高性能處理技術(shù)
分布式內(nèi)存計(jì)算框架能融合到主流的大數(shù)據(jù)分析平臺(tái),有整套的機(jī)制能把資產(chǎn)要素集和登記單元的要素集,在這個(gè)框架上去體現(xiàn)。
并行框架來支撐的模型。由于時(shí)間關(guān)系,我稍微加快一點(diǎn)。現(xiàn)在我們?cè)谟?jì)算的速率方面,對(duì)三個(gè)矢量都有解決方案,特別是像影像處理,影像處理、影像拼接都是任務(wù)工作,我們?cè)趺窗堰@些任務(wù)解決好,在多結(jié)的環(huán)境下進(jìn)行實(shí)現(xiàn)。我們通過大數(shù)據(jù)、云計(jì)算把運(yùn)算速度提高了2000倍。我們通過對(duì)多結(jié)點(diǎn)的實(shí)現(xiàn),實(shí)現(xiàn)了50倍的點(diǎn)云圖。
三、大數(shù)據(jù)分析:自然資源應(yīng)用的利器
為了提供充分挖掘,我們有一套時(shí)空挖掘分析引擎,整合目前常規(guī)和深度學(xué)習(xí)的各種支持發(fā)現(xiàn)的工具,包括統(tǒng)計(jì)、聚類、分類于回歸、關(guān)聯(lián)規(guī)則和結(jié)果顯示,分析出到底能做什么樣的工作,提高我們學(xué)習(xí)的效率。我們考慮不確定性的可拓時(shí)空關(guān)聯(lián)規(guī)則挖掘,來分析挖掘的方法。對(duì)多時(shí)間窗口多密度聚類等挖掘算法,提升數(shù)據(jù)利用度。影像如何快速去服務(wù)到自然資源確權(quán)登記工作中,我們用人工智能的方法進(jìn)行了初步的試驗(yàn)和深度分析。
現(xiàn)在我們有了這樣的技術(shù)框架,在其他相關(guān)行業(yè),我們支撐了千萬級(jí)不同矢量的分析,應(yīng)該說是目前處于國(guó)內(nèi)國(guó)際上的領(lǐng)先水平。監(jiān)測(cè)試點(diǎn)中,我們對(duì)這個(gè)框架進(jìn)行了PB級(jí)的數(shù)據(jù)管理,在海洋領(lǐng)域中大規(guī)模去管理海洋數(shù)據(jù)和分析功能。
技術(shù)展望,還有什么可以幫助我們據(jù)做這些工作?無人機(jī)、智慧城市、人工智能,包括邊緣計(jì)算,我們?cè)趺慈グ言朴?jì)算的點(diǎn)擴(kuò)展為每一個(gè)終端,拿到我們的設(shè)備、傳感器到野外去核查我們的數(shù)據(jù)。(圖)這是邊緣計(jì)算的試驗(yàn),如何來實(shí)現(xiàn)可視化的功能。
時(shí)間關(guān)系,我講的主要偏技術(shù)方面,具體的細(xì)節(jié),我們會(huì)后討論。
謝謝大家!
{{item.content}}