今天，中國已經(jīng)成為數(shù)據(jù)量大、數(shù)據(jù)類型最為豐富的國家之一。國家數(shù)據(jù)局發(fā)布信息顯示：我國數(shù)據(jù)產(chǎn)量已占全球數(shù)據(jù)總量的10.5%。更有研究機(jī)構(gòu)預(yù)測，到2025年，中國數(shù)據(jù)總量或占全球近30%。作為新型生產(chǎn)要素，如何讓數(shù)據(jù)在“大”的同時(shí)，實(shí)現(xiàn)數(shù)據(jù)精、數(shù)據(jù)準(zhǔn)、管得住、看得見、用得好，釋放數(shù)據(jù)要素價(jià)值潛能，成為助推新質(zhì)生產(chǎn)力發(fā)展的必答題。GIS與大數(shù)據(jù)技術(shù)的融合，構(gòu)建完整的大數(shù)據(jù)GIS存儲(chǔ)、大數(shù)據(jù)GIS分析計(jì)算、大數(shù)據(jù)GIS可視化等技術(shù)體系，為挖掘大數(shù)據(jù)價(jià)值帶來解題之策。

    在2024中國地理信息產(chǎn)業(yè)大會(huì)“全空間智能GIS技術(shù)創(chuàng)新與數(shù)字化應(yīng)用”分論壇中，中地?cái)?shù)碼副總裁陳波做了題為《全空間智能GIS平臺(tái)筑基地理信息新質(zhì)生產(chǎn)力》的演講報(bào)告，帶來MapGIS 10.7的創(chuàng)新升級(jí)。報(bào)告介紹了MapGIS 10.7持續(xù)推動(dòng)地理大數(shù)據(jù)接入、存儲(chǔ)、處理、分析和可視化的技術(shù)發(fā)展，升級(jí)地理大數(shù)據(jù)技術(shù)體系，打造云原生大數(shù)據(jù)存儲(chǔ)引擎、革新大數(shù)據(jù)治理體系、全方位大數(shù)據(jù)分析計(jì)算、多引擎大數(shù)據(jù)可視化、“一站式”大數(shù)據(jù)運(yùn)維監(jiān)控等能力，持續(xù)提升和挖掘時(shí)空大數(shù)據(jù)價(jià)值，進(jìn)一步實(shí)現(xiàn)地理世界深度洞察。

    一、地理大數(shù)據(jù)技術(shù)體系升級(jí)

    MapGIS 10.7基于Hadoop、Spark、Flink等分布式計(jì)算框架，將地理數(shù)據(jù)存儲(chǔ)管理、地理數(shù)據(jù)計(jì)算與地理數(shù)據(jù)可視化等技術(shù)深度融合大數(shù)據(jù)框架，形成了全新的MapGIS地理大數(shù)據(jù)技術(shù)體系，實(shí)現(xiàn)地理大數(shù)據(jù)的高效存儲(chǔ)、分析與可視化表達(dá)，全面提升MapGIS的地理大數(shù)據(jù)能力。?

MapGIS 10.7地理大數(shù)據(jù)技術(shù)體系主要包含四個(gè)層次：

（1）地理大數(shù)據(jù)分布式存儲(chǔ)

MapGIS針對(duì)來源異構(gòu)、體量龐大、類型多樣的地理大數(shù)據(jù)，提供基于分布式數(shù)據(jù)庫存儲(chǔ)引擎，實(shí)現(xiàn)地理大數(shù)據(jù)的統(tǒng)一接入、存儲(chǔ)和管理。

（2）地理大數(shù)據(jù)分布式分析

MapGIS提供地理大數(shù)據(jù)的分布式分析能力。提供完善的數(shù)據(jù)治理體系，以保證數(shù)據(jù)的質(zhì)量。在數(shù)據(jù)治理的基礎(chǔ)上，MapGIS提供深度融合Spark/Hadoop/Flink等分布式計(jì)算框架，構(gòu)建五大類分布式分析算子，通過分布式地理處理引擎提供地理大數(shù)據(jù)分布式服務(wù)能力，從而幫助用戶從空間、時(shí)間、屬性多個(gè)維度認(rèn)知大數(shù)據(jù)，同時(shí)提供更加強(qiáng)勁的分析性能，挖掘更多有價(jià)值的信息。

（3）地理大數(shù)據(jù)可視化渲染

MapGIS集成Leaflet、MapBoxGL、Cesium、Unreal Engine、MapV、EchartGL和D3等多種地圖框架和大數(shù)據(jù)可視化引擎，提供了地理大數(shù)據(jù)的多樣式表達(dá)，支持炫酷、動(dòng)態(tài)和直觀的可視化展示效果。同時(shí)，MapGIS也提供地理大數(shù)據(jù)分級(jí)渲染技術(shù)，這是一種客戶端渲染技術(shù)，基于大數(shù)據(jù)實(shí)時(shí)分級(jí)計(jì)算，采用漸進(jìn)式傳輸機(jī)制，通過可視域分級(jí)調(diào)度策略和異步繪制，實(shí)現(xiàn)大規(guī)模海量數(shù)據(jù)的高性能客戶端表達(dá)。

（4）地理大數(shù)據(jù)產(chǎn)品

MapGIS將大數(shù)據(jù)的技術(shù)成果分別沉淀在MapGIS DataStore（分布式存儲(chǔ)引擎產(chǎn)品）、MapGIS數(shù)據(jù)治理產(chǎn)品、MapGIS IGServer-X（大數(shù)據(jù)GIS分析產(chǎn)品）、MapGIS Client for JavaScript（云GIS網(wǎng)絡(luò)客戶端開發(fā)平臺(tái)）、MapGIS Cloud Manager（云運(yùn)維管理平臺(tái)）等產(chǎn)品中。為各類用戶提供海量數(shù)據(jù)存儲(chǔ)管理、大數(shù)據(jù)治理、地理大數(shù)據(jù)分析、地理大數(shù)據(jù)的可視化展示、大數(shù)據(jù)運(yùn)維監(jiān)控等大數(shù)據(jù)相關(guān)功能。

二、云原生大數(shù)據(jù)存儲(chǔ)引擎

MapGIS DataStore產(chǎn)品是一款分布式數(shù)據(jù)存儲(chǔ)引擎產(chǎn)品，為了進(jìn)一步提升產(chǎn)品的部署易用性，進(jìn)一步適應(yīng)虛擬化部署場景，MapGIS 10.7將云原生GIS技術(shù)和大數(shù)據(jù)GIS技術(shù)深度融合，推出了MapGIS DataStore（大數(shù)據(jù)存儲(chǔ)引擎產(chǎn)品）微服務(wù)版。MapGIS DataStore微服務(wù)版將原單體大數(shù)據(jù)業(yè)務(wù)應(yīng)用拆分為多個(gè)可獨(dú)立部署的微服務(wù)應(yīng)用，可將這些微服務(wù)部署到容器中，通過k8s實(shí)現(xiàn)容器的自動(dòng)化編排，從而實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)資源的動(dòng)態(tài)調(diào)度、靈活部署和彈性伸縮，真正實(shí)現(xiàn)上線快速部署、下線快速銷毀以及狀態(tài)迅速恢復(fù)等功能，為用戶提供簡單、高效且穩(wěn)固的大數(shù)據(jù)存儲(chǔ)環(huán)境。

     為進(jìn)一步滿足用戶對(duì)數(shù)據(jù)資源多級(jí)管理及資源隔離的需求，MapGIS DataStore全新支持了多租戶管理功能，提供數(shù)據(jù)源隔離和數(shù)據(jù)庫隔離兩種多租戶管理模式。在數(shù)據(jù)源隔離模式下，租戶間使用獨(dú)立的存儲(chǔ)環(huán)境，一個(gè)租戶組構(gòu)成一個(gè)數(shù)據(jù)中心，租戶組按需創(chuàng)建自己特有的數(shù)據(jù)源及數(shù)據(jù)庫，各個(gè)租戶組之間完全隔離，此模式適用于多個(gè)數(shù)據(jù)管理中心場景；在數(shù)據(jù)庫隔離模式下，多租戶組共有一套存儲(chǔ)環(huán)境（數(shù)據(jù)源），所有租戶構(gòu)成一個(gè)數(shù)據(jù)中心，租戶組可基于該數(shù)據(jù)源創(chuàng)建自有數(shù)據(jù)庫，數(shù)據(jù)庫間完全隔離，此模式適用一個(gè)數(shù)據(jù)管理中心場景。

     在存儲(chǔ)集群接入方面，MapGIS DataStore產(chǎn)品新增支持HBase、MySQL、達(dá)夢、神通等數(shù)據(jù)庫集群的注冊與數(shù)據(jù)目錄展示，支持接入更多的數(shù)據(jù)庫集群。同時(shí)，為滿足Windows部署需求，MapGIS DataStore新增支持for Winodws版本，產(chǎn)品完成了全平臺(tái)適配。

    、革新大數(shù)據(jù)治理體系

    數(shù)據(jù)治理不僅有助于提升數(shù)據(jù)質(zhì)量、建立數(shù)據(jù)標(biāo)準(zhǔn)，還能實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理，從而支撐企業(yè)的數(shù)智化戰(zhàn)略。良好的數(shù)據(jù)治理系統(tǒng)可以幫助企業(yè)解決數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量低下等問題，進(jìn)而提高業(yè)務(wù)處理效率，為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支持。

MapGIS 10.7研制了全新的數(shù)據(jù)治理產(chǎn)品，該產(chǎn)品覆蓋時(shí)空大數(shù)據(jù)全生命周期管理，旨在通過制定一系列的規(guī)范、流程和技術(shù)手段來管理空間數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，確保其可靠性、安全性、完整性、準(zhǔn)確性和及時(shí)性。產(chǎn)品融合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)、服務(wù)中心等功能模塊融為一體。打通數(shù)據(jù)壁壘，解決數(shù)據(jù)孤島問題，助力數(shù)據(jù)標(biāo)準(zhǔn)落地，提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)融合。

     四、全方位大數(shù)據(jù)分析計(jì)算

    大數(shù)據(jù)分析計(jì)算方面，MapGIS IGServer-X大數(shù)據(jù)GIS分析服務(wù)器產(chǎn)品提供更多的大數(shù)據(jù)分析算子，新增了貝葉斯訓(xùn)練、貝葉斯預(yù)測、時(shí)序預(yù)測、管網(wǎng)漏損預(yù)測、網(wǎng)格剖分等算子，目前提供了覆蓋到矢量大數(shù)據(jù)、影像大數(shù)據(jù)、實(shí)時(shí)大數(shù)據(jù)、文本大數(shù)據(jù)以及空間機(jī)器學(xué)習(xí)共五個(gè)維度300+的分布式算子，全方位滿足多場景、多業(yè)務(wù)的復(fù)雜任務(wù)處理需求。

     如在管網(wǎng)健康評(píng)價(jià)場景中，通過管網(wǎng)基礎(chǔ)數(shù)據(jù)（如管齡、管材、管徑……）和管網(wǎng)檢漏維修的業(yè)務(wù)歷史數(shù)據(jù)（破損位置、破損類型、破損原因……），采用AI貝葉斯分類算法構(gòu)建管網(wǎng)失效分析模型，對(duì)管網(wǎng)當(dāng)前的失效概率進(jìn)行評(píng)估預(yù)測，為管網(wǎng)改造、管網(wǎng)巡檢以及管網(wǎng)檢漏等業(yè)務(wù)計(jì)劃的制定提供數(shù)據(jù)輔助支撐和依據(jù)。

     在管網(wǎng)漏損監(jiān)測定位場景中，通過管網(wǎng)空間拓?fù)潢P(guān)系和管網(wǎng)監(jiān)測點(diǎn)實(shí)時(shí)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)相關(guān)算法構(gòu)建管網(wǎng)漏點(diǎn)定位模型，對(duì)管網(wǎng)當(dāng)前的漏點(diǎn)進(jìn)行評(píng)估預(yù)測定位，為管網(wǎng)巡檢以及管網(wǎng)檢漏等業(yè)務(wù)計(jì)劃的制定提供數(shù)據(jù)輔助支撐和依據(jù)。

     五、多引擎大數(shù)據(jù)可視化

     在大數(shù)據(jù)可視化方向，針對(duì)地理大數(shù)據(jù)空間性、時(shí)間性、多維性、海量性、復(fù)雜性等特點(diǎn)，MapGIS推出了云GIS客戶端開發(fā)平臺(tái)——MapGIS Client for JavaScript產(chǎn)品，該產(chǎn)品既提供傳統(tǒng)的大數(shù)據(jù)GIS查詢統(tǒng)計(jì)服務(wù)，支持屬性查詢、關(guān)鍵字查詢、空間查詢及多樣化的專題統(tǒng)計(jì)表達(dá)，同時(shí)集成Leaflet、MapBoxGL、Cesium、Unreal Engine等開源地圖引擎，以及MapV、EchartGL、D3等大數(shù)據(jù)可視化引擎，支持多樣化的可視化表達(dá)，如熱力圖、散點(diǎn)圖、聚類圖、密度圖、蜂窩圖、漸進(jìn)線、網(wǎng)格圖、時(shí)空立方體等多種可視化表達(dá)方式，為用戶提供可靜可動(dòng)的可視化展示效果。

     六、“一站式”大數(shù)據(jù)運(yùn)維監(jiān)控

在大數(shù)據(jù)運(yùn)維監(jiān)控方向，MapGIS Cloud Manager云運(yùn)維管理平臺(tái)產(chǎn)品再升級(jí)，該產(chǎn)品與虛擬化、容器化平臺(tái)無縫融合，實(shí)現(xiàn)多種資源的一鍵部署、統(tǒng)一管理和運(yùn)維監(jiān)控，提供分布式存儲(chǔ)、分布式分析等大數(shù)據(jù)應(yīng)用。

基于k8s平臺(tái)，MapGIS Cloud Manage可實(shí)現(xiàn)大數(shù)據(jù)GIS分析服務(wù)器站點(diǎn)（MapGIS IGServer-X）、分布式數(shù)據(jù)存儲(chǔ)站點(diǎn)（MapGIS DataStore）、各種存儲(chǔ)站點(diǎn)（MongoDB、MinIO、Citus、Postgres-XL、Nebula、HDFS、Elasticsearch等）、定制大數(shù)據(jù)Docker應(yīng)用站點(diǎn)等各類大數(shù)據(jù)GIS相關(guān)站點(diǎn)快速部署、統(tǒng)一管理和運(yùn)維監(jiān)控，提供快速建站、重新部署、刪除重建、規(guī)格調(diào)整、站點(diǎn)銷毀（刪除）、修改鏡像、命令行操作、資源監(jiān)控、詳情查看、日志管理等操作。

MapGIS Cloud Manager提供多維度資源監(jiān)控及指標(biāo)采集，能夠全方位監(jiān)控所有資源，如基于MapGIS Cloud Manager創(chuàng)建的所有大數(shù)據(jù)GIS相關(guān)站點(diǎn)，通過注冊方式接入的URL地址、任意主機(jī)、MongoDB、PostgreSQL數(shù)據(jù)庫等注冊資源，以及站點(diǎn)微服務(wù)實(shí)例等。

MapGIS Cloud Manager在提供CPU占用、內(nèi)存占用、磁盤、網(wǎng)絡(luò)等通用監(jiān)控指標(biāo)外，還可根據(jù)監(jiān)控對(duì)象不同提供不同的指標(biāo)，如提供節(jié)點(diǎn)狀態(tài)、CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等大數(shù)據(jù)站點(diǎn)資源；提供數(shù)據(jù)庫總數(shù)、集合信息、數(shù)據(jù)庫對(duì)象、數(shù)據(jù)庫索引、文件狀態(tài)、磁盤IO、內(nèi)存使用量、網(wǎng)絡(luò)IO、最大連接數(shù)等數(shù)據(jù)庫應(yīng)用指標(biāo)；提供URL的狀態(tài)碼、超時(shí)時(shí)間等URL監(jiān)控指標(biāo)；以及平均響應(yīng)時(shí)間、平均請(qǐng)求速率、成功請(qǐng)求總數(shù)、失敗請(qǐng)求總數(shù)等服務(wù)實(shí)例性能指標(biāo)。

MapGIS Cloud Manager支持智能告警，提供節(jié)點(diǎn)狀態(tài)、CPU、內(nèi)存、磁盤、網(wǎng)卡等10多種告警規(guī)則。當(dāng)觸發(fā)這些規(guī)則后，將通過郵件發(fā)送告警通知，告警通知中記錄數(shù)據(jù)庫所有異常操作，幫助運(yùn)維人員查找問題，解決告警。

數(shù)據(jù)被譽(yù)為新時(shí)代的“石油”，在政府治理、科學(xué)研究以及企業(yè)經(jīng)營等各領(lǐng)域，大數(shù)據(jù)正“潤物細(xì)無聲”地發(fā)揮著重要的作用。向數(shù)據(jù)要素要新質(zhì)生產(chǎn)力是國家的戰(zhàn)略選擇，更是社會(huì)經(jīng)濟(jì)發(fā)展的必然趨勢。MapGIS 10.7不斷創(chuàng)新大數(shù)據(jù)GIS技術(shù)，幫助用戶分析挖掘大數(shù)據(jù)的價(jià)值，以釋放數(shù)據(jù)要素乘數(shù)效應(yīng)，真正將數(shù)據(jù)轉(zhuǎn)化為強(qiáng)大的新質(zhì)生產(chǎn)力。