共查询到16条相似文献，搜索用时 140 毫秒
1.
随着GIS数据获取与处理技术的迅速发展,以土地利用为代表的矢量空间数据规模不断膨胀,大量生产应用对图层间矢量数据叠加赋值操作性能提出了更高要求.本文提出了基于Apache Spark技术的矢量数据叠加赋值方法,通过扩展Spark技术的弹性分布式数据集,使其提高对于GIS空间数据的表达能力,通过空间索引的构建使得叠加计算可以在Spark集群各节点上分布式高效运行.通过十万、百万、千万3种量级的数据进行实验,结果表明,相比传统算法,基于Spark技术的矢量数据叠加赋值方法有30%—90%的性能提升. 相似文献
2.
Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。 相似文献
3.
随着GIS技术的快速发展和深入推广,空间数据获得的途径越来越多,数据来源也比较复杂,处理的方式也多样化。这就使空间数据管理的难度大大增加,因此,研究空间数据的组织和管理具有重要的意义。本文主要从多尺度空间数据管理、空间数据分层管理、空间数据分布式管理、空间数据质量管理四个方面进行分析。 相似文献
4.
1、数据中心技术的诞生
经过几十年的发展，GJS应用的领域越来越广泛。GIS应用系统需要访问分布在多个数据源的异构数据，也需要整合诸如文档、数据库属性表等非空间数据。如何在分布式异构环境下对空间数据及非空间数据进行有效的集成管理，成为一个亟待解决的问题。与此同时，GIS应用系统本身也变得越来越复杂，从处理来自多种数据库的异构数据到使来自多种GlS平台的功能能够协同工作；从GIS空间分析到复杂的领域业务逻辑的实施； 相似文献
5.
6.
基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。 相似文献
7.
针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于Spark架构的空间查询实现技术,并给出相应的解决方案。提出一个基于Spark并提供类SQL访问接口的空间查询实现模型GeoSpark SQL,解决了以下关键问题:数据的外包矩形数据生成和标准地理信息数据对Spark的导入导出方法;Spark空间查询算子实现方法;Spark空间索引与查询优化方法。GeoSpark SQL模型在初步实验中,已可以满足实时性的要求,对复杂的空间查询也能有良好的性能表现。 相似文献
8.
使用对象关系型数据库来一体化存储和管理海量的GIS基础图形数据和属性数据是近年来GIS领域研究的一项重点内容。本文结合Oracle Spatial对空间对象数据的存储模式,重点研究了在VC中通过OO4O对数据库所存储的空间对象数据的访问方法,通过这种方法,不仅能够读取一体化存储的空间数据,还可以通过适当的处理实现对空间数据的修改、增删等其他操作,在GIS开发中尤其实用,具有很实际的意义。 相似文献
9.
利用GIS强大的空间数据浏览查询功能、GIS空间数据库管理技术、空间分析技术、地统计技术,集成GIS,GPS、信息采集、数据共享服务和数据更新维护,结合水文数据诊断与修复模型,提供了监测、诊断、分析、修复和展示的一体化管理解决方案. 相似文献
10.
11.
Fei Hu Yongyao Jiang Yun Li Weiwei Song Daniel Q. Duffy 《International Journal of Digital Earth》2020,13(3):410-428
ABSTRACTEarth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency. 相似文献
12.
最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法. 相似文献
13.
通过研究与分析,选取Spark Streaming技术实现对P实时流数据的处理.同时,研究出一套模型化的方式,实现动态装配软件的执行过程;并通过具体的实例展示了两者结合后,在数据处理的易用性、性能及吞吐量方面,都得到了大幅提升. 相似文献
14.
15.
CGCS2000精化及其全球拓展需要采用最新的模型,处理长期积累的大型GNSS观测网数据,大型GNSS网联合、快速和协同解算是空间基准精化、维持与服务的重要技术方向。在大数据技术背景下,以并行计算、云计算为代表的高性能计算技术逐渐成为大规模数据处理的首选方法。针对海量、多源、异构GNSS数据在解算处理与平差分析等方面面临的挑战,阐述了大型GNSS观测网质量控制并行计算、非差模型并行解算、双差模型并行解算、高维模糊度并行搜索固定等方法。介绍了可同时处理上千个观测站的大型GNSS观测网并行计算软件GNSSer,开展了CGCS2000精化计算的试验与验证。构建了一套适合并行计算的大型GNSS观测网解算方法,实现了CGCS2000精化及其全球拓展的多节点协同并行计算的创新。 相似文献
16.
An online spatial biodiversity model (SBM) for optimized and automated spatial modelling and analysis of geospatial data is proposed, which is based on web processing service (WPS) and web service orchestration (WSO) in parallel computing environment. The developed model integrates distributed geospatial data in geoscientific processing workflow to compute the algorithms of spatial landscape indices over the web using free and open source software. A case study for Uttarakhand state of India demonstrates the model outputs such as spatial biodiversity disturbance index (SBDI) and spatial biological richness index (SBRI). In order to optimize and automate, an interactive web interface is developed using participatory GIS approaches for implementing fuzzy AHP. In addition, sensitivity analysis and geosimulation experiments are also performed under distributed GIS environment. Results suggest that parallel algorithms in SBM execute faster than sequential algorithms and validation of SBRI with biological diversity shows significant correlation by indicating high R2 values. 相似文献