共查询到19条相似文献，搜索用时 265 毫秒
1.
研究了提高空间矢量数据运算效率的分布式并行处理方法, 基于微软Azure云平台设计了适用于矢量数据并行处理的3种架构方式:中心负载均衡架构、分布式静态负载均衡架构、分布式动态负载均衡架构, 并分别搭建原型系统对小规模偏态分布数据和大规模数据进行叠置分析测试。试验结果表明, 基于Azure云的分布式动态负载均衡架构版本原型系统可大幅度提高计算效率, 对小规模偏态分布数据集可以达到超过10倍的加速比, 对大规模数据集的分析计算更是达到了超过40倍的加速比, 证明基于Azure云的分布式动态负载均衡架构方法是提高空间矢量数据分析效率的有效方法。 相似文献
2.
针对网络环境下传统的矢量地图可视化模型中矢量数据可视化效率低,地图服务器集群并行处理能力弱的难题,提出一种基于矢量数据要素空间分布的矢量数据高效并行可视化方法。研究了矢量数据空间分布信息的采集、检索和分析原理,重点阐述了矢量数据实时可视化任务的分解与并行处理流程,最终实现了矢量数据的高效并行可视化,达到了充分利用地图服务器集群中并行计算资源的目的。仿真实验结果证明,矢量数据高效并行可视化方法可以提升网络地图服务集群的并行处理能力,满足大用户量并发访问的需求。 相似文献
3.
基于中间件的高分辨率卫星影像正射纠正的分布式处理 总被引：1，自引：1，他引：0
当前摄影测量系统软件正向分布式并行处理方向发展,目前大家研究比较多的是在高性能计算机系统(如刀片机)下进行并行数据处理,而研究普通PC机集群分布式并行处理数据则相对比较少。因此本文在多PC机环境下按照分布式处理思想提出了一种对高分辨率卫星影像进行正射纠正的基于中间件模式的分布式并行处理系统,着重叙述了该系统的组成以及任务调度中的相关处理等问题,并在实践中验证了它的可行性。 相似文献
4.
随着地理信息存储量的飞速增长,传统的单进程、集中式的数据处理方式已不能满足基于网络的地理信息服务的效能要求。分析对比了OpenMP,MPI和MapReduce等主流并行编程模式,将关系型数据库与分布式空间数据管理系统相结合,提出了面向并行处理的地理信息存储模型和数据组织模型,将该模型与传统模型进行了对比分析,并基于MapReduce实现了地理空间数据并行处理框架,选取了矢量数据装载、影像数据装载以及数据切片作为典型数据处理案例开展对比实验,该技术方案的处理效率均数倍于传统技术方案。实验表明,该模型能够很好地支持并行处理框架,可为分布式环境下数据处理中心构建提供一个有效解决方案。 相似文献
5.
针对区域分片的数据分布特征,在已有的跨边界连接转化及优化规则的基础上,提出了一种先静态任务分配、后动态任务调整的混合并行调度策略。实验表明,该混合策略有效解决了分布式空间并行查询的负载平衡问题,进一步提高了分布式空间查询的效率。 相似文献
6.
7.
ArcGIS平台支持强大的空间分析功能和数据成果表达与输出的途径.本文以"多规合一"总体规划数据分析为例,介绍了基于Python脚本库实现"多规合一"总体规划数据空间叠加分析脚本工具的流程与方法,提供了流程优化的具体实现过程.实验消除了人工分析缓慢且烦琐等弊端,同时规范化输出成果,在符合管理决策所需成果要求的基础上提升了空间分析的效率、缩短了成表周期. 相似文献
8.
空间索引会极大地影响空间连接操作的效率。提出了一种基于双映射变换的分布式空间索引,通过结合平面角变换和空间填充曲线的优点,对二维空间进行两次维度变换,使空间数据分片建立在一维的顺序存储队列基础上。在此基础上提出了一种空间拓扑连接算法,并进行了算法的四叉树优化和处理效率实验,对比了本文存储方法和传统R-tree存储在时效性和冗余度方面的效率。实验结果表明,本文方法能支持高效的空间连接。 相似文献
9.
现有基于遥感的矢量电子地图自动化质量提升方法较少,且传统方法效率低,研究区域受限,精度满足不了生产要求。针对这一问题,本文提出基于遥感匹配的矢量电子地图质量快速提升的方法。核心思路是:以项目实验为基础,基于IDL语言编程实现影像匹配获取同名点并进行坐标转换,运用GIS软件的配准功能对矢量数据进行空间配准,实现矢量电子地图与影像的匹配。试验证明:采用影像匹配算法,矢量电子地图质量提升更灵活,效率更高,能够大幅度的提升矢量电子地图的质量。 相似文献
10.
11.
空间数据规模的快速增长对传统矢量数据分析方法提出了更高的计算效率和处理规模要求。随着计算机硬件和软件技术的进步,并行计算为提高GIS中典型几何计算算法的计算效率、扩大问题处理规模提供了有效手段。本文在Visual Studio 2010中,使用标准C++编程语言,基于GDAL(Geospatial Data Abstraction Library)库实现空间数据的读写操作,针对线简化算法的并行化问题,在高性能计算环境下对并行任务调度策略、并行计算粒度、数据分解方法等多个核心内容开展研究。在完成相关串行算法的基础上,实现了该算法的并行化和优化设计,为相关的矢量数据空间分析方法的多核并行优化提供了思路和参考。 相似文献
12.
M-Quadtree索引:一种基于改进四叉树编码方法的云存储环境下空间索引方法 总被引：1，自引：0，他引：1
为了解决基于"键-值"模型的云存储环境仅支持简单的关键字查询,不支持多维空间查询的问题,提出了一种新的分布式空间索引方法——M-Quadtree索引。在索引构建过程中,设计了一种基于改进四叉树的空间数据划分方法,该方法规定了叶节点区域的最小数据量,通过四叉树叶节点的再合并,解决了划分后各子区域间存储量不平衡的问题,并且满足了MapReduce并行化要求。给出了MapReduce框架下M-Quadtree索引的快速构建、查询与更新算法,并在搭建的Hadoop平台进行了关键参数对索引效率的影响以及不同规模数据下索引的创建、查询和更新试验。与现有分布式空间索引的对比试验及分析结果表明,M-Quadtree索引在数据存储量负载均衡、算法并行化和空间查询效率等方面表现得更好。 相似文献
13.
14.
地图兴趣点分布式空间分析服务 总被引：1，自引：1，他引：0
针对互联网地图上海量兴趣点的应用分析需要提高效率的问题,该文利用MongoDB设计并搭建了一个分布式集群,对这些互联网兴趣点数据进行了储存;然后通过MapReduce机制改进并实现了适用于海量兴趣点数据的空间同位模式挖掘的Apriori算法和几个常用的空间分布特征值计算方法;最后依据开放地理信息系统协会的Web处理服务规范,设计并实现了一个互联网兴趣点分布式分析服务实验系统。该文所提出的改进后的算法在数据吞吐量和计算效率上有优越性,且计算效率比传统空间分析工具和传统Apriori算法有所提高。 相似文献
15.
基于ArcSDE的空间数据库版本管理软件开发研究 总被引：1，自引：0，他引：1
陈晓明 《测绘与空间地理信息》2008,31(4)
一直以来,海量空间数据的高效管理和快速更新都是数字测绘部门面临的一大技术问题.空间数据库版本管理技术是解决这一问题的核心技术,它通过多用户分布式编辑和版本冲突处理机制来提高实际的4D产品生产和管理效率.本文主要讨论了借助于ArcSDE空间数据库引擎以及提供的空间数据库版本管理组件,利用ComGIS开发具有实用性的空间数据库版本管理软件的方法、过程以及试验,并对试验的结果做出了分析. 相似文献
16.
CPU/GPU异构混合系统是一种新型高性能计算平台,但现有并行空间插值算法仅依赖CPU或GPU进行加速,迫切需要研究协同并行空间插值算法以充分利用异构计算资源,进一步提升插值效率。以薄板样条函数插值为例,提出一种CPU/GPU协同并行插值算法以加速海量激光雷达（light detector & ranger,LiDAR）点云生成数字高程模型（DEM）。通过插值任务的分解与抽象封装以屏蔽底层硬件执行模式的差异性,同时在多级协同并行框架基础上设计了Greedy-SET动态调度策略,策略顾及底层硬件能力的差异性,以实现异构并行资源的充分利用和良好负载均衡。实验表明,协同并行插值算法在高性能工作站上取得19.6倍的加速比,相比单一CPU或GPU并行算法,其效率提升分别达到54%和44%,实现了高效的协同并行处理。 相似文献
17.
An online spatial biodiversity model (SBM) for optimized and automated spatial modelling and analysis of geospatial data is proposed, which is based on web processing service (WPS) and web service orchestration (WSO) in parallel computing environment. The developed model integrates distributed geospatial data in geoscientific processing workflow to compute the algorithms of spatial landscape indices over the web using free and open source software. A case study for Uttarakhand state of India demonstrates the model outputs such as spatial biodiversity disturbance index (SBDI) and spatial biological richness index (SBRI). In order to optimize and automate, an interactive web interface is developed using participatory GIS approaches for implementing fuzzy AHP. In addition, sensitivity analysis and geosimulation experiments are also performed under distributed GIS environment. Results suggest that parallel algorithms in SBM execute faster than sequential algorithms and validation of SBRI with biological diversity shows significant correlation by indicating high R2 values. 相似文献
18.
Due to high data volume, massive spatial data requires considerable computing power for real‐time processing. Currently, high performance clusters are the only economically viable solution given the development of multicore technology and computer component cost reduction in recent years. Massive spatial data processing demands heavy I/O operations, however, and should be characterized as a data‐intensive application. Data‐intensive application parallelization strategies, such as decomposition, scheduling and load‐balance, are much different from that of traditional compute‐intensive applications. In this article we introduce a Split‐and‐Merge paradigm for spatial data processing and also propose a robust parallel framework in a cluster environment to support this paradigm. The Split‐and‐Merge paradigm efficiently exploits data parallelism for massive data processing. The proposed framework is based on the open‐source TORQUE project and hosted on a multicore‐enabled Linux cluster. A specific data‐aware scheduling algorithm was designed to exploit data sharing between tasks and decrease the data communication time. Two LiDAR point cloud algorithms, IDW interpolation and Delaunay triangulation, were implemented on the proposed framework to evaluate its efficiency and scalability. Experimental results demonstrate that the system provides efficient performance speedup. 相似文献
19.
针对全球海量地理信息数据成果数据量大、数据类型丰富、质量检查内容多的特点，本文将分布式并行计算技术、多线程技术应用到地理信息数据质量控制体系中，基于MapReduce框架实现了多源多时相海量数据并行质量控制，把算法结构由一个周期执行一个操作改造为一个周期执行多个操作的并行处理，从根本上解决重复操作多、计算慢的质量检查难题。选取核心矢量要素、DOM成果、DEM成果作为典型数据案例开展效率对比试验。试验结果表明，该技术方案的处理效率比传统技术方案提高2~3倍，有效地压缩了任务执行时间，节约了任务执行成本，实现了对海量地理信息数据的快速质量控制，保障了全球地理信息数据的成果质量。 相似文献