共查询到18条相似文献，搜索用时 171 毫秒
1.
在传统方式下,ArcGIS地理处理工具的执行过程不能充分利用高性能多核计算机的全部运算能力处理日益增加的地理数据,导致数据处理效率低下。本文在分析地理处理工具特点的基础上,充分利用Python语言的并行编程特点,构建具有通用性的地理处理任务并行运行解决方案。结合ArcGIS软件自身的特质,有效解决了并行运行所带来的数据竞争、数据共享与进程通讯等问题,达到了一定硬件环境条件下ArcGIS工具执行效率最大化的目的。通过典型地理处理任务中不同运行方式效率的对比测试与分析,证明了并行运行的有效性。 相似文献
2.
栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。 相似文献
3.
新一代并行空间分析将面临空间大数据分析和实时空间分析服务的挑战。矢量空间计算作为GIS系统中的重要组成部分,在并行化算法设计中存在负载不均,并行扩展性差,IO性能低等技术瓶颈。本文首先从应用需求和技术发展的演变历史回顾了矢量空间分析算法发展过程;然后,从研究现状的角度详细阐述了并行矢量空间分析计算的研究成果,总结了并行空间分析算法的算法特征和技术瓶颈,对不同并行编程模型进行了对比,并提出了并行空间分析算法的研发流程;最后,从发展前景的角度预测了全空间信息系统中基于多粒度时空对象的空间数据模型和计算方法的发展趋势,提出了以内存计算等技术实现存算一体化的新型空间数据模型和分析方法的技术趋势。 相似文献
4.
局部型地形因子并行计算方法研究 总被引：2，自引：0，他引：2
随着分析区域的扩展及需求精度的提高,数据-计算密集型地形分析亟需通过并行化来满足用户的时间响应需求。局部型地形因子是以一定半径的分析窗口(通常为3×3)计算且具有单元计算结果独立性的地形信息,是数字地形分析的基本参数。本文在分析局部型地形因子串行算法特征的基础上,以坡度算法为样本,对局部型地形因子的并行计算方法进行了深入研究。从数据并行的角度,对并行计算环境下的数据划分粒度、方式及结果融合策略进行了分析,构建了局部型地形因子的并行计算方法。利用SRTM陆地表面地形DEM数据,设计了坡度并行计算的实验以验证其方法的正确性和实用性。实验结果表明,本文提出的并行计算方法顾及了任务、数据及计算环境,可快速对局部型地形因子串行算法进行并行化改造,提高算法的执行效率,具有较好的并行性能。 相似文献
5.
《地理信息世界》2015,(6)
随由于地理坐标系统、地图投影、数据格式的差异,大规模地理数据的集成、应用极为不便。本文基于多核/集群的高性能硬件架构,探索多源异构地理数据并行集成中的关键问题,主要包括:1设计了统一、开放的地理数据读写接口和空间参考扩展接口,实现对不同地理格式以及空间参考的无缝集成;2深入探讨地理数据并行集成的算法原理,设计符合其特征的数据划分及并行调度策略,提高数据集成效率。在多核并行环境中实现本算法,并利用典型苏南地区数据进行应用实验。实验结果表明,提出的并行技术可实现不同数据格式、不同空间参考地理数据的准确、快速集成,取得了14.38的加速比,从而解决了大规模地理数据的快速集成问题。 相似文献
6.
随着高性能计算的发展,并行技术已经广泛应用于LiDAR数据的分析处理。本文针对现有LiDAR数据生成DEM并行算法所存在的负载不均衡问题,设计并实现了动态负载均衡的LiDAR数据生成DEM并行算法。该算法采用主从式并行策略,管理进程负责LiDAR点云的高效自适应条带划分,计算进程负责LiDAR点云生成DEM的计算。本文设计了任务量的动态调度策略:首先,由所有进程并行创建任务量由大到小排列的待处理任务队列;然后,管理进程根据计算进程的反馈对待处理任务进行动态分配,以达到负载均衡。在24 核集群环境下,用30 GB(约12 亿点)LiDAR数据对本文算法进行测试,生成分辨率为1 m的格网DEM,算法加速比峰值达到15.16;同时,与静态调度策略进行对比实验,结果显示本文的动态负载均衡策略可更好地保证进程间的负载均衡,有效地提高了LiDAR生成DEM并行算法的整体效率。 相似文献
7.
作为二阶点模式分析方法,Ripley's K函数（简称K函数）以距离为自变量探测不同尺度下点事件的分布模式及演变规律,在生态学、经济学、地理学等诸多领域得到广泛应用。然而,随着点规模的增加,估计与模拟阶段点对距离遍历计算时间开销激增,严重制约了K函数的应用,算法流程优化与并行加速成为应对海量点数据下K函数性能瓶颈及可计算性问题的关键技术手段。针对默认数据分区未考虑点事件空间邻近性导致跨节点通讯成本高昂且K函数距离阈值较大时索引优化失效的现象,本文提出一种基于空间填充曲线的K函数优化加速方法。该方法采用Hilbert曲线构建空间分区,在顾及数据空间邻近性的前提下减少分区间数据倾斜和通讯开销;在分区基础上,利用Geohash编码改进各分区内本地空间索引策略加速点对距离计算。本文以湖北省工商企业注册数据为例,通过对比实验分析了默认分区无索引、KDB分区组合R树索引、本文Hilbert分区组合Geohash索引算法在不同数据规模、距离阈值、集群规模下的计算耗时。结果表明,300 000点数据规模下本文方法的时间开销约为默认分区无索引方法的1/4,9台节点下加速比超过3.6倍。因此,该方法能有效提升分布式环境下K函数计算性能并具有良好的可伸缩性,可为其他点模式分析方法的优化提供参考。 相似文献
8.
缓冲区计算是地理信息系统空间分析的基本功能之一。在矢量缓冲区研究方面,以往大多聚焦缓冲区生成算法,这些优化方法在单机计算环境中针对大规模空间数量数据的计算效率提升是有限的,因而需要并行环境下的改进方法来进一步破解计算瓶颈。本文基于Map Reduce计算模型和分布式内存计算框架,提出了一种基于空间填充曲线排列码划分的并行缓冲区分析算法(SPBM),基于空间填充曲线编码进行数据排序和范围划分,对跨越网格的数据采用近似切分方法,在考虑负载均衡的前提下对任务并行分解,之后按照给定深度的"树状"方式进行结果合并。本文在单机和集群两种环境下利用实际道路网等数据进行了实验。同等环境下,相较于目前流行的GIS软件——QGIS和Post GIS计算性能提升明显,相较于现有其他并行优化方法效率提升超过50%。这样的优化分析方法对于GIS中其他矢量分析算法的并行算法也具有一定的借鉴意义。 相似文献
9.
基于Agent建模的地理模拟是认识和理解动态地理现象的有效方法,但随着地理模拟的规模和复杂性不断增加,模型的计算问题开始凸显。分布式并行仿真是解决大规模Agent复杂模拟计算的途径,然而已有研究基于Agent建模/仿真软件构建并行仿真系统的方式并不适用于具有高移动与行为交互的空间Agent建模及其模拟过程的实时可视化。为解决这个问题, 本文提出了一个分布式地理模拟框架DGSimF,用于大规模动态空间Agent模拟,支持模拟过程的实时表示与分析。设计了一个简单但高效的时空数据模型建模空间Agent,支持直接基于Agent行为建模集成地学模型,采用了时间微分方法协同各计算节点行为的执行,实现以“任务并行”的方式进行分布式计算以提高仿真性能,构建了基于三维地球渲染引擎的虚拟地理环境,提供模拟过程的实时可视化。最后,以“红蓝对抗”案例进行了实验验证,对不同模拟计算量和不同客户端数量下的仿真性能进行了分析,结果表明DGSimF可以为具有时空特征变化与行为交互的大规模空间Agent模拟提供一个有效的平台。通过扩展计算节点,DGSimF可以有效地缓解复杂模拟计算的压力问题,并且仿真性能较高,在实验中并行效率保持在0.7以上。 相似文献
10.
影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。 相似文献
11.
流域过程模拟是地理学研究和流域科学管理的有效工具。在应用需求的推动下,长时段、高空间分辨率的多过程综合模拟逐渐兴起,流域过程模拟所需的计算量越来越大,亟需借助并行计算技术来提高效率。流域过程模拟并行计算的现有研究,大多为针对特定模型的个例研究,缺乏对指导各类流域过程模型并行计算的共性思路和原则进行讨论和梳理。首先,对可指导流域过程模拟并行计算的地理规律进行了分析,从空间、子过程和时间3 个角度,探讨了空间等级层次结构、空间相互作用、子过程间依赖关系、时空动态变化等地理规律,对流域过程模拟并行计算的指导作用;然后,根据地理规律在并行计算中所发挥作用和适用范围的不同对其分类;最后,结合2 个实例,对地理规律的流域过程模拟并行计算进行了分析和验证,旨在对流域过程模拟并行计算理论和方法的发展与应用提供借鉴。 相似文献
12.
Zhang Zhenchang Hong Huasheng Wai Onyx Winghong Jiang Yuwu Zhou Changle 《中国海洋湖沼学报》2010,28(6):1340-1349
We enhance a robust parallel finite element model for coasts and estuaries cases with the use of N-Best refinement algorithms,
in multilevel partitioning scheme. Graph partitioning is an important step to construct the parallel model, in which computation
speed is a big concern. The partitioning strategy includes the division of the research domain into several semi-equal-sized
sub-domains, minimizing the sum weight of edges between different sub-domains. Multilevel schemes for graph partitioning are
divided into three phases: coarsening, partitioning, and uncoarsening. In the uncoarsening phase, many refinement algorithms
have been proposed previously, such as KL, Greedy, and Boundary refinements. In this study, we propose an N-Best refinement
algorithm and show its advantages in our case study of Xiamen Bay. Compared with original partitioning algorithm in previous
models, the N-Best algorithm can speed up the computation by 1.9 times, and the simulation results are in a good match with
the in-situ data. 相似文献
13.
多源、多尺度遥感影像为研究不同尺度的地表变化提供了丰富的数据。但其在作比较研究时,通常会涉及空间尺度统一问题,当多源遥感影像之间的空间分辨率为非整倍数关系时,其空间尺度统一相对困难。为此,本文针对多源、多尺度遥感影像间尺度比较时所涉及的空间尺度转换问题,提出了最大公约数的空间尺度转换算法,并以IKONOS多光谱影像为数据源,采用若干商业软件和本文所提算法进行空间尺度转换比较实验;同时,利用均值、标准差和相关系数等6个评价指标对空间尺度变换后的影像进行定量评价。结果表明,本文提出的空间尺度转换方法对原始影像的光谱信息等特征具有很好的保真性,简单易行,可实现遥感影像任意空间尺度的转换,解决了多源遥感影像之间的空间分辨率为非整倍数关系时的空间尺度转换问题。 相似文献
14.
???÷???????????????????????????????????????????????????????????????????TRIAD????QUEST????????????????????????????????????????????С???????????????????仯???????￡?TRIAD?????????? 相似文献
15.
GEOBIA（Geographic Object-Based Image Analysis）技术针对高空间分辨率遥感影像分析的效果和精度远优于基于像元的传统方法。影像分割作为GEOBIA中的关键技术,学者们对此已经做了大量的研究,提出众多分割算法。对分割算法进行评价和分割技术本身同样重要,通过分割评价可以对分割算法的性能进行评价,比较不同分割算法的优劣,为影像选择合适的分割算法并设定合适的分割参数。影像分割的目的是为了实现影像分析操作的自动化,而主观评价法、系统评价法和分析评价法,因其无法给出客观定量指标的特点,难以应用于实时、自动化的高分辨率影像信息提取与分析系统当中。加之近年来针对分割评价方法的研究远远落后于分割算法本身,因此对定量分割评价方法进行综述对于影像分割方法及其应用研究意义重大。本文对现有的评价方法进行系统总结,建立了针对高空间分辨率遥感影像分割评价方法的分类体系。对各种方法,特别是定量的实验评价法进行对比,分析其应用范围和优劣,最后指出了高空间分辨率遥感影像分割评价未来的改进方向和应用前景。 相似文献
16.
随着网络地图不断发展,个性化网络地图也得到快速发展。个性化网络地图需要以矢量数据为数据基础,以满足人们对地图色彩、符号等个性化要求,所以需要实时、快速进行大量数据化简。本文以经典Douglas-Peucker算法作为曲线化简算法,利用开源云计算平台Hadoop建立多机协作的曲线并行化简服务框架,设计和实现了多机并行Douglas-Peucker算法,并在集群上进行实验分析,验证算法的效率和适用性。算法核心是设计数据的逻辑分片,利用MapReduce计算原理,将分片分配到集群中,实现并行运算。实验分别分为两个方面:(1)比较在固定阈值不同数据量情况下,传统DP算法与多机并行DP算法效率;(2)比较在相同数据量不同阈值情况下,传统DP算法与多机并行DP算法效率。实验表明,在大数据量和高复杂度情况下,多机并行DP算法的效率更高。 相似文献
17.
??????????????????????????????????????????????????????????????????????м???????????????Web Services??WS???????????????????????????????????Ч????????м????????????????????.NET???????????????Web?????????????????????м?????????Ч???????????????WS???????????????????Ч????????????????? 相似文献
18.
基于空域最小二乘法,对卫星重力梯度数据确定地球重力场中的Cholesky分解法、预条件共轭梯度法以及OpenMP并行算法3种数值方法进行比较与分析。研究表明,在计算机硬件资源有限的情况下,传统的Cholesky分解法已经无法满足求解要求;预条件共轭梯度法的求解效率较之Cholesky分解法有改进,但其以损失小量精度为代价;OpenMP并行算法在不损失求解精度的条件下,可提高求解的效率。 相似文献