基于自定义RDD的海量遥感图像并行镶嵌方法     

景维鹏  霍帅起 《地球信息科学学报》2017,19(10):1346-1354

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。  相似文献   

基于Python的“地理处理”并行方案     

杨霄翼 《地理信息世界》2017,(6):117-121

在传统方式下,ArcGIS地理处理工具的执行过程不能充分利用高性能多核计算机的全部运算能力处理日益增加的地理数据,导致数据处理效率低下。本文在分析地理处理工具特点的基础上,充分利用Python语言的并行编程特点,构建具有通用性的地理处理任务并行运行解决方案。结合ArcGIS软件自身的特质,有效解决了并行运行所带来的数据竞争、数据共享与进程通讯等问题,达到了一定硬件环境条件下ArcGIS工具执行效率最大化的目的。通过典型地理处理任务中不同运行方式效率的对比测试与分析,证明了并行运行的有效性。  相似文献   

并行计算技术及其在勘探地球物理学中的现状与展望   总被引：3，自引：2，他引：1       下载免费PDF全文

黄易  师学明  范建柯  胡文宝 《地球物理学进展》2010,25(2):642-649

本文详细阐述了并行计算技术及其在地球物理勘探数据处理中的发展现状和发展趋势,分析了几个代表性的并行算法实例.这些结果表明,在拥有强大的并行机的基础上,基于并行计算开发环境(MPI和PVM等)设计高效的并行算法,通过分配合理的并行粒度、通信开销、负载平衡等执行高效的并行计算,可以有效加快处理速度、降低成本.目前,并行算法在地震数据处理中应用已较为成熟,近年来向更实用的基于PC机群的并行技术发展.然而,在非地震方法中,并行算法应用较少见文献报道,研究尚处于初级研究阶段.在大地电磁的二维和三维正、反演问题上,并行计算技术逐渐得到越来越多关注和重视.随着资源和能源需求的增长,地球物理勘探向深度和广度快速发展,大幅增长的数据量使得高性能并行计算机和高效的并行算法在勘探地球物理学中的发展和应用将占据愈来愈重要的地位.  相似文献   

基于群体搜索的串行蒙特卡罗反演方法的并行算法(英文)     

魏超  李小凡  郑晓东 《应用地球物理》2010,7(2):127-134

随着并行计算技术的发展,非线性反演计算效率在不断提高,但对于基于单点搜索的非线性反演方法,其并行算法的实现则是一个难题。本文将群体搜索的思想引入到基于单点搜索的非线性反演方法,构建了并行算法,以量子蒙特卡罗方法为例进行了二维地震波速度反演及实际资料波阻抗反演,并测试了使用不同节点数进行计算的效率。计算结果表明:该并行算法在理论和实际资料反演中是可行的和有效的,具有很好的通用性;算法计算效率随着使用节点数的增加而提高,但算法计算效率的提高幅度随着使用节点数的增加逐渐减小。  相似文献   

基于数字信号处理器的Linux网络远程实时监控系统的实现     

邱琪  杨斌 《成都信息工程学院学报》2010,25(5):485-489

针对现有市场上传统视频监控系统的不足,以及大部分数字信号处理器在控制和内存管理方面的局限性,设计了一个面向网络设备的嵌入式监控模型。该模型能最大限度的发挥数字信号处理器的性能,在单片数字信号处理器下,实现网络远程实时监控。首先对该监控系统的设计方案进行阐述;接着针对该系统模型的重点部分,数字信号处理器下的μCLinux操作系统移植,视频压缩模块和实时传输模块实现及优化进行了具体设计;最后对该模型的整体性能进行测试,证明该模型能满足网络远程实时监控系统的需要。  相似文献   

随机介质理论预测近距离平行盾构引起的地表沉降     

魏纲  周杨侃 《岩土力学》2016,37(Z2):113-119

提出近距离双线水平平行盾构施工引起的总的地表沉降曲线符合正态分布规律。基于单线随机介质理论简化公式,针对现有不足,建立修正的随机介质理论简化计算公式,可以计算近距离双线平行盾构施工引起的地表沉降,同时能够考虑沉降曲线的不对称性,对计算参数取值进行了探讨。算例分析结果表明,文中方法预测值与实测值比较吻合,且计算比较简便。实测数据统计结果表明,先行隧道开挖后双线隧道的半径收敛值比先行隧道半径收敛值要大,而主要影响角则变小;提出可直接用于近距离界定的式（6）,认为双线隧道的地表沉降曲线形状与P值大小有关,近距离的界定范围为 。  相似文献   

藏北羌塘盆地晚三叠世地层特征与对比   总被引：1，自引：1，他引：0       下载免费PDF全文

陈文西  王剑 《中国地质》2009,36(4):809-818

羌塘盆地上三叠统日干配错组、土门各拉组和肖茶卡组、那底岗日组分别分布于南、北羌塘凹陷。在以往研究和笔者在中国地质调查局青藏重点沉积盆地油气资源潜力分析项目工作基础上,通过对各地层单元的详细研究和区域对比,从古生物、岩石组合、沉积系列、地层单元的接触关系、年代地层进行了综合分析。结果显示北羌塘凹陷那底岗日组与南羌塘凹陷日干配错组和土门各拉组的时代主要为晚三叠世诺利期—瑞替期,三者为羌塘晚三叠世诺利期—瑞替期裂陷盆地形成过程中的同期异相的火山-沉积系列。北羌塘凹陷肖茶卡组的是残留陆表海沉积产物,其时代主要为晚三叠世卡尼期-诺利期早期,与那底岗日组、日干配错组和土门各拉组均为上下对比关系。  相似文献   

High-performance three-horizon composition algorithm for large-scale terrains     

Siham Tabik  Luis Felipe Romero  Emilio López Zapata 《International journal of geographical information science》2013,27(4):541-555

This work presents a high-performance algorithm to compute the horizon in very large high-resolution DEMs. We used Stewart's algorithm as the core of our implementation and considered that the horizon has three components: the ground, near, and far horizons. To eliminate the edge-effect, we introduced a multi-resolution halo method. Moreover, we used a new data partition approach, to substantially increase the parallelism in the algorithm. In addition, several optimizations have been applied to considerably reduce the number of arithmetical operations in the core of the algorithm. The experimental results have demonstrated that by applying the above-described contributions, the proposed algorithm is more than twice faster than Stewart's algorithm while maintaining the same accuracy.  相似文献   

A general-purpose parallel raster processing programming library test application using a geographic cellular automata model     

Qingfeng Guan  Keith C. Clarke 《International journal of geographical information science》2013,27(5):695-722

A general-purpose parallel raster processing programming library (pRPL) was developed and applied to speed up a commonly used cellular automaton model with known tractability limitations. The library is suitable for use by geographic information scientists with basic programming skills, but who lack knowledge and experience of parallel computing and programming. pRPL is a general-purpose programming library that provides generic support for raster processing, including local-scope, neighborhood-scope, regional-scope, and global-scope algorithms as long as they are parallelizable. The library also supports multilayer algorithms. Besides the standard data domain decomposition methods, pRPL provides a spatially adaptive quad-tree-based decomposition to produce more evenly distributed workloads among processors. Data parallelism and task parallelism are supported, with both static and dynamic load-balancing. By grouping processors, pRPL also supports data–task hybrid parallelism, i.e., data parallelism within a processor group and task parallelism among processor groups. pSLEUTH, a parallel version of a well-known cellular automata model for simulating urban land-use change (SLEUTH), was developed to demonstrate full utilization of the advanced features of pRPL. Experiments with real-world data sets were conducted and the performance of pSLEUTH measured. We conclude not only that pRPL greatly reduces the development complexity of implementing a parallel raster-processing algorithm, it also greatly reduces the computing time of computationally intensive raster-processing algorithms, as demonstrated with pSLEUTH.  相似文献   

Massively parallel spatial point pattern analysis: Ripley’s K function accelerated using graphics processing units     

Wenwu Tang  Wenpeng Feng  Meijuan Jia 《International journal of geographical information science》2013,27(3):412-439

This study presents a massively parallel spatial computing approach that uses general-purpose graphics processing units (GPUs) to accelerate Ripley’s K function for univariate spatial point pattern analysis. Ripley’s K function is a representative spatial point pattern analysis approach that allows for quantitatively evaluating the spatial dispersion characteristics of point patterns. However, considerable computation is often required when analyzing large spatial data using Ripley’s K function. In this study, we developed a massively parallel approach of Ripley’s K function for accelerating spatial point pattern analysis. GPUs serve as a massively parallel platform that is built on many-core architecture for speeding up Ripley’s K function. Variable-grained domain decomposition and thread-level synchronization based on shared memory are parallel strategies designed to exploit concurrency in the spatial algorithm of Ripley’s K function for efficient parallelization. Experimental results demonstrate that substantial acceleration is obtained for Ripley’s K function parallelized within GPU environments.  相似文献