高性能GIS研究进展及评述     

左尧  王少华  钟耳顺  蔡文文 《地球信息科学学报》2017,19(4):437-446

互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。  相似文献   

基于N-KD树的空间点数据分组算法     

魏海涛  杜云艳  任浩玮  刘张  易嘉伟  许开辉 《地球信息科学学报》2015,17(1):1-7

随着科学技术的进步,地理空间数据的分析处理面临着数据量膨胀和计算量高速增长的双重挑战,为了解决海量数据处理速度慢的问题,本文针对空间分布不均匀的点数据,从数据并行的角度,以保持数据的空间邻近性及保证数据分组后各组数据量负载均衡为目标,提出基于N-KD树（Number-K Dimension Tree）数据动态分组的方法,其是一种面向实时变化（数据量和数据空间范围变化）的空间数据动态分组方法。该方法借鉴K-D树的创建和最临近点搜索的思想,通过方差判断数据分布稀疏程度,利用最临近点搜索方法处理边界点,实现空间范围的不均等切分,保证数据分组后各组数据量基本均衡。试验表明,该方法具有较好的动态分组效果与较高的计算效率;支持各种分布状态的空间点数据的分组;分组后各组数据量负载均衡;分组算法本身有支持并行、支持分布式协同工作模式的特点。  相似文献   

改进SPIHT算法及硬件高速实现     

曹圣群  黄普明  于伟  鞠德航 《地球信息科学学报》2005,7(4):50-53

基于小波变换的SPIHT图像压缩方案是一种实用高性能图象压缩编码算法,但原始SPIHT算法链表式编码限制了其在高速处理中的应用。本文提出了一种改进的SPIHT压缩编码算法,在确保恢复图像质量与原始算法基本相当的基础上,改进算法可以采用并行流水结构实现,有利于高速处理中的应用,可以对高达40×8Mbit／s的原始图像实时压缩和去压缩。  相似文献   

致密砂岩水压瞬态致裂液化格子波尔兹曼及有限元数值研究     

朱伯靖  刘旭耀  程惠红  柳畅  刘善琪  任天翔  李永兵  石耀霖 《地震》2013,33(4):71-83

水压瞬态致裂液化在地应力测量、 地震破坏评估和机理研究、 油气(天然气、 页岩气)及地热资源开发等地学领域都具有重要的理论和应用价值。 自20世纪60年代至今在理论和实际应用方面取得了一些奠基性和开创性成果, 但鉴于问题复杂性, 瞬态致裂液化机理至今尚不清楚。 本研究应用格子波尔兹曼及有限元多孔介质流固耦合物理模型, 对地震波载荷作用下致密砂岩水压瞬态致裂液化过程进行数值模拟研究。 首先, 以鄂尔多斯盆地某油田延长组致密砂岩为例, 利用X射线CT断层成像技术, 应用基于量子力学第一性原理格子波尔兹曼方法, 建立致密砂岩数字岩芯模型。 进而, 推导格子波尔兹曼及有限元多孔介质流固耦合数值模型公式, 建立致密砂岩水压致裂液化物理模型。 最后, 应用地震波载荷边界和初始条件, 模拟瞬态致裂液化流固耦合过程, 讨论了地震波载荷幅值、 频率及作用时间对致密砂岩孔隙结构(孔隙度大小及连通性)、 致密砂岩破裂最大主应力之间关系, 得到了地震波作用下致密砂岩致裂液化准则。  相似文献   

气候模式模拟中海量数据的并行抽取与可视化分析诊断     

邓春林  张怀  谭清海  王蕊  郭晓虎 《地震》2013,33(4):214-224

在地球动力学和气候模拟等领域, 数值模拟产生的数据规模达到Tb至Pb量级。 实现这些海量数据的实时可视化和实时诊断分析面临很大的困难, 时空多尺度数据抽取可以解决这一瓶颈。 高精度数据的可视化结果展示需要高分辨率的显示设备, 并行的大屏幕显示技术是解决这一问题的有效手段。 地球科学数值模拟、 并行数据抽取和高分辨率显示都需要搭建高性能计算机集群。 本文在基于Lagrange插值的多维度、 多尺度、 多分辨率并行数据抽取算法的同时, 利用并行计算节点及LCD显示器, 基于Rocks cluster系统搭建起一个176核, 4×10×1024×1280分辨率的高性能计算模拟、 数据抽取和并行显示输出的集成平台, 并将该平台成功应用到气候模式模拟产生的海量数据的并行抽取和并行显示。  相似文献   

地下探测技术在潍坊地下输油管道中的应用          下载免费PDF全文

于广婷  李秋扬  卢晓龙  王晓东  张志进 《山东国土资源》2012,28(11):47-50

地下输油管道是国家经济发展的基础,是维持城乡正常运转的大动脉,为满足输油管道日常管理的需要,避免居民生活和国家财产损失,需及时提供准确、现实的管道探测成果.该文结合潍坊地下输油管道的实际探测工作,对探测仪器在实际工作中常遇到的近距离并行和交叉管道、管道防腐层破坏、非金属管道和高干扰区域等难题,进行了探讨和总结.  相似文献   

基于MapReduce的空间数据并行划分算法     

付艳丽  吴艳民  张金标  郑坤  赵长虹  郑康  方发林 《测绘通报》2017,(11):96-100

针对海量空间数据分布式存储中存在的不顾及空间邻近性、分布不均和数据倾斜的问题,基于MapReduce并行编程模型,对Hilbert空间曲线层次分解的思想和节点容量感知的方法进行了研究,提出了一种层次分解的空间数据并行划分策略,并通过临界值判定实现空间数据的均衡存储。最后通过实例分析说明该方法可以在保证空间数据邻近特性的同时,解决海量空间数据分布式存储不均和数据倾斜的问题。  相似文献   

基于自定义RDD的海量遥感图像并行镶嵌方法     

景维鹏  霍帅起 《地球信息科学学报》2017,19(10):1346-1354

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。  相似文献   

基于Python的“地理处理”并行方案     

杨霄翼 《地理信息世界》2017,(6):117-121

在传统方式下,ArcGIS地理处理工具的执行过程不能充分利用高性能多核计算机的全部运算能力处理日益增加的地理数据,导致数据处理效率低下。本文在分析地理处理工具特点的基础上,充分利用Python语言的并行编程特点,构建具有通用性的地理处理任务并行运行解决方案。结合ArcGIS软件自身的特质,有效解决了并行运行所带来的数据竞争、数据共享与进程通讯等问题,达到了一定硬件环境条件下ArcGIS工具执行效率最大化的目的。通过典型地理处理任务中不同运行方式效率的对比测试与分析,证明了并行运行的有效性。  相似文献   

CALMET的OpenMP并行化          下载免费PDF全文

杨森  周晓珊  杨洪斌 《气象与环境学报》2010,26(6):40-42

基于处理器制造工艺的提升接近极限,传统的单纯靠提高主频来提升性能已不适合时代需求,促使处理器从单核向多核转化。经过近年发展,多核处理器在当前成为主流配置,而气象程序大部分还是串行的,极大地浪费了处理器的计算资源。MPI和OpenMP作为两种主要的并行环境,具有各自的优势。MPI适用于分布式内存计算机,但是需要对程序进行的修改较多,难度大。OpenMP使用共享内存方式,对程序修改较少。相对来说,OpenMP更适合于多核处理器的并行计算。通过对CALMET进行OpenMP并行化加快CALMET运行速度的尝试,介绍了对串行程序进行OpenMP并行化的一般方法。主要步骤包括：对串行程序进行性能分析,找出计算时间最长的程序段进行并行改写;对循环进行OpenMP并行化,修改中间变量为单个线程私有;编译运行并行程序,进行性能比较;比较并行与串行的运行输出结果是否一致。  相似文献