共查询到17条相似文献，搜索用时 352 毫秒
1.
空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。 相似文献
2.
图像融合是一项计算密集型的操作,对计算机系统的性能要求很高,硬件的发展远赶不上计算需求的增长,传统的遥感图像处理方式已经不能很好地适应新的资源共享模式,故软件方面的改进是必然的选择。网络技术的发展,使网络带宽有了很大的提高,大量的遥感图像通过网络发布成可在线获取的共享资源,利用网络和这些资源能大幅提升融合处理的速度。网格是网络的进一步延伸,是一个变化性较大的动态系统,资源的动态变化是网格的重要特征,数据的更新、节点的加入或离开、节点负载的变化、网络性能的变化等都会影响网格服务的性能,只有及时地掌握这些动态,并根据情况实时进行调整,才能保证较高的执行效率。基于网格服务的遥感图像并行融合的设计,在网格环境下,通过对资源和服务状态属性的分析,生成最优化的方案进行并行处理,可提供高效的遥感图像融合处理服务。 相似文献
3.
矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。 相似文献
4.
海量遥感数据的高性能地学计算应用与发展分析 总被引：1，自引：0，他引：1
航空及航天遥感器的快速发展,使得多源、多时空分辨率的遥感数据成TB级增长,对海量遥感数据的高性能计算与处理提出了更高的要求。据此,当前的遥感应用已经吸收了新型硬件架构计算、集群计算和分布式计算等高性能计算领域的最新技术。本文针对高性能计算处理海量遥感数据的效率问题,分别从分布式并行遥感文件系统和高性能遥感地学计算模式两个方面来论述该问题的研究进展;在此基础上,列举了当前具有代表性的集群和分布式遥感计算平台/系统,并结合具体实验工作,详细阐述了遥感高性能计算平台gDos-IPM(Geospatial Data Operation System-Image Processing Machine)的设计思路;最后总结了高性能遥感地学计算的发展趋势。 相似文献
5.
随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。 相似文献
6.
在遥感图像网络化分布式特征分析与表达过程中,有很多需要栅格数据与矢量数据的混合模型的网络化表达与传输问题,而矢量数据的网络化表达、传输与显示问题则是影响遥感图像分布式处理效率的关键性因素之一。本文首先对SVG技术及其对矢量数据的表达特点作了简介,在介绍遥感图像分布式特征提取系统的运行流程的基础上,对其在遥感图像分布式处理中相关的网络化数据表达与显示问题给出了相应的解决思路,并给出了相应的实例与效果分析。 相似文献
7.
影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。 相似文献
8.
ASTER卫星数据是近年来使用较多的一种新型遥感数据源。本文以阜康地区为研究区域,利用遥感图像处理软件ENVI对ASTER卫星数据进行了影像镶嵌图研制。研究表明ASTER卫星镶嵌数据体现了诸多优势。同时,本文阐述了在影像镶嵌处理中发现的问题及今后的发展趋势。 相似文献
9.
互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。 相似文献
10.
GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。 相似文献
11.
多源、多尺度遥感影像为研究不同尺度的地表变化提供了丰富的数据。但其在作比较研究时,通常会涉及空间尺度统一问题,当多源遥感影像之间的空间分辨率为非整倍数关系时,其空间尺度统一相对困难。为此,本文针对多源、多尺度遥感影像间尺度比较时所涉及的空间尺度转换问题,提出了最大公约数的空间尺度转换算法,并以IKONOS多光谱影像为数据源,采用若干商业软件和本文所提算法进行空间尺度转换比较实验;同时,利用均值、标准差和相关系数等6个评价指标对空间尺度变换后的影像进行定量评价。结果表明,本文提出的空间尺度转换方法对原始影像的光谱信息等特征具有很好的保真性,简单易行,可实现遥感影像任意空间尺度的转换,解决了多源遥感影像之间的空间分辨率为非整倍数关系时的空间尺度转换问题。 相似文献
12.
高分辨率遥感影像的目标分类与识别,是对地观测系统进行图像分析理解,以及自动目标识别系统提取目标信息的重要手段。本文综述了当前国内外在可见光、红外、合成孔径雷达和合成孔径声纳等遥感影像的目标分类与识别的关键技术和最新研究进展。首先,讨论了高分辨率遥感影像的目标分类与识别问题的主要研究层次和内容;其次,深入分析了高分辨率遥感影像目标分类与识别,在滤波降噪、特征提取、目标检测、场景分类、目标分类和目标识别的关键技术及其所存在的问题;最后,结合并行计算、神经计算和认知计算等技术,讨论了目标分类与识别的可行性方案。具体包括：（1）高性能并行计算在高分辨率遥感图像处理的主流技术,并给出了基于Hadoop+OpenMP+CUDA的高分辨率遥感影像混合并行处理架构;（2）深度学习对于提升目标分类和识别精度的应用前景,以及基于深度神经网络的多层次遥感影像目标识别方法;（3）认知计算在解决遥感影像大数据不确定性分析的模型与算法,并讨论了层次主题模型的多尺度遥感影像场景描述方案。此外,根据媒体神经认知计算的相关研究,探讨了遥感影像大数据的目标分类和识别的发展趋势和研究方向。 相似文献
13.
基于局部空间信息KFCM的遥感图像聚类算法 总被引：1，自引：0，他引：1
针对模糊C均值(Fuzzy C-Means, FCM)算法,不能有效地对夹杂噪声的遥感图像聚类的问题,本文提出了一种基于局部空间信息核模糊C均值(Kernel Fuzzy C-Means, KFCM)的遥感图像聚类算法。首先,运用核函数将遥感图像的所有像元映射到高维特征空间,通过非线性映射优化遥感图像的有用特征;然后,根据相邻像元之间的相关性,利用一种空间函数重新定义像元的模糊隶属度,将像元的局部空间信息引入到FCM算法中,并在高维特征空间中使用这种基于局部空间信息的FCM算法对像元聚类。由于引入了像元的局部空间信息,算法可以直接应用于原始遥感图像,不需要滤波预处理。大量实验结果表明,本文提出的基于局部空间信息KFCM的遥感图像聚类算法具有较强的抗噪能力,可得到较好的同质区域,优于现有的FCM算法、模糊局部信息C均值(Fuzzy Local Information C-Means, FLICM)算法及KFCM算法。 相似文献
14.
近年来,随着遥感空间数据广泛应用于生态系统,推动了区域尺度生态遥感参数模型的发展。敏感性分析对识别模型关键参数,降低模型不确定性和完善模型具有重要作用。区域尺度的生态遥感参数模型,在进行模型参数敏感性分析时,由于涉及到空间数据的复杂运算,单机环境无法满足快速分析的要求。为了提高生态遥感参数模型空间敏感性分析效率,本文以青藏高原为研究区域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和开源云计算平台Hadoop,设计和实现了基于Sobol′的生态遥感参数模型空间敏感性分析并行算法,并在实验室集群环境下进行算法分析,验证了算法的有效性和适用性。该算法的核心是利用MapReduce并行编程技术,对空间敏感性分析中的地图抽样和模型迭代过程进行任务分割,将分割后的子任务分配至不同的计算节点进行并行计算。实验表明,本文提出的并行策略,能有效缩短地图抽样和模型迭代计算时间,相比于单机算法,并行算法的运行速度提高了14倍左右。 相似文献
15.
高分辨率遥感影像特征分割及算法评价分析 总被引：9，自引：2，他引：7
图像分割一直是图像处理和计算机视觉领域中的一项关键技术。本文首先从遥感影像地学处理与应用的角度阐述了影像分割技术对于遥感信息提取和目标识别的重要性,然后提出了基于特征的高分辨率遥感影像信息提取技术框架,建立了一套基于特征的遥感影像分割方法及分类体系。同时,鉴于遥感影像分割方法评价的重要性, 阐述了一种高分辨率遥感影像分割方法评价的思路,并对几种典型的基于特征的遥感影像分割方法进行定性和定量的试验和评价,对其各自的性能和适用面进行对比分析。最后,指出了遥感影像特征分割方法所存在的问题及其发展趋势。 相似文献
16.
遥感影像是地形测绘、三维重建等任务的主要数据源之一,分辨率影响着被测目标在影像上的表示能力,对后期三维模型的定位精度及重建效果起着重要作用。针对遥感影像像幅较大且目标特征表现复杂、细节丰富的特点,结合实景三维模型重建的需求,提出了一种增强型遥感影像SRGAN算法。克服了传统方法进行超分重建时易出现边缘效应、产生模糊重建的情况,改进了简单卷积网络仅能提取影像中较为浅层的特征信息,无法在提高分辨率的同时保留影像丰富细节的局限。本文所提算法在生成模型中使用密集剩余残差块进行深层特征提取,在判别模型中引入多尺度判别思想,从而保证遥感影像重建时特征纹理、细节信息、高频目标的完整与精确。实验构建不同时间、不同类型区域的遥感影像数据集,在此基础上将本文算法与Bicubic、SRGAN、ESRGAN算法进行对比分析,在超分重建中PSNR较对比算法提升约3个单位,渗透指数PI更趋向且稳定于1,SSIM与清晰度指标Q同样得到较好改善;在三维重建中影像密集匹配点数量得到提升,同时误差减少,模型精细程度和定位精度得到提高。结果表明,本文算法适用于遥感影像超分辨率重建问题,并在实景三维模型重建中对精度的提升表现较好。 相似文献