共查询到18条相似文献，搜索用时 187 毫秒
1.
随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。 相似文献
2.
3.
4.
海量遥感数据的高性能地学计算应用与发展分析 总被引：1，自引：0，他引：1
航空及航天遥感器的快速发展,使得多源、多时空分辨率的遥感数据成TB级增长,对海量遥感数据的高性能计算与处理提出了更高的要求。据此,当前的遥感应用已经吸收了新型硬件架构计算、集群计算和分布式计算等高性能计算领域的最新技术。本文针对高性能计算处理海量遥感数据的效率问题,分别从分布式并行遥感文件系统和高性能遥感地学计算模式两个方面来论述该问题的研究进展;在此基础上,列举了当前具有代表性的集群和分布式遥感计算平台/系统,并结合具体实验工作,详细阐述了遥感高性能计算平台gDos-IPM(Geospatial Data Operation System-Image Processing Machine)的设计思路;最后总结了高性能遥感地学计算的发展趋势。 相似文献
5.
6.
7.
8.
基于NoSQL的海量空间数据云存储与服务方法 总被引：2，自引：0，他引：2
近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。 相似文献
9.
随着无人机在各行业应用的迅速普及和大规模应用,民航局监管的无人机数量和无人机运行数据呈现海量增长,在给政府和行业监管带来便利的同时,也给传统的数据分析方法带来了极大的挑战。本文阐述了民航局无人机云交换平台的运行大数据的现状,分析了传统无人机运行数据统计分析存在的技术瓶颈,提出了基于大数据进行无人机运行数据统计分析方法,建立了无人机云数据交换平台大数据统计和分析系统的设计框架,并概述了如何基于Apache Spark和Cassandra数据库的大数据分析方法将无人机云交换平台生产的海量数据快速处理、存储、统计和分析的研究思路和方法,以及实现各类无人机运行特征分析的情况。目前基于本文的研究成果不仅可以满足行业主管部门对无人机运行数据统计的需求,还对掌握和了解中国无人机运行特征,探索更合适的无人机管理措施和健全无人机监管体制机制,有非常重要的意义。 相似文献
10.
11.
GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。 相似文献
12.
Java EE是构建分布式企业应用信息系统的计算平台，本文提出基于共相思想和Java EE的新一代Internet GIS的技术框架，针对Internet环境中多用户并发访问和海量空间数据难以有效发布的难题。在共相思想指导下，引入集群并行技术，提出动态负载平衡器中基于区域分治的负载平衡算法，另外一项关键技术是针对Java EE多层体系结构的智能缓存技术，为面向互联网公众Internet GIS提供了解决方案。 相似文献
13.
互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。 相似文献
14.
有效地发现和利用分布存储、运行的各类空间数据、空间决策分析模型和知识发现算法,已成为当前空间信息处理、知识发现与共享领域最具挑战性的前沿课题之一。首先,本文论述了空间信息处理、知识发现的关键问题、发展现状和趋势。然后,描述了地理知识云的概念特征,提出了地理知识云(GeoKSCloud)的具体实现。该平台构造了可伸缩的空间数据和知识服务存储、运行环境;平台从业务功能上划分为数据聚合中心、知识服务中心、地学问题求解中心、平台控制中心和知识云门户等5大核心模块。其为地学问题求解全过程提供了空间数据集成,知识服务发布、注册、搜索、发现、组合等功能,以及地学问题智能推理和结果可视化表达等工具。本文对海量空间数据云存储与管理、知识云服务管理与组合、地学问题智能求解等平台关键技术进行了论述。最后,本文以历史地震影响场分析为例,分析了平台各组件在问题求解中的交互过程,实例表明,该平台可实现多节点、跨平台、异构地理知识服务的协同式计算,有效地降低地学问题求解的成本和复杂度。 相似文献
15.
空间互操作框架集成模式分析 总被引：3，自引：1，他引：2
空间互操作已经成为地理信息共享领域研究的重要内容,广义的空间互操作也逐渐成为空间共享技术的代名词。虽着空间互操作研究的深入,空间互操作的模式与方法也逐步多样化起来。本文分别对基于语义空间数据互操作模式,开放式地理数据互操作规范与分布式异构数据库互操作框架,主流GIS平台互操作产品以及ISO/TC211的空间互操作服务体系结构进行分析的基础上,提出了改善各种互操作技术,以提升互操作性能的方法,指出了空间互操作技术框架的发展规律与趋势。从数据转换到开放文件格式,从标准交换格式到应用程序接口,从空间数据库到Web服务的集成,随着时间和互操作技术的发展,互操作的性能也在逐步提升。 相似文献
16.
网格GIS体系结构及其实现技术 总被引：43，自引：4，他引：39
网格 GIS是实现广域网络环境中空间信息共享和协同服务的分布式 GIS软件平台和技术体系。将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等 ,通过高速互连网络连接并集成起来 ,形成对用户透明的虚拟的空间信息资源的超级处理环境就是网格地理信息系统。本文在分析网络空间数据特征的基础上 ,提出了网格 GIS的 5层体系结构模型,分析了空间(元)数据标准、空间服务标准、分布空间对象技术、构件与构件库技术、基于框架的互操作技术、中间件技术等 ,它们是实现该系统的关键技术。 相似文献
17.
网格GIS数据传输机制与策略 总被引：9，自引：1，他引：8
WebGIS实现了数据的分布性,而基于中间件的网格GIS的目标是实现GIS数据和GIS功能服务的分布性。本文介绍了网格GIS的信息处理流程,并根据网格GIS对数据传输功能的要求,提出了网格GIS数据传输的实现策略。在网格GIS数据传输过程中,对地理空间数据信息的描述,是通过GML语言来完成的,并利用Web services、消息中间件等构造网格GIS数据传输服务,同时对于网格GIS数据传输中的安全问题作了阐述,利用代理机制来完成数据传输过程中的安全控制。 相似文献
18.
云计算作为一种革命性的计算模型在很多行业都成为重要的技术趋势。将云计算应用于空间地理信息领域所形成的空间云计算也逐渐成为整个空间地理信息行业的主流技术。位置服务利用当今高速发展的互联网和多样化的移动终端向用户提供基于位置的信息和娱乐服务。空间信息数据是位置服务平台的重要组成部分,本文首先介绍云计算相关概念,根据对目前位置服务平台存在的问题的剖析提出了基于云计算的位置服务平台建设的思路和平台架构,最后分析了该平台的特点和所形成的产业链。 相似文献