首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到15条相似文献,搜索用时 187 毫秒
1.
研究并实现了基于Spark的空间查询算法。根据空间查询特性和Spark分布式内存计算模型,设计了HBase分布式存储、分布式空间索引、Spark分布式内存计算框架的空间区域查询算法和Spark Streaming的空间查询算法,提供实时在线空间查询服务。实验表明,基于Spark streaming并行空间查询算法*可以提供空间数据的实时空间查询服务。  相似文献   

2.
快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing(MPP)架构的并行空间数据库中间件原型系统。系统充分利用无共享(shared-nothing)架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。  相似文献   

3.
空间数据库引擎及其解决方案分析   总被引:7,自引:0,他引:7  
解决用户应用系统与空间数据库间的数据传输成为空间数据库能否得以充分利用的关键问题。在众多解决方案中,空间数据库引擎备受关注。本文对几种常见的空间数据引擎ArcSDE、OracleSpatial、SpatialWare、DB2SpatialExtender和ImformixSpatialDataBlade以及SuperMapSDX ,从存储模型、进程管理、空间查询与索引、数据缓存技术以及二次开发等方面进行了分析。  相似文献   

4.
空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。  相似文献   

5.
空间数据访问集成与分布式空间数据源对象查询   总被引:1,自引:0,他引:1  
目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。  相似文献   

6.
栅格空间数据库引擎RasSDE是实现海量栅格数据的分布式查询和高效管理的关键。提出一种面向对象的栅格空间数据组织模型,设计了分布式四层RasSDE的体系结构,分析了数据库服务层、应用接口层、应用层等相关技术,讨论了RasSDE核心组件OMSAC开放多数据源空间数据访问组件的架构,给出了基于RasSDE的中国海监飞机扫描仪图像处理及三维仿真平台应用系统实例,系统实现面向对象的栅格空间数据组织、统一的海量栅格空间数据管理以及分布式栅格空间数据计算等主要目标。对RasSDE和ArcSDE的磁盘读写、网络传输综合性能对比试验表明,RasSDE的栅格数据网络传输效率比ArcSDE的要高,可以满足海量栅格空间数据传输的要求。  相似文献   

7.
基于NoSQL的海量空间数据云存储与服务方法   总被引:2,自引:0,他引:2  
近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。  相似文献   

8.
散乱点云数据具有数据量大(海量性)、数据表达精细(高空间分辨率)、空间三维点之间无拓扑关系(散乱性)等特征,在对其进行应用前必须进行数据预处理(如去噪、配准、分割等)。而在这些数据处理过程中需频繁的进行邻域查找,如果没有高效的查询索引机制,很难实现数据自动处理。因此,如何进行数据的组织和索引,以提高后续邻域检索和查询等操作的速度,是目前点云数据处理中的一个研究热点。针对现有点云数据采用的空间索引方式的优缺点,本文提出了一种多级格网和KD树混合的空间索引,该索引提出变分辨率格网索引与KD树的混合索引模式,简称MultiGrid-KD树索引。该方法在保持网格索引算法实现简单查询效率高等优点的同时,解决了单一分辨率数据冗余的问题。以故宫太和殿的点云数据为例,对本文提出的MultiGrid-KD树索引算法和KD树、八叉树等经典算法做对比。结果表明,本文索引方法在最邻近点查询以及四邻域查询的效率上均优于KD树,以及八叉树索引。  相似文献   

9.
多尺度地理空间数据的分布式存储与管理   总被引:3,自引:0,他引:3  
多尺度地理空间数据分布式存储与管理技术为建立分布式网络地理信息系统、实现多尺度、多数据类型数字地理信息产品一体化分发和应用提供技术支撑。本文重点讨论了地理空间数据分布与存储模型体系、空间数据在关系数据库中的一体化存储与管理方法、空间数据库引擎技术、多尺度地理空间信息一体化管理体系结构等问题。  相似文献   

10.
MAPGIS7.0是武汉中地数码科技有限公司开发的新一代面向网络超大型分布式地理信息系统基础软件平台。系统采用面向服务的设计思想、多层体系结构,实现了面向空间实体及其关系的数据组织、高效海量空间数据的存储与索引、大尺度多维动态空间信息数据库、3维实体建模和分析,具有T  相似文献   

11.
采用GIS管理测量数据是提高城市勘测效率的重要基础。本文介绍了利用MapX组件开发广州市建设工程测量信息系统,实现了建设工程测量图形与属性数据之间的双向查询。侧重研究建设工程测量的数据组织形式,以及空间信息和属性信息之间的关联。实验证明,利用MapX组件能高效地建造建设工程测量信息系统;系统中的空间数据结构设计合理,能较好地实现建设工程测量数据的录入、查询以及综合管理等系统要求。  相似文献   

12.
网格GIS体系结构及其实现技术   总被引:43,自引:4,他引:39  
网格 GIS是实现广域网络环境中空间信息共享和协同服务的分布式 GIS软件平台和技术体系。将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等 ,通过高速互连网络连接并集成起来 ,形成对用户透明的虚拟的空间信息资源的超级处理环境就是网格地理信息系统。本文在分析网络空间数据特征的基础上 ,提出了网格 GIS的 5层体系结构模型,分析了空间(元)数据标准、空间服务标准、分布空间对象技术、构件与构件库技术、基于框架的互操作技术、中间件技术等 ,它们是实现该系统的关键技术。  相似文献   

13.
针对传统分布式数据库查询应用于分布式空间数据库查询带来的传输和处理代价高的问题,本文结合已有分布式跨边界片段连接优化方法,深入研究了分布式空间拓扑连接查询处理,提出跨边界连接优化的空间查询优化算法,丰富了传统的分布式查询的关系代数等价变换规则。同时,针对不同片段连接类型的分布式空间查询全局优化策略,实现了分布式空间查询分解与数据本地化,从而优化分布式查询中的数据传输所付出的高昂代价。最后,提出了结点归并、连接归并树、执行结点、执行计划树等分布式查询优化方法,利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划,消除分布式查询中的冗余计算,优化查询计算策略,从而解决分布式空间查询中的处理代价高的问题。通过分布式空间查询实验表明,本文的算法能够较好地提高分布式空间查询的性能。  相似文献   

14.
随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。  相似文献   

15.
矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号