共查询到18条相似文献，搜索用时 156 毫秒
1.
基于NoSQL的海量空间数据云存储与服务方法 总被引：2，自引：0，他引：2
近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。 相似文献
2.
3.
4.
5.
快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。 相似文献
6.
目前,我国已建立多种基础空间数据库,但现有空间数据库管理系统中,地图制作、标准地图管理等仍需要采用标准分幅来满足统一管理的需要。如何更有效地管理海量分幅空间数据,并实现对其快速检索成了多尺度基础空间数据库建设亟需解决的问题之一。本文分析了电子接图表,实现了空间数据接图表的可视化,集成了现有的空间数据库管理与数据库可视化操作的功能;依据空间数据不同的比例尺类型、要素类型、几何类型,自动计算标准分幅编号、绘制分幅边界;提供空间数据库海量数据检索技术方法与参数传递方案、基于数据存储的逻辑结构设计数据检索方案,并总结出空间数据优化存储策略与高效管理方法。应用案例表明,空间数据库电子接图表能够提高分幅空间数据的可视化管理与检索效率,对涉及大规模空间数据库可视化管理和检索应用需求,有很好的理论和实际应用价值。 相似文献
7.
基于Oracle Spatial的空间数据库缓存的关键技术 总被引：1，自引：0，他引：1
Oracle Spatial是目前发展得比较成熟的对象关系型空间数据库存储模型,它实现了空间数据与属性数据的一体化存储,可以定义特定的数据类型,具有开放的存储格式,为GIS数据共享提供新的解决方案;但由于其采用扩展结构的空间数据库模型,对空间数据进行间接存取,数据存储和获取的效率较低。本文在阐述了扩展结构空间数据库模型的优势和局限性的基础上,提出采用缓存技术来提高数据访问效率,重点研究了空间数据库客户端缓存的关键技术,包括缓存实现机制、数据编码方法、数据一致性控制等,并给出实验对比数据,证明了空间数据缓存技术对空间数据尤其是大数据量空间数据的读取上所取得的成效。最后,本文指出了这一技术尚存在的问题及初步解决思路。 相似文献
8.
有效地发现和利用分布存储、运行的各类空间数据、空间决策分析模型和知识发现算法,已成为当前空间信息处理、知识发现与共享领域最具挑战性的前沿课题之一。首先,本文论述了空间信息处理、知识发现的关键问题、发展现状和趋势。然后,描述了地理知识云的概念特征,提出了地理知识云(GeoKSCloud)的具体实现。该平台构造了可伸缩的空间数据和知识服务存储、运行环境;平台从业务功能上划分为数据聚合中心、知识服务中心、地学问题求解中心、平台控制中心和知识云门户等5大核心模块。其为地学问题求解全过程提供了空间数据集成,知识服务发布、注册、搜索、发现、组合等功能,以及地学问题智能推理和结果可视化表达等工具。本文对海量空间数据云存储与管理、知识云服务管理与组合、地学问题智能求解等平台关键技术进行了论述。最后,本文以历史地震影响场分析为例,分析了平台各组件在问题求解中的交互过程,实例表明,该平台可实现多节点、跨平台、异构地理知识服务的协同式计算,有效地降低地学问题求解的成本和复杂度。 相似文献
9.
随着常态化地理国情监测在我国的全面开展,地理国情时空数据规模不断增大,使得对地理国情数据综合分析和信息挖掘的要求越来越高。本文针对传统空间数据存储和分析平台存在的性能瓶颈问题,提出了一种基于Hadoop的地理国情高性能计算框架,论述了通过服务封装实现分布式并行计算能力与成熟平台地理空间分析能力的无缝聚合实现最优化地理国情分析计算的理念,并以地理国情地表覆盖面积统计为例,探讨了分布式计算技术在地理国情海量数据分析方面的适用性。结果表明,随着数据量的增加,分布式计算集群的性能优势逐渐凸显,比传统集中式空间数据库更适合于海量数据的分析计算,而集群的良好横向拓展性,也为大规模地理国情空间数据分析提供了可行解决方案,研究结果将为进一步构建开放性地理国情分析服务平台奠定基础。 相似文献
10.
随着GIS技术在国民经济建设各领域、各部门的应用日益普及和深入,GIS潜在的价值正在不断的被发现和挖掘,并逐渐成为各类基于IT信息系统和应用系统的公共平台。以往GIS系统中的数据特别是空间数据大多是采取文件方式,空间数据越多文件就越大,对于数据的处理就越复杂。随着计算机技术,特别是数据库技术的发展,数据库存储不断优化,使空间数据借助数据库来存储的方式得以实现。 相似文献
11.
空间数据访问集成与分布式空间数据源对象查询 总被引：1，自引：0，他引：1
目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。 相似文献
12.
随着信息获取技术的快速发展,地理信息数据每天以TB级的数量增加。三维城市模型数据作为三维GIS的重要内容,在数字城市和智慧城市建设过程中发挥重要作用。由于三维城市模型数据结构复杂,其数据量具有海量性,因此,高效地对三维城市模型进行划分及存储,以满足数据的长效管理及三维GIS系统的快速可视化数据调度和空间辅助决策需求,成为近年的研究热点。以往的数据划分方法导致划分区域在数据调度中变化频繁,使数据更新和管理变得困难,需寻找一种更为稳定且具有普适性的数据划分方法。本文分析了现有三维城市模型数据划分方法的不足,提出了基于拓扑关系模型的大比例尺图幅划分方法,并对划分后三维模型数据进行统一命名编码;借助非关系数据库MongoDB强大的海量数据组织及高效的多并发访问功能,构建了MongoDB分片集群服务器;对三维城市模型数据进行了单元划分,并采用规则建模软件City Engine进行建模,得到三维城市模型,借助非关系数据库软件MongoDB进行数据存储实验。结果表明,基于拓扑关系模型的大比例尺图幅划分方法适用于三维城市模型数据划分,划分后数据的存储效率明显提高,MongoDB数据库的多并发访问效率具有良好的稳定性。 相似文献
13.
杨典华 《地球信息科学学报》2013,15(5):643-648,679
针对传统分布式数据库查询应用于分布式空间数据库查询带来的传输和处理代价高的问题,本文结合已有分布式跨边界片段连接优化方法,深入研究了分布式空间拓扑连接查询处理,提出跨边界连接优化的空间查询优化算法,丰富了传统的分布式查询的关系代数等价变换规则。同时,针对不同片段连接类型的分布式空间查询全局优化策略,实现了分布式空间查询分解与数据本地化,从而优化分布式查询中的数据传输所付出的高昂代价。最后,提出了结点归并、连接归并树、执行结点、执行计划树等分布式查询优化方法,利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划,消除分布式查询中的冗余计算,优化查询计算策略,从而解决分布式空间查询中的处理代价高的问题。通过分布式空间查询实验表明,本文的算法能够较好地提高分布式空间查询的性能。 相似文献
14.
随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。 相似文献
15.
随着遥感数据获取能力的日益增强,一方面导致遥感数据的多元化和海量化,使“存不起”的问题日益突出,另一方面由于缺少有效和高效的存储管理方法,难以及时发现终端应用所需的数据,使结果“存而无用”。本文围绕巨量、高吞吐、空间结构化的遥感影像数据及其基础土地信息产品的存储与管理问题,提出采用大数据架构的遥感资源存储管理方法,并基于MongoDB数据库实现了原型系统;通过使用PB量级数据进行试验,证明了该方法满足大数据时代对遥感矢栅数据的存储管理需求。 相似文献
16.
矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。 相似文献
17.
SOLAP是以空间数据仓库为基础,针对特定问题的联机空间数据访问和分析,实现SOLAP的前提是解决空间数据与非空间数据在空间数据仓库中的集成问题。首先,论文结合混合数据仓库架构模式,采用多层体系结构设计,提出和构建了一种面向环境数据集的空间OLAP系统的体系架构,包括"生产数据库—数据仓库层(基础业务库-主题数据库)-中间件层—BI综合分析层"等4个层次。接着,分析了环境数据集成和空间数据仓库建模过程,采用Oracle 11g来构建环境空间数据仓库,通过使用ODI工具的ETL功能实现环境属性数据集成。分析和构建了环境数据空间维度扩展的方法和模型,通过扩展行政区划维度表,使用Oracle Spatial sdo_geometry抽象几何数据类型存储环境空间数据,实现了空间数据和数据仓库数据的一体化存储。分析了SOLAP系统中OLAP和GIS的集成问题,采用OBIEE作为OLAP工具,Oracle Mapviewer作为GIS组件、GIS服务和OLAP服务在Web服务器中进行业务逻辑集成,对外提供统一的访问接口,实现OLAP和GIS的完全集成。最后,实现了一个环境数据集SO-LAP原型系统,验证了论文的框架和模型。 相似文献
18.
随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。 相似文献