共查询到20条相似文献，搜索用时 31 毫秒
1.
基于NoSQL的海量空间数据云存储与服务方法 总被引：2，自引：0，他引：2
近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。 相似文献
2.
空间数据引擎关键技术与应用分析 总被引：8，自引：0，他引：8
地理特征相关信息的一体化存储与访问是GIS软件平台研发的关键技术。在扩展关系数据模型的支持下,利用成熟的商用扩展关系型数据库管理系统存储和管理海量空间数据,是发展大型GIS平台空间数据库管理系统行之有效的技术方法。本文对几种典型的空间数据库管理平台ArcSDE、OracleSpatial、InformixSpatialDataBlade、DB2SpatialExtender和MySQLSpatialExtensions从存储模型、进程管理方案、空间查询和索引以及数据缓存技术等方面进行了分析。 相似文献
3.
随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。 相似文献
4.
大量GML空间数据的出现,使其有效性的查询处理面临严峻挑战。索引技术是决定数据查询性能的重要因素之一。鉴于GML空间数据XML格式编码的特点,为充分利用Dewey前缀编码方案并消除原方案中节点的插入、删除影响其后趋同胞节点及其子孙节点编码的变更等缺点,论文提出了一种扩展的Dewey编码方案--Ex-Dewey,用以实现对GML文档数据的整体编码和非空间数据的索引构建。研究给出了Ex-Dewey前缀编码的GML非空间数据索引构成模式与处理策略;结合Ex-Dewey,提出GML空间数据索引基于R树的构建,给出了索引构成模式与处理策略。GML空间与非空间数据索引构建,既独立又紧密关联,共同实现GML空间数据的索引。该索引机制意在用于原生GML空间数据库索引构建或单纯GML文档集索引构建中。 相似文献
5.
6.
7.
矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。 相似文献
8.
快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。 相似文献
9.
多尺度地理空间数据的分布式存储与管理 总被引：3，自引：0，他引：3
多尺度地理空间数据分布式存储与管理技术为建立分布式网络地理信息系统、实现多尺度、多数据类型数字地理信息产品一体化分发和应用提供技术支撑。本文重点讨论了地理空间数据分布与存储模型体系、空间数据在关系数据库中的一体化存储与管理方法、空间数据库引擎技术、多尺度地理空间信息一体化管理体系结构等问题。 相似文献
10.
11.
随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。 相似文献
12.
13.
冯杭建 《地球信息科学学报》2007,9(1):129-135
提出了质检规则、质检模板、质检方案和质检任务的四要素质检模型（RSTT）,重点讨论了RSTT模型体系结构和拓扑规则等核心问题。以及基于RSTT和四层体系结构模型,分析系统功能模块划分、质检流程和海量空间数据库的设计等关键问题,并以空间数据质检方案的灵活定制、数据批量自动检查和质检规则零编码扩展等为目标,开发了空间数据质检系统（LR_Checker）。采用近40G的国土资源空间数据测试表明,采用LR_Checker可大大降低数据检查的工作量,并可有效控制数据质量,同时也证明了RSTT模型的正确性、有效性和合理性。 相似文献
14.
针对海量激光点云数据组织与管理困难等问题,结合八叉树在三维空间上的快速收敛能力以及三维R*树对不规则分布的多维点数据性能稳定的优势,提出了一种八叉树与三维R*树集成的空间混合索引结构—3DOR*树。首先,通过对激光点云数据进行八叉树划分;然后,对八叉树叶子节点构建三维R*树,进而实现3DOR*树索引结构的构建;最后,对激光点云数据进行特征分析,构建基于3DOR*树的激光点云数据存储结构,实现基于3DOR*树的激光点云存储与管理。本文以江西理工大学图书馆激光点云数据为例,进行实验对比分析,证明了基于3DOR*树的激光点云数据存储结构比三维R*树、八叉树与三维R树混合树等其他树形结构,具有高效的空间存储与查询等优势,可应用于海量激光点云数据存储、管理与分析应用。 相似文献
15.
通过山西省1∶5万矢量数据库的设计过程,阐述其中的核心技术。基于Oracle+ArcSDE的技术建立的空间数据库技术是一种比较成熟的、稳定的空间数据库管理技术,也是省级基础地理数据库的主流模式。ArcSDE作为中间插件联系应用程序和关系数据库,解决了空间数据和属性数据统一存储。 相似文献
16.
数据组织模型是对科学数据进行有效管理、共享与应用的基础。日地空间物理学科通常采用基于语义标注的传统数据组织模型,但是该模型忽略了数据间的时空关系,难以支持大规模数据处理与关联分析,应建立一种支持时空计算的数据组织模型,从而有效支持当前日地空间物理领域对数据快速发现、精细结构识别、耦合关系研究与时空演化分析等方面的应用需求。鉴于此,本文提出了HTM-ST离散化时空数据组织模型,该模型在层次三角网格的基础上,在时间维度通过等长剖分进行扩展,从而形成离散化的时空剖分,采用时-空耦合编码将高维的剖分单元组织到一维空间中,并基于上述剖分结构与编码算法在HBase环境下设计了模型的存储方案。本文利用多颗极轨卫星的能量粒子探测数据实现了该数据组织模型的原型示范系统,并设计了基于该模型的时空查询算法和地方时全球数据插值算法,用于对该模型进行实验验证。实验分析表明,HTM-ST模型具有高效性和鲁棒性,可以作为面向时空关系的日地空间物理数据组织与存储基础。 相似文献
17.
随着"数字城市"的推进,3维地理信息系统得到快速发展和广泛应用,产生了海量的3维地理空间数据,对3维空间数据的集成管理、并发访问、数据安全研究成为热点,市场对3维仿真系统和地理信息系统融合和统一需求日益迫切。针对"3维数字城市"建设新需求,本文在海量3维场景组织、空间索引建立和基于关系数据库的存储等方面开展研究,为海量3维空间数据组高效组织和集成管理提供了一条有效途径。 相似文献
18.
数字地球是当前网络G IS领域的研究与开发热点之一,其中,大量的空间数据在空间数据库中的组织和存储,以及在网络上的传输是数字地球系统中的两个重要技术。本文通过"数字南海"的开发实践,从国家信息安全角度出发探讨了自主设计与研发空间关系数据库模型和网络传输协议的若干技术方法。提出了以面向对象的ORM源模型设计空间数据库概念模型,以擅长语义表达的IDEF1X模型设计空间数据库逻辑模型和以关系数据库实现空间数据库存储模型的技术方案。并运用异步非阻塞套接字和多线程等技术在TCP/IP网络传输协议上,设计并实现了空间数据应用传输协议,使得空间数据在数字地球的客户端三维显示系统与服务器端的空间数据服务器系统之间能够高效安全地传输,实现Google Earth类似的操作功能,包括空间数据的流式传输和渐进式传输等,适应了数字地球的要求,并保证了空间数据的安全性,可为我国数字地球系统的自主开发与研制提供参考和借鉴。 相似文献
19.
空间离群是指空间数据集中那些非空间属性值与邻域中其他空间对象明显不同的空间对象。空间数据一般按地理分布存储具有海量特性,传统的集中式处理模式不能满足海量数据处理的效率和空间数据本身的安全性等要求。因此,在研究小组开发的地理知识服务网格平台GeoKS-Grid的基础上,本文针对分布式空间离群挖掘,提出了一个基于网格的分布... 相似文献