共查询到16条相似文献，搜索用时 156 毫秒
1.
2.
基于HBase的空间矢量数据存储模型设计与优化 总被引：1，自引：0，他引：1
数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。 相似文献
3.
基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。 相似文献
4.
针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于Spark架构的空间查询实现技术,并给出相应的解决方案。提出一个基于Spark并提供类SQL访问接口的空间查询实现模型GeoSpark SQL,解决了以下关键问题:数据的外包矩形数据生成和标准地理信息数据对Spark的导入导出方法;Spark空间查询算子实现方法;Spark空间索引与查询优化方法。GeoSpark SQL模型在初步实验中,已可以满足实时性的要求,对复杂的空间查询也能有良好的性能表现。 相似文献
5.
《武汉大学学报(信息科学版)》2021,(5)
随着越来越多的轨迹数据被记载,各种应用场景下的海量、复杂数据需要高效的存储与索引。传统的关系型数据库难以满足海量轨迹数据的存储、扩展及特定的查询需求,而具有扩展简单、读写快速、成本低廉特点的非关系型数据库为此提供了一种可行的解决方案。设计并实现了一种基于Cassandra数据库的数据降维及键值存储、索引方法,可对时空轨迹数据进行高效管理。为进一步提高效率,融合了Hilbert曲线编码技术将空间分割成小单元,并将轨迹数据映射到不同单元中。充分利用时空局部性原理,为不同应用场景下的轨迹数据设计并实现了对应的分区键与聚簇键,实现轨迹对象时空近邻存储,令数据查询更为有效。基于实际应用场景的实验结果表明,所提出的方法能有效支撑海量轨迹数据的存储与索引,并在数据的插入、查询及存储结构可扩展性等方面优于其他时空大数据索引和查询方法。 相似文献
6.
7.
随着遥感探测技术的高速发展,空间信息呈爆炸式增长。针对目前现有遥感数据存储管理系统数据量大、数据来源丰富、查询检索慢等问题,本文提出了一种基于GeoSOT网格的遥感数据组织方案,并首次在关系型数据库中增加数组数据类型的剖分网格编码列,来存储遥感影像元数据中空间信息,对数据进行逻辑剖分索引,从而实现影像数据的统一存储与空间区域检索。试验选择Kingbase关系型数据库作为测试平台,通过模拟全球范围的影像数据,与Oracle平台进行对比试验。结果表明本文的检索效率具有明显优势,可有效提高遥感数据整合、检索效率,为现有遥感数据存储中心或管理系统提供了一种高效、可行的方案。 相似文献
8.
船舶数据的管理和可视化对航道、船舶管理具有重要意义。大量快速更新的船舶位置信息和影像数据,对数据存储、检索以及可视化提出了较高的要求。本文结合实际应用需求,基于非关系型数据库MongoDB和开源地图API设计并开发船舶信息管理系统。该系统将船舶和热点区域数据存储在MongoDB中,可在浏览器中高效同步显示大量空间数据,提供属性查询、空间检索和统计制图等功能,并且可在线编辑数据库中的热点区域数据。本系统主要解决了MongoDB数据库中空间数据高效检索,BSON文档格式和Geo JSON地理要素格式的转换,数据库中空间数据在线编辑等问题,为船舶信息化管理提供了支持。 相似文献
9.
10.
基于历史关系数据库的时空数据库实现研究 总被引：1，自引：0，他引：1
时空数据库是研究如何存储历史和当前的时空数据,从而跟踪分析某一区域的变化,最终实现时空模型化和模拟地学过程.采用历史关系数据库模式的时空数据库可以充分利用传统时态数据库时态查询功能和GIS空间分析处理功能这些方面成熟的研究成果和现有系统,降低时空数据库建立的费用和开销.分析了采用扩展关系型时空数据库的原因,介绍了历史关系数据库模式、时态关系代数和查询语言,研究了采用历史关系数据库模式在全关系化空间数据库中组织时态信息的方法,从而实现时空数据库.以麦地轮作为例说明了采用历史关系数据库模式建立时空数据库的可行性和有效性. 相似文献
11.
针对当前湖北省交通运输数据的存储管理与应用瓶颈,结合目前大数据技术的发展背景,本文基于Hadoop生态体系设计与实现了针对湖北交通运输业务的大数据存储分析平台。文中从总体架构、存储结构、扩展架构、数据接入与治理、分布式任务调度的设计实现到平台的应用场景进行了论述,并使用10年的高速公路数据与具体业务场景对平台进行了存储与效率实验。实验结果表明,相比传统关系型数据库,该平台在数据存储、查询计算方面均具有非常明显的优越性。 相似文献
12.
随着位置信息在各行各业中的广泛应用,空间大数据得到迅猛发展.空间大数据除具有数据量大的特点之外,还具有复杂性,同时,越来越多的应用对数据的实时性也有较高的要求.传统的GIS软件在承载和处理空间数据时,也面临越来越多的挑战,如难以对复杂多样的空间数据进行一体化存储和管理;传统GIS软件架构和单机处理能力,无法对较大体量(10亿条记录或更大)的空间数据进行分析.本文从分布式存储技术、分布式空间处理计算技术和分布式计算协调技术三个方面阐述如何应对上述问题,并提出了将Spark分布式框架和Su-perMap iObject for Spark空间处理引擎相结合的分布式空间处理计算技术,以及数据库的一体化管理和监控技术,实现对多种数据库如PostgreSQL集群、MongoDB和Elasticsearch的统一管理和监控. 相似文献
13.
Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。 相似文献
14.
基于XQuery的GML查询语言研究 总被引：4，自引：0，他引：4
随着GML规范的不断完善及GIS软件厂商的广泛支持,越来越多的空间数据以GML格式存储,GML空间数据的查询已成为GIS研究的热点问题。传统的关系数据库查询语言SQL是针对平面的二维关系数据而设计的,并不适合XML/GML半结构化数据的查询;商品化GIS软件的查询系统只能查询自身的空间数据而无法查询其它GIS系统的空间数据;XML查询的研究为GML查询奠定了一定的基础。首先针对GML查询存在的问题,提出了扩展XQuery是GML查询语言实现的最佳选择;结合XML查询语言和空间数据查询语言,提出了GML查询语言的特征和GML查询语言系统框架;并根据GML空间数据的特点,以XML标准查询语言XQuery为基础,提出了XQuery空间扩展的内容;开发了GML空间数据查询语言GMLXQL,实现了GML空间数据的本原查询。 相似文献
15.
随着空间大数据技术的快速发展,越来越多与空间大数据云平台相关的项目逐步规划和建立.GIS建设项目已经朝着平台化、虚拟化和智能化的方向转变.新一代GIS平台建设的重要原则之一,就是要把空间大数据作为企业的重要资产.它需要系统地管理、持续地维护、安全地控制以及深入地挖掘.在持续探索数据价值的过程中,对平台基础设施提出了新的技术要求,包括集成多种开源技术、支持快速的迭代开发、支持持续运行的数据分析任务等.本文研究的重点是结合DevOps等先进的面向持续交付的管理理念,利用相关技术提出空间大数据基础设施的设计方案,使其具备持续交付能力. 相似文献
16.
GML空间数据查询与索引机制研究 总被引：9，自引：0，他引：9
由于传统GIS数据模型的差异，导致空间数据难以集成与共享。各GIS软件厂商及第三方软件厂商提出了利用空间数据转换的解决方案，但是它还是不能很好地解决空间数据集成与共享存在的问题。地理标记语言GML的出现，为GIS空间数据建模、集成与共享提供了统一的标准与框架。GML已经成为事实上的空间数据编码、传输、存储和发布的国际标准，大量GML格式的空间数据开始涌现。如何有效地存储管理GML空间数据，已经成为GIS研究的热点问题。本文结合XML数据库技术和传统的空间数据库技术，对GML空间数据的查询、索引进行了深入的研究。以XML标准查询语言XQuery为基础，提出了XQuery空间扩展的内容，开发了GML空间数据查询语言，实现了GML空间数据的本原查询；结合XML文档编码和传统的空间数据索引，提出了基于空间索引的GML一体化索引机制，并以R树索引为例，对一体化索引的查询处理性能进行了实验分析。实验结果表明，本文提出的基于空间索引的GML一体化索引机制是可行的、高效的。 相似文献