共查询到18条相似文献，搜索用时 609 毫秒
1.
《测绘科学技术学报》2018,(5)
机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。 相似文献
2.
基于HBase的空间矢量数据存储模型设计与优化 总被引：1，自引：0，他引：1
数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。 相似文献
3.
针对矢量数据在虚拟地球中的高效传输及实时可视化的需求,分析了矢量数据在虚拟地球中的组织方式及特点,设计了基于HBase的矢量金字塔分布式存储模型和一种基于MapReduce的矢量金字塔并行入库方法,使得海量矢量数据的入库可分配到各个子节点进行,大大缩短了入库时间.最后以GeoGlobe虚拟地球为基础平台,分别在单机和集群环境下对矢量金字塔的调度时间进行了实验.实验结果表明,该方法具有较好的可行性,有效提高了虚拟地球并发调度的效率. 相似文献
4.
针对TIN三角网在实现地图面要素聚合过程中效率低下的问题,提出了一种基于TIN面要素聚合的优化方法。首先,利用格网的方法聚类面要素,缩小TIN搜索范围;然后,在聚类的基础上进行TIN三角网的构建实现面要素的综合;最后,实验验证了综合结果,并通过对比证明了算法的效率。 相似文献
5.
6.
7.
8.
9.
针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。 相似文献
10.
11.
为提高线性八叉树邻近格元计算效率,利用Hilbert码标记格元,提出一种邻近格元Hilbert码快速计算方法。以Hilbert基元曲线为基础,引入状态向量的概念以记录Hilbert曲线对同属于一个父格元的所有子格元的填充顺序,从而建立状态向量的层级演进与退化函数,得到状态向量在m阶与m+1阶曲线中的层级映射关系,最终利用状态向量及其层级演进与退化函数实现邻近格元Hilbert码的计算。结果表明,所提算法计算结果正确;状态向量计算速度随层级提高而降低,在第20层级上1 ms内可完成4 201个格元的计算,对后续邻近格元计算影响较小;在指定层级上同等数量的邻近格元计算中,该算法的速度明显优于现有Morton码转换算法,在第15层级上百万级规模的邻近格元计算中,该算法的速度约为现有Morton码转换算法的2.1~2.4倍;在不同层级的百万级规模邻近格元计算中,该算法计算速度相比现有Morton码转换算法的提升倍数随层级提高而增大,在第20层级上该算法的效率提升达到2.6倍。 相似文献
12.
13.
Hilbert曲线具有良好的聚簇性,使其成为设计全球立体网格多维数据索引的重要工具。但当数据集在不同维度上的分布密度存在较大差异时,常规Hilbert曲线索引会出现大量的冗余。对此,本文基于Gray码推导分析了Hilbert曲线索引的构造特点,进而设计实现了紧致Hilbert曲线索引算法,在保持Hilbert曲线良好聚簇性的同时,避免了数据维度分布差异带来的索引冗余问题。试验结果表明,相比常规Hilbert索引,紧致Hilbert曲线索引计算复杂度相当,在实例数据测试中编码耗时减少约40%,索引存储空间减少约46%,排序速度约为Hilbert排序的4.3倍。 相似文献
14.
Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。 相似文献
15.
轨迹子段匹配是轨迹数据挖掘的重要手段,针对其计算复杂度较高、受噪声影响大的问题,提出了一种融合自适应希尔伯特地理网格编码的多层级轨迹编码树结构,在可接受的建树代价下,形成了从轨迹整段到最小片段的层次化组织形式和子段从属关系表达结构,并在轨迹片段编码树的基础上,设计了相似子段匹配算法,将复杂的空间计算转化为空间编码的字符串前缀匹配操作,极大地降低轨迹子段匹配的计算复杂度。实际轨迹数据的实验表明,在不影响匹配准确率的前提下,提出的子段匹配方法的效率与基于经典距离的相似性度量方法相比,有超过一个数量级的性能提升。 相似文献
16.
时空索引是时空数据存储和管理的关键技术之一,基于空间填充曲线(space filling curve,SFC)的索引方法近年来受到了广泛关注。然而对于矢量数据,现有索引方法多侧重于空间索引的实现,难以同时顾及时间查询和空间查询的效率,且对于非点要素(线要素与面要素),确定最优的索引级别一直是难点所在。为此,本文面向对等网络环境,提出一种自适应层级的时空索引构建方法。首先提出了基于分区键和分区内排序键组合策略的时空信息联合编码,然后据此设计了点要素、非点要素的时空表达结构,最后设计了多层级树结构以构建时空索引MLS3(multi-level sphere 3),并基于地理实体时间粒度及空间密度等特征自适应确定其最优索引层级。利用轨迹(点要素)、公路(线要素)和建筑物(面要素)实际数据进行了试验。试验结果表明,相比GeoMesa提出的XZ3时空索引,本文索引方法可有效解决非点要素的时空表达及层级划分问题,在避免存储热点的同时实现更为高效的时空检索。 相似文献
17.
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system,HDFS）上的数据倾斜问题。 相似文献
18.
格网单元的编码计算是全球离散网格系统的核心,支撑着网格快速索引及应用分析的高效计算。Hilbert曲线具有聚簇性高、连续性强的特点,是研究设计全球离散网格编码的重要工具。利用Hilbert曲线进行格元编码实现了坐标等效降维表达,但是对Hilbert曲线不同层级之间的变换关系、一维Hilbert码如何刻画格元多维空间结构与关系等网格编码基础理论问题的研究尚不完备。本文以八叉树立体网格中三维Hilbert曲线层级演进关系为突破口,使用状态矩阵与演进矩阵构建层级演进模型,进而分别设计笛卡儿坐标至Hilbert码计算以及邻近格元Hilbert码计算方法。与现有算法对比,本文算法以层级演进模型为理论基础,避免了烦琐迭代步骤以及转换步骤,算法流程简明直接。试验结果表明,本文笛卡儿坐标至Hilbert码计算效率较迭代算法提高为7%~23%,邻近格元Hilbert码计算效率较转换算法提高4.0~4.5倍。 相似文献