共查询到17条相似文献，搜索用时 109 毫秒
1.
云环境下的时空数据小文件存储策略 总被引：1，自引：0，他引：1
云环境下的网络应用中存在着海量的时空数据小文件,针对HDFS处理小文件效率不高的问题,提出了一种结合用户访问规律与数据自身属性的数据处理方案。该方案将用户访问转化为数据请求序列,根据数据的时空属性提取并构建特征序列,通过模板匹配找到用户在不同访问模式下的特征模板,发现模板内文件之间的访问相关性,合并相关文件。实验结果表明,该方案有效地提高了系统对小文件的存储读取效率,减小了网络应用的响应时间。 相似文献
2.
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system,HDFS）上的数据倾斜问题。 相似文献
3.
4.
王陆培 《测绘与空间地理信息》2023,(7):144-147
为了提高海量多波束水深点云数据处理时的检索效率,降低内存占用,本文设计了四叉树数据处理方案。水深点云数据四叉树检索方式如下：首先,根据四叉树结构,以序列化方式对文件进行存储与索引,实现水深点云数据检索速度的提高,节省了检索时间;其次,为了减少内存占用,以内存映射的方式对海量点云数据进行读取。将本文提出的水深点云四叉树检索与常规的遍历索引进行对比实验,结果表明：在点云检索数据量少于总点云数据量的3/4时,四叉树检索的效率比常规的遍历检索效率提高1倍以上;随着检索点云数据量的减少,四叉树检索效率比常规遍历检索效率更高,最大可达到30倍以上。 相似文献
5.
三维激光点云数据是海量三维点的集合,导致数据量庞大,组织和管理困难,不仅增加了系统负荷,而且大大降低了点云数据后续处理效率。该文针对海量点云数据的组织与管理中遇到的加载和显示效率低、建立索引困难、不能实时动态显示等问题,提出了基于十进制线性四叉树的点云数据格网索引方法,该方法用四叉树结构分割点云数据和用SQL Server数据库存储,采用Morton码或矩形区域对点云数据进行分块空间索引,结合空间索引和数据库的优势对点云数据进行高效、动态、智能管理。实验结果表明,该方法较好地解决海量点云数据的组织与管理效率低下,不能实时动态显示的问题。 相似文献
6.
针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。 相似文献
7.
针对受限于计算机内存,海量三维点云数据无法一次性加载显示的问题,提出了一种基于像素模式的海量点云可视化LOD调度方法。该方法主要包括生成八叉树点云索引文件和设置LOD模型调度范围两个阶段,首先采用八叉树的原理对点云数据进行分层和抽稀,生成索引文件;再基于八叉树点云索引文件构建点云LOD模型;最后根据原始点云的分辨率自动计算LOD模型节点的像素阈值。在实时可视化的过程中,以LOD模型节点在屏幕上的像素大小是否达到预定阈值为判断条件,对其进行调度,避免了距离模式下海量点云可视化出现的卡顿问题。 相似文献
8.
一种结合RDBMS和Hadoop的海量小文件存储方法 总被引：1，自引：0，他引：1
提出了一种综合利用RDBMS和Hadoop云存储各自优势、同时避免各自缺陷的海量小文件存储方法.原型系统实验表明,该方法可以满足“数字城市”应用中小文件的存储需求,同时,也可作为其他具备结构化特征的海量小文件数据存储系统. 相似文献
9.
10.
11.
为了支持车载移动激光扫描点云数据的高效管理与快速可视化,提出了一种适用于车载海量点云的数据组织方法。该方法将原始点云数据分段后生成轨迹信息用于快速索引,分别对每段数据建立基于八叉树结构的LOD（levels of detail）索引,并采用多线程动态调度技术实现基于视点的海量点云渲染与漫游,显著提高了车载点云数据的调度效率。实验结果证明该点云数据组织方法是一种适合车载点云数据的高效管理方法。 相似文献
12.
CGCS2000精化及其全球拓展需要采用最新的模型,处理长期积累的大型GNSS观测网数据,大型GNSS网联合、快速和协同解算是空间基准精化、维持与服务的重要技术方向.在大数据技术背景下,以并行计算、云计算为代表的高性能计算技术逐渐成为大规模数据处理的首选方法.针对海量、多源、异构GNSS数据在解算处理与平差分析等方面面... 相似文献
13.
本设计主要包括以下几个方面:一是点云数据分幅管理、建立空间索引。三维激光扫描系统获取的点云数据量大,如果直接在所有的点云数据中进行运算,那么运算效率会比较低下,且一般电脑无法处理如此大的数据。因此,必须先对原始大点云分幅处理、建立空间索引,按一定的规律形成计算机可方便处理的小文件,提高运算效率。二是整理断面数据,把断面设计信息按一定的格式整理。三是求解断面的方位、参数等信息,判断每一个横断面所经过的图幅,这一运算过程直接影响到整体效果。四是利用点云数据提取断面点。 相似文献
14.
15.
李振举 《测绘与空间地理信息》2018,(1):1-5
针对现有的云计算平台成本和系统复杂度高、不适于在普通台式电脑进行部署的问题,结合系统设计思想和云计算相关理论,构建了遥感影像云计算平台原型系统。该系统框架结构划分为系统依赖库、物理资源层、系统实体层、应用支持层、遥感应用层和用户界面层,包括云存储、云计算和数据可视化等三个子系统。实验结果表明:该系统可以在普通桌面电脑上进行部署,并且支持遥感影像的存储和处理,验证了基于云计算的海量遥感影像存储和处理关键技术,为遥感影像高效存储与快速处理提供了必要的现实支撑和理论参考。 相似文献
16.
为满足海量地铁隧道点云的高效处理需求,提出了一种R树与格网结合的海量地铁隧道点云管理方法。针对隧道点云的空间分布特点,在全局将大范围点云划分到格网中,并使用R树管理非空网格;在局部使用八叉树与四叉树混合的索引方法管理单个网格内的点云。为了提高点云的渲染效果,提出了基于网格面积的多细节层次结构（levels of detail,LOD）回溯构建方法,并采用高效的单文件存储方式存储点云。实验结果证明了所提出的方法在海量隧道点云的管理和可视化方面优于传统方法。 相似文献
17.
机载多光谱LiDAR数据的地物分类方法 总被引：2，自引：1，他引：1
机载多光谱LiDAR系统能够快速地获取大范围地表面上地物光谱和几何数据,并能够保证所获取的光谱与空间几何数据在空间和时间上相对完整和一致性。支持向量机（SVM）是一种基于小样本的学习方法,它避开了从归纳到演绎的传统分类过程。因此,本文提出了基于SVM多光谱LiDAR数据的地物目标分类方法。该方法首先将多个独立波段的LiDAR数据融合为单一的、包含多个波段信息的点云数据,然后将融合后的点云内插为距离影像和多光谱影像,最后利用SVM进行多光谱LiDAR数据的地物覆盖分类。通过对加拿大Optech公司的Titan机载多光谱LiDAR数据的试验证明：相对于传统的单波段LiDAR数据,多光谱LiDAR数据可以获得较好的地物分类精度;比较试验发现SVM分类方法适用于多光谱LiDAR数据的地物分类。 相似文献