排序方式： 共有26条查询结果，搜索用时 15 毫秒
1.
当前网络中地理信息以几何形式递增,为了高效地从海量网络信息中检索出高质量的地理信息,本文提出了一种基于主题爬行的地理信息分布式检索方法。本文采用面向对象的方法将网络地理数据按照四元组的要求进行分解和组织,对地物实体的主题文本特征、地理空间特征、时间维特征等相关信息进行封装,建立四元组实体对象,实现了地理信息数据的相互集成与组织。引入MapReduce模式的并行处理机制完成对网页中地理信息数据的优化存储与索引,并且通过分别计算网页文本、地理文本与查询关键词的主题相关性对爬取的网页进行有序的排列,从而提供快捷、高效的地理信息主题查询。 相似文献
2.
3.
M-Quadtree索引:一种基于改进四叉树编码方法的云存储环境下空间索引方法 总被引：1，自引：0，他引：1
为了解决基于"键-值"模型的云存储环境仅支持简单的关键字查询,不支持多维空间查询的问题,提出了一种新的分布式空间索引方法——M-Quadtree索引。在索引构建过程中,设计了一种基于改进四叉树的空间数据划分方法,该方法规定了叶节点区域的最小数据量,通过四叉树叶节点的再合并,解决了划分后各子区域间存储量不平衡的问题,并且满足了MapReduce并行化要求。给出了MapReduce框架下M-Quadtree索引的快速构建、查询与更新算法,并在搭建的Hadoop平台进行了关键参数对索引效率的影响以及不同规模数据下索引的创建、查询和更新试验。与现有分布式空间索引的对比试验及分析结果表明,M-Quadtree索引在数据存储量负载均衡、算法并行化和空间查询效率等方面表现得更好。 相似文献
4.
随着地理信息存储量的飞速增长,传统的单进程、集中式的数据处理方式已不能满足基于网络的地理信息服务的效能要求。分析对比了OpenMP,MPI和MapReduce等主流并行编程模式,将关系型数据库与分布式空间数据管理系统相结合,提出了面向并行处理的地理信息存储模型和数据组织模型,将该模型与传统模型进行了对比分析,并基于MapReduce实现了地理空间数据并行处理框架,选取了矢量数据装载、影像数据装载以及数据切片作为典型数据处理案例开展对比实验,该技术方案的处理效率均数倍于传统技术方案。实验表明,该模型能够很好地支持并行处理框架,可为分布式环境下数据处理中心构建提供一个有效解决方案。 相似文献
5.
6.
针对时空数据存储与查询问题,传统方法存在硬件成本高,存储效率低等缺点。通过对MapReduce模型和Hadoop框架等云计算核心技术的分析和研究,提出了一种基于Hadoop的时空数据存储模型,并在此模型的基础上,设计了基于MapReduce的时空数据查询并行化框架。该框架通过对时空数据的并行操作,使其适用于海量时空数据的存储与管理。 相似文献
7.
以云的方式提供语音识别服务是1种新的趋势。当前市场上的语音云都是面向通用领域的,针对这一现状,提出了1种面向特定领域,可定制的,可满足用户个性化需求的云计算方案。首先介绍了语音识别的MapReduce过程,接着描述了基于Sector/Sphere的语音识别系统组成及语音识别的Sphere处理流程,并给出了语音识别系统的云计算架构,然后探讨了语音识别的可定制实现,最后进行实验评估,证明云计算架构的语音识别系统与传统C/S架构的语音识别系统相比更具优势,且具有一定的可扩展性。 相似文献
8.
提出了一种可扩展的遥感图像多维度并行查询模式,即利用MapReduce实现海量图像数据金字塔的并行构建,利用HBase实现图像的分布式检索,设计和实现了单张遥感图像金字塔的并行构建方法和图像索引系统。实验结果表明,随着Hadoop和HBase集群的增长,图像数据的导入和检索速度得到明显提升。 相似文献
9.
云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。 相似文献
10.
MapReduce在云计算及其相关应用中发挥着重要作用,将其应用到图像处理中可以提高计算效率。然而,该模型设计的初衷是处理文本数据,对图像等二进制文件的处理支持能力相对不足。在充分调研国内外文献基础上,作者从MapReduce概述、图像数据格式设计和图像处理算法研究和在遥感图像处理中的典型应用等方面进行了综述,最后探讨了MapReduce在图像处理研究中的发展趋势。第一次比较全面地对MapReduce在图像处理中的应用进行了论述,对扩展MapReduce的应用范围和提高图像处理速度具有参考价值。 相似文献