排序方式： 共有8条查询结果，搜索用时 15 毫秒
1
1.
随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。 相似文献
2.
《测绘科学技术学报》2013,(4)
信息技术的发展极大地推动了CORS站网数据处理理论与应用的研究进展。本文针对单机处理大型CORS网基线时站点规模受限和时效性差的问题,研究了基线解算的分布式处理流程和方法。应用分布式文件系统(HDFS)建立了CORS网数据的分布式存储和传输功能,基于Bernese处理引擎(BPE)实现了Bernese 5.0功能模块的并行化调用,基于Ambizap算法建立了分布式PPP解算和分布式独立基线解算的基线向量整网解算方法。算例表明,8个节点处理109个测站1 d的30 s采样间隔观测数据,比单机集中处理的加速比提高了6倍。 相似文献
3.
DFS在地理信息数字化生产管理中的应用 总被引：1，自引：0，他引：1
共享资源是分布式系统的主要目标。本文通过分析地理信息数据生产特点入手,探讨使用DFS分布式文件系统进行数字化生产管理的方法,进而提高局域网内分散地理信息数据资源的管理能力。 相似文献
4.
国家、区域、行业级连续运行参考站网的不断建成及连续观测,连续运行参考站网的数据量呈几何倍数增长,面对海量连续运行参考站网数据,集中式数据管理的可靠性、扩展性、抗灾性和容错性受到限制,云存储将网络中的大量存储设备协同起来工作,具有高抗灾容错性、高扩展性、高数据写入和读取性能,同时支持大吞吐量数据的并发访问,可实现连续运行参考站网数据的高效管理。基于分布式处理平台Hadoop,提出了连续运行参考站网数据云存储模型,可将已建成的连续运行参考站网站、数据中心纳入到云存储集群。实验搭建了Hadoop集群,利用中国大陆构造环境监测网络数据,建立了存储目录,执行了连续运行参考站网数据上传、下载、生成指定采样率文件等操作,测试了集群的可靠性、扩展性、抗灾容错性和下载速率。作为新的连续运行参考站网数据管理方式,云存储提高了连续运行参考站网数据的管理效率。 相似文献
5.
GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统（HDFS）解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务（IGS）28 d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。 相似文献
6.
SHI Suixiang XU Lingyu DONG Han WANG Lei WU Shaochun QIAO Baiyou WANG Guoren 《海洋学报(英文版)》2014,33(9):82-92
Data pre-deployment in the HDFS （Hadoop distributed file systems） is more complicated than that in traditional file systems. There are many key issues need to be addressed, such as determining the target location of the data prefetching, the amount of data to be prefetched, the balance between data prefetching services and normal data accesses. Aiming to solve these problems, we employ the characteristics of digital ocean information service flows and propose a deployment scheme which combines input data prefetching with output data oriented storage strategies. The method achieves the parallelism of data preparation and data processing, thereby massively reducing I/O time cost of digital ocean cloud computing platforms when processing multi-source information synergistic tasks. The experimental results show that the scheme has a higher degree of parallelism than traditional Hadoop mechanisms, shortens the waiting time of a running service node, and significantly reduces data access conflicts. 相似文献
7.
历史地震图数据库及共享平台 总被引：1，自引：1，他引：0
历史地震图纸是记录历史地震的重要资料,在进行电子化之前,图纸的唯一性限制了其大范围共享的可能。电子化处理是抢救和保护历史地震图纸的重要手段,可以有效发挥其使用及研究价值,具有重要意义。为此研制历史地震图数据库及共享平台,对北京国家地球观象台现存的60万张历史地震图纸进行高精度(600 dpi)扫描和规则化命名,利用数据库和FastDFS分布式文件系统进行统一存储,并采用多级缩略图和网络服务方式提供数据共享服务。 相似文献
8.
1