| NetCDF物理海洋数据云存储技术研究 |
| |
| 引用本文： | 夏伟,艾波,杨应召,尚恒帅.NetCDF物理海洋数据云存储技术研究[J].海洋技术,2019,38(4):71-78. |
| |
| 作者姓名： | 夏伟 艾波 杨应召 尚恒帅 |
| |
| 作者单位： | 山东科技大学海岛(礁)测绘技术国家测绘地理信息局重点实验室,山东青岛266590;苏州工业园区测绘地理信息有限公司,江苏苏州215027;山东科技大学海岛(礁)测绘技术国家测绘地理信息局重点实验室,山东青岛,266590;青岛阅海信息服务有限公司,山东青岛,266510 |
| |
| 基金项目： | 国家重点研发计划;国家自然科学基金 |
| |
| 摘 要： | 物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。
|
| 关 键 词： | 物理海洋数据 NetCDF HDFS 并行计算框架 Spark |
Research on Cloud Storage Technology for NetCDF Physical Ocean Data |
| |
| Xia Wei,Ai Bo,Yang Yingzha and Shang Hengshuai.Research on Cloud Storage Technology for NetCDF Physical Ocean Data[J].Ocean Technology,2019,38(4):71-78. |
| |
| Authors: | Xia Wei Ai Bo Yang Yingzha and Shang Hengshuai |
| |
| Abstract: | |
| |
| Keywords: | Physical ocean data NetCDF HDFS Parallel Computing Framework Spark |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《海洋技术》浏览原始摘要信息 |
| 点击此处可从《海洋技术》下载免费的PDF全文 |
|
