共查询到20条相似文献，搜索用时 15 毫秒
1.
物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。 相似文献
2.
海洋大数据具有分布式获取的特点和一体化应用的特性,分布式网络环境下海洋大数据服务技术是避免"信息壁垒、信息孤岛、重复建设"的重要途径。从海洋信息基础设施建设和需求导向的角度,论证了海洋数据共享与信息服务的辩证关系;提出了基于统一时空数字地球模型构建海洋大数据空间关联的空间抽象坐标参考基准的技术方法;解决了分布式网络环境下的海洋监测与调查数据标准化格式网络发布、海洋再分析产品数据主动推送,海洋业务数据定制等3项关键技术;实现了以"多中心、多节点"为特征的分布式网络环境下海洋大数据服务模式。结合我国数字海洋信息基础框架的专网环境下的实验,验证了其可行性并结合"智慧海洋"建设,提出了未来发展方向与研究重点。 相似文献
3.
4.
5.
遥感技术以其独特的技术优势可为海洋调查、保护、开发、管理提供重要的技术支撑。但遥感数据存在多源、异构、海量的特点,传统的基于文件的和基于数据库的集中式存储管理已经面临存储容量、工作效率等方面的问题。另外,由于缺乏有效的共享机制,大多数数据得不到充分利用,形成了一个个信息孤岛,造成了资源浪费。因此本文提出基于WSRF的分布式海洋遥感数据集成与共享机制,通过数据层、服务层、服务管理层、应用层和表示层5层架构使用户能够透明地共享、一体化地处理已有的遥感数据,文中还进行了核心服务功能的设计和接口设计,并搭建了一个部门级的应用平台,为海洋管理及相关工作的深入推进提供有效支撑。 相似文献
6.
《海洋信息》2020,(2)
随着我国海洋信息化的发展,海洋空间地理信息在海洋各个领域的应用越来越多,基于海洋空间地理信息的系统集成和专题应用日益普遍。基于ArcGIS平台制作发布矢量基础地理底图、地形基础地理底图和遥感影像基础地理底图等多种类型的海洋空间地理信息数据服务。基于SmartEarth平台制作发布海洋三维球体服务,将多比例尺海洋空间地理信息数据服务化并共享应用。应用ESB总线技术、Portal技术、多源栅格数据分布集成技术构建海洋地图服务平台,实现数据的二三维可视化展示、空间查询分析、空间处理分析、在线专题制图、地图服务生产、个性化API调用等功能,提高海洋空间地理信息资源的利用率。 相似文献
7.
8.
9.
海洋数据是国家重要的基础性战略资源,海洋大数据融合应用发展对于实施海洋强国战略意义重大。本文从数据、技术和应用3个角度分析归纳了海洋大数据的内涵、外延和特征,提出了低质性、碎片化和隐匿性3个海洋大数据要解决的关键问题。从海洋大数据资源体系、海洋信息通信网、海洋大数据处理分析、海洋大数据存储管理和共享服务,以及海洋大数据应用研发等方面总结了海洋大数据发展能力现状和趋势,探讨了当前国家海洋大数据中心发展需求,架构海洋大数据国内外总体布局,从数据资源、关键技术、共享服务、开放创新、融合应用和国际合作等6个方面,研究提出海洋大数据重点发展方向,以期为国家、行业和地方海洋大数据发展提供参考。 相似文献
10.
《中国海洋大学学报(自然科学版)》2021,(11)
海洋现象特征数据是一类带有过程性质的时空数据,具有多样性、多态性、海量性和时变性等特点,广泛服务于海洋灾害预报、船舶航行规划、台风路径追踪、海洋与大气环流等领域。本文根据海洋现象特征,建立海洋现象过程的对象表达和数据组织模型,设计三维空间海洋时空数据分片策略和R树空间数据索引方法,以提高海洋现象过程时空数据的查询效率。实验通过构建海洋现象过程时空数据分布式存储与并行检索系统测试算法的执行效率。实验结果表明,面向过程的海洋时空数据分布式并行检索算法能够实现数据的高效检索,验证了海洋现象过程对象数据组织模型的合理性,为研究海洋现象过程多要素的关联机制提供了有效的方法和理论基础。 相似文献
11.
12.
基于WebGIS的海洋科学数据共享平台的分析与设计 总被引：4，自引：1，他引：3
根据国家自然科学基金委青岛海洋科学资料共享服务中心建设的实际情况,从需求分析、系统结构设计、数据建模以及实现技术等几个方面,详细介绍了基于WebGIS的海洋科学数据共享平台建设的思路和方法。在建设过程中,采用用户界面层、业务逻辑层、数据库层的三层架构模式进行系统软件设计,提高了系统的可维护性;运用组件技术进行编码,实现了代码的封装性和可复用性;采用关系型数据库和Netcdf格式相结合来进行数据的存取,解决了海洋数据结构复杂、格式不统一的问题,使查询变得更为方便;利用IDL和ION技术来开发WebGIS,实现了电子海图的漫游、数据查询以及数据统计结果输出。 相似文献
13.
14.
信息技术的快速变革,有效驱动海洋信息化的发展与创新。实现海洋信息资源的高效存储和管理,需要对海洋数据管理体系进行统筹规划。文章根据海洋地质地球物理数据特点,进行了数据层次分类研究,分析了数据标准化过程,确立了基于文件和数据库的海洋地质地球物理数据存储策略,提出结构化事务型数据库、结构化分析型数据库(NewSQL)和非结构化计算型数据库(NoSQL)相结合的数据组织架构。该数据分类组织方案为实现海洋地质地球物理数据规范化管理、集约利用和共享服务奠定了良好基础,也为其他海洋数据分类与组织研究提供了参考。 相似文献
15.
16.
17.
18.
鉴于海洋地质资料接收、立卷、编目、存放、日常管理和使用的现状,海洋地质资料档案管理系统应运而生。基于利用Oracle大型数据库管理系统、Flex技术,采用面向服务(SOA)的软件体系架构,基于Java的集成开发环境,围绕地质资料的管理、共享服务与开发利用的应用需求,进行管理信息系统软件开发,建立具有数据输入输出、数据编辑、空间浏览查询、统计分析输出、图件文档显示及条形码管理等功能。该系统不仅减少了数据录入以及手工标注,并且查询方便快捷,提升了海洋地质资料档案管理部门信息服务水平,对实现海洋信息资源共享起到了积极的推动作用。 相似文献
19.
20.
为解决对分布式海洋地质数据资源快速访问和有效融合问题,满足数据资源共享和未来构建大数据应用的需求,提出一种基于REST架构模式和OData开放数据协议的海洋地质数据资源目录服务方案。首先探讨了基于REST和OData设计海洋地质数据资源目录服务的基本原则、关键环节,然后分别从目录服务资源实体识别、资源标识、实体数据模型、资源操作等方面进行了详细阐述,最后以ASP.NET WebAPI框架为基础说明了实现要点。结果表明,基于REST和OData设计的数据资源目录服务,使得用户可以快速获取分布式海洋地质数据资源,适用于海洋地质数据资源的组织、标识、获取和服务,该成果对促进地质数据资源的共享融合具有一定借鉴意义。 相似文献