共查询到20条相似文献，搜索用时 219 毫秒
1.
数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。 相似文献
2.
3.
《贵州气象》2016,(5)
站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。 相似文献
4.
针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。 相似文献
5.
区域气象自动站的建立,提高了防灾减灾及突发灾害性天气的监测预警能力。随着站点建设规模的快速扩展,数据处理量成倍增多,对数据库系统的存储处理提出了更高的要求。ORACLE数据库在处理海量数据方面,性能优异、可伸缩性强。以ORACLE 10G作为核心数据库,设计、建立了基于ORACLE的陇东南区域自动气象站数据库与应用系统。经过试用表明,该数据库能够很好地满足区域自动气象站数据实时访问和检索需求,提高了数据应用效率,实现了陇东南和周边部分地区近千个站点的资料自动入库、存储和查询检索。本文对数据库设计、SQL语句查询优化原则、ORACLE数据服务器和客户端的连接配置等方面做了重点介绍。 相似文献
6.
以高频海量气象格点数据为研究对象，针对传统实时处理系统数据处理效率不高的问题，设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程，在分析海量高频次气象格点数据特点的基础上，设计和实现了符合气象业务需求的分布式存储模型；利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发；利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法，进而实现数据块的精准定位；利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法，进而实现数据按需抽取；实际业务应用表明，系统有效地提升了半结构气象数值预报产品数据的实时处理效率。 相似文献
7.
MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。 相似文献
8.
气象结构化数据包含地面小时数据、地面分钟数据等多种数据种类,在分析和调用中需要利用时间属性和空间属性。随着数据量日益增大,高并发、复杂统计条件下的查询与统计对数据库的效率要求十分严苛。在此背景下,传统的关系型数据库逐渐难以满足实时应用需求。本文使用不同类型的分布式数据库和关系型数据库,结合气象业务使用场景,探索多种类型下数据库的使用性能,研究不同场景的性能差异与不同数据库架构框架之间的关系,以提高数据服务实时响应能力。 相似文献
9.
10.
基于R语言的NetCDF文件分析和可视化应用 总被引：3，自引：0，他引：3
气象领域目前有多种广泛应用的气象数据分析和可视化工具集,包括GrADS、NCL、CDO和IDL等。R语言是一种由统计学家开发的统计计算和绘图的语言和环境,具有大数据处理的能力。R语言数量众多的扩展包为R语言用于海量气象数据分析和可视化提供了强有力的支持。基于R语言对NCEP发布的数据集进行了统计分析和可视化,展示了R语言在气象数据处理和可视化方面的应用。结合R语言提供的贝叶斯统计扩展包和高性能并行计算扩展包探讨了R语言在气象数据处理和可视化应用方面的广泛前景。 相似文献
11.
12.
一种地市级气象数据库的设计与应用 总被引：1，自引：0，他引：1
面向地市级气象业务数据库系统存在的数据管理分散、数据流程不统一等问题,以气象数据为核心,从标准化、规范化数据库建设的角度,提出一种气象数据库系统架构与设计方法。从逻辑结构、物理存储方面对气象数据进行划分,设计了气象数据的物理存储模型和数据统一访问规范。基于RabbitMQ消息中间件和元数据技术实现了多种气象观测资料的采集、传输、入库、备份的统一处理。通过消息数据与元数据的映射关系,增强了多源气象数据处理的灵活性和可扩展性。该系统已经投入业务使用,为气象数据管理和公共服务提供稳定、高效的数据支撑,取得较好的应用效果。 相似文献
13.
14.
15.
16.
17.
地面气象自动站数据审核规则库设计 总被引：4，自引：0，他引：4
基于地面气象自动站资料的存储格式，结合地面气象资料的质量控制规范，充分考虑气象审核人员的具体业务需求，分析了气象要素内部特征与各种要素间的约束关系，编制了基于数据库的质量控制审核规则体系结构，并据此开发了地面气象数据审核规则库管理系统和质量控制系统。 相似文献
18.
19.
1概述贵州省气候资料二级库开发应用研究是从已信息化的非实时地面气象资料中选取温度,降水,日照3种常用气象要素,基于模式数据（A0文件）和标准格式（W文件）这两大类信息化资料文件,通过数据式转据,统计加工生成4类数据库：历史统计库,当年统计库,历史逐日资料库和30年要素值平均库,并在此基础上建立起相应的数据库管理软件,为用户提供一个较为完整、有效的数据服务环境,进一步发展气象信息化资料的效益。2系统配置及特点该数据库软件采FPW2．5及C语言开发,可在配置有WINDOWS95（98）的系统环境下运行,有以下3大特点：… 相似文献
20.
本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。 相似文献