共查询到20条相似文献，搜索用时 31 毫秒
1.
全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。 相似文献
2.
针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。 相似文献
3.
4.
5.
针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。 相似文献
6.
7.
8.
9.
10.
11.
为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。 相似文献
12.
13.
针对气象信息网络常规运行监控业务需要,结合气象信息共享系统（China Integrated Meteorological Information Service System,简称CIMISS）的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。 相似文献
14.
Python语言在CIMISS中的应用 总被引：1，自引：0，他引：1
CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。 相似文献
15.
16.
17.
《贵州气象》2016,(5)
站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。 相似文献
18.
19.
为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。 相似文献