基于消息通知机制的国省数据共享系统的设计与实现     

顾文静  戴晴  张媛媛  王鹏 《气象科技》2021,49(6):860-868

为解决卫星广播传输缺陷及省级用户获取临省实时观测资料和实况分析产品等迫切的业务需求，设计并实现了基于消息通知机制的国省数据共享系统。系统基于RabbitMQ的消息机制进行业务和数据资源的整合及集成，采用多层体系架构，满足基于地面宽带的数据快速有序下载和卫星广播数据补调等国省数据共享需求，支持大容量多种数据的高速传输，支持HTTP、FTP、SFTP等多种数据传输协议。系统已经上线提供服务，实现智能网格、多源融合实况分析等25种气象资料的国省数据共享，月平均共享数据量达6.3 TB，且建立全流程监视，有效保障数据共享的时效性。  相似文献   

集约化数值预报业务自动化管理系统可视化平台的设计与实现     

顾文静  常飚 《气象科技》2014,42(2):266-272

自动化管理系统以全面、有效、便捷的管理监视数值预报业务为出发点,整合了国家局和各省级区域中心多种监视系统,在NMIC_SMS(管理监视调度系统)的基础上搭建统一运行监视平台,平台基于B/S架构设计多层框架模型,结合Java语言、JSP和Oracle关系数据库。实现对数值预报业务和高性能计算机系统的分级监视、运行状态统计查询及短信报警等功能。以数值预报中心、辽宁、四川区域中心多个数值预报业务模式和国家局高性能计算机系统作为实验系统,已完成综合测试,运行稳定。该平台的应用能够及时发现系统故障,缩短处理时间,从而保证数值预报业务系统的稳定运行。  相似文献   

基于“天镜”的CIPAS3.0监控应用设计与实现     

刘乖乖  孙超  曾乐  刘北  顾文静 《气象科技》2023,51(6):907-916

本文通过分析“云+端”模式气候监测预测分析系统（简称：CIPAS3.0）的监控需求，给出基于气象综合业务实时监控系统（简称：天镜）CIPAS3.0监控应用架构和流程设计，详细描述了产品监视流程和数据源异常追溯算法，为下一步建设融入气象大数据云平台（简称：天擎）的业务系统通用监控提供了技术思路。CIPAS3.0监控应用实现了数据源、产品和基础资源的实时监视与告警，并提供数据源异常追溯、产品一键补算等功能，解决了数据源下载传输情况不透明、产品手工补算不方便等问题，减轻了运维人员定位和解决故障的工作量，提高了运维效率。本应用于2021年12月通过专家评审并投入业务化运行，截止目前已实现87种数据源和125种定时产品实时监控，为CIPAS3.0的稳定运行提供了保障。  相似文献   

基于流程控制的国际气象通信数据收集管理系统的设计与实现          下载免费PDF全文

顾文静  王鹏  戴晴  韩鑫强 《气象科技》2023,51(1):31-39

近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术,支持多种通信协议,扩展Scrapy网络爬虫功能,通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理,有效提高数据并行处理能力和可扩展性,且设计了全流程监视,保障数据时效。系统已经上线提供服务,为业务/科研用户提供全球观测数据、国外卫星数据和数值预报产品等300余种,日收集数据量约2 TB。  相似文献