基于MapReduce计算模型的气象资料处理调优试验   总被引：1，自引：1，他引：0       下载免费PDF全文

杨润芝  沈文海  肖卫青  胡开喜  杨昕  王颖  田伟 《应用气象学报》2014,25(5):618-628

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。  相似文献   

Storm流式技术在地面气象数据处理中的应用          下载免费PDF全文

廖婷婷  王彪  肖卫青  李从英  郭茜 《中低纬山地气象》2019,43(5)

地面自动站气象数据的量级、观测传输频次日益增长,传输方式从传统的文本方式发展到消息传输,对数据处理时效有了更高的要求。该文提出采用Storm流式技术进行地面自动站气象数据的解码和入库,使用Spout节点连接外部数据源,将数据转化为Tuple,传递给解码Bolt、入库Bolt和DI/EI消息Bolt,分别进行实时的入库和监控,且达到灵活调整系统资源的目的。该应用与传统的简约流程对比,稳定性、处理效率、拓展性都有了显著提高。  相似文献   

CIMISS中气象观测资料处理入库效率优化方法   总被引：3，自引：0，他引：3  

季永华  孙超  刘一鸣  肖卫青 《气象科技》2017,45(1):30-35

气象资料种类多、海量、格式多样复杂,造成综合气象信息共享系统(CIMISS)巨大的处理压力。以高空L波段数据作为个例,进行详细的分析,在数据库表设计上,通过"键-要素"的拆分方式减少数据库冗余,建立合理的索引和分区提高数据表访问效率。在处理流程方面,通过简约化流程减少系统间消息交互和IO,从而优化系统的存储效率。同时简约流程中对比PRO*C和OCI两种入库方式,PRO*C简单高效便于开发,而OCI功能全面但相对复杂,通过比较两种入库方式的效率,系统采用PRO*C方式。高空L波段数据实际运行效果表明,平均28s完成一份数据的处理。对比高空探测数据的处理,简约流程比原流程入库更快。  相似文献   

Hadoop在气象数据密集型处理领域中的应用   总被引：2，自引：0，他引：2  

肖卫青  杨润芝  胡开喜  林润生  刘立明  谷军霞 《气象科技》2015,43(5):823-828

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。  相似文献   

地面气象资料统计处理系统设计与实现          下载免费PDF全文

孙超  霍庆  任芝花  刘振  肖卫青  徐拥军 《应用气象学报》2018,29(5):630-640

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。  相似文献