共查询到20条相似文献，搜索用时 31 毫秒
1.
2.
3.
基于AutoIt的海量数据智能刻录系统 总被引：3，自引：2，他引：1
对科研单位而言,选择DVD光盘作为雷达、卫星等持续性增长的海量数据的存储器是比较合理的.然而,如果人工校验和刻录保存数据,工作量巨大,过程单调乏味,容易出错.为了解决这个问题,本文利用AutoIt v3脚本语言的优势,实现了智能控制刻录软件完成DVD光盘的刻录;加上参数配置、目录监听、数据校验、数据压缩、短信通知、数据检索、日志记录等辅助模块的设计实现,最终完成了海量数据智能刻录系统(MDIBS).文本介绍了AutoIt在自动化任务编写上的优势及在MDIBS中的应用,论述了MDIBS各模块的设计思想和功能以及核心技术的实现,并以FY-2C数据为例说明了数据校验插件的开发. 相似文献
4.
本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。 相似文献
5.
针对多源、海量、实时气象数据的特点和高交互天气预报预警的业务需求,设计开发了MICAPS4网络平台,该平台包括服务器和网络前端结构,该平台可以实现网络气象数据叠加显示和交互分析等功能。该平台基于统一气象数据模型和分布式实时计算处理框架对多源海量、实时气象数据进行快速处理、计算分析、网络传输和发布,基于HTML5渲染绘制技术实现了浏览器端气象数据的标准实时渲染绘制和交互操作等。MICAPS4网络平台及基于该平台搭建的国家级、省级专业气象网络应用业务系统运行稳定,实现了海量气象数据的网络快速处理分析、高效渲染绘制、预报预警制作交互操作等功能,对建设国家级和省级气象网络应用系统具有重要意义。 相似文献
6.
7.
随着越来越多基于网络、自动化的信息共享系统的广泛使用,元数据已成为不同学科间共享信息的关键。近年来气象数据的应用领域不断扩展,气象数据面临着海量信息流通共享的迫切需要,由此气象元数据应运而生。该文介绍的气象元数据是在满足WMO (世界气象组织) 信息系统提出的包括提供在线元数据、数据目录服务和提高元数据定义、收集、归档和交换的标准化水平在内的总体需求的背景下,依据WMO核心元数据标准设计并由自开发程序自动生成的。北京GISC系统是WMO信息系统中承担区域间及全球资料交换的主干通信中心之一,至2012年1月,北京GISC系统制作并提供系统内全部数据对应的气象元数据,共计约12万条。 相似文献
8.
气象探测资料种类多、数据量大,早期宁夏实时气象探测资料主要存储在各类服务器中,如何便捷高效地使用气象探测资料是困扰业务人员的难题。本文首先分析了宁夏气象资料归档业务需求,制定了气象资料自动归档策略;其次,介绍了系统的总体架构,阐明了各功能模块的设计思路;再次,采用了MySQL、NAS和Bootstrap等关键技术,设计开发了“宁夏气象资料自动归档管理系统”;最后,统计了宁夏气象资料的自动归档情况和展示了资料查询下载效果。经试运行,该系统可以实时自动归档宁夏气象探测资料和基础预报资料,能够查询下载数值模式产品、雷达数据和天气图等归档资料。 相似文献
9.
随着气象科学技术的发展,气象数据资料的不断递增,光盘作为一种新型的档案载体手段,以期记录密度高、存储容量大、数据传递快、保管空间小、检索和传播便捷等优点,越来越受到关注.但如何对其归档后的真实性、完整性和长期性进行科学管理,真正发挥在气象科技中的作用,是一项至关重要的现实问题.光盘的保管措施主要有以下几点:…… 相似文献
10.
11.
针对WebGIS在气象业务应用系统的现状和存在问题,开发了具有自主知识产权的气象GIS网络平台。该文介绍了平台开发的背景、目标、功能结构,结合气象数据特点和业务需求分析,对系统建设中的关键技术进行详细探讨,包括智能缓存技术,基于RIA (Rich Internet Application, 富互联网应用程序) 的渲染绘制技术,气象数据监视机制以及地图服务聚合技术。基于气象GIS网络平台搭建了国家级和省级气象应用业务系统,系统运行稳定,实现了海量气象数据的网络高效发布、快速渲染绘制、数据自动监视更新以及地图服务定制等功能,对气象信息网络服务具有重要意义和应用价值。 相似文献
12.
13.
针对高效智能的决策气象服务需求及海量气象数据在移动端应用瓶颈,国家气象中心气象大数据处理及网络应用团队设计研发了中央气象台决策气象服务移动平台,本文介绍了该平台服务器和移动终端总体结构,及其在气象实况监测、基于位置服务的精细化网格预报、预报预警、决策服务产品快速推送、灾害性天气智能提醒等方面的功能特点,并通过分布式实时计算处理框架、HTML5和移动GIS等关键技术实现了对海量气象数据高效处理计算、移动网络传输、网络服务、移动端实时渲染和交互操作等。该平台在国家、省级决策气象服务业务应用中运行稳定,在台风登陆、暴雨灾害、重大活动等气象服务保障中发挥了重要作用,为决策气象服务人员提供了基于位置服务的气象实况、预报预警、决策服务产品推送、灾害性天气智能提醒等综合服务功能,对建设智慧型气象服务系统具有重要意义。 相似文献
14.
以高频海量气象格点数据为研究对象，针对传统实时处理系统数据处理效率不高的问题，设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程，在分析海量高频次气象格点数据特点的基础上，设计和实现了符合气象业务需求的分布式存储模型；利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发；利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法，进而实现数据块的精准定位；利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法，进而实现数据按需抽取；实际业务应用表明，系统有效地提升了半结构气象数值预报产品数据的实时处理效率。 相似文献
15.
16.
为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。 相似文献
17.
设计了一种新型高效的公路交通气象观测站监控系统.该系统主要包含两个方面的内容,一是采用多线程编程技术设计开发实时气象报文数据入库程序,二是对开源ZedGraph制图控件的修改和重新封装使用,并以Oracle10g大型数据库作为后台数据库,最终构建成由实时气象数据入库的程序和数据提取展示程序组成的监控系统.该系统不仅实现了对海量气象数据的存储备份,而且其监控展示功能可以更高效地为交通气象的监测预警决策提供依据.通过具体应用,证明了该系统在减少气象灾害对交通的影响方面是可行的、有效的. 相似文献
18.
通过分析气象数据的特点和RIA (Rich Internet Applications) 技术的优势,结合系统建设目标提出了基于Flex的网络GIS气象信息发布平台的总体框架, 并详细介绍了该平台的主要功能。对系统建设的关键技术问题进行详细分析,主要包括数据组织与管理、气象数据转换、地图服务缓存以及基于Flex的地图展现技术等。系统运行结果表明:与传统气象网络GIS相比该系统具有界面元素丰富、交互响应快、大数据量的显示效率大大提高等方面的优势。该系统为气象工作人员、应急气象服务及公众提供了一个实时、快速、基于网络的气象信息共享平台。 相似文献
19.
20.
中国气象局S2S（Sub-seasonal to Seasonal）数据归档中心建设是中国气象局承担世界气象组织（WMO）的世界天气研究计划（WWRP）和世界气候研究计划（WCRP）任务,由国家气象信息中心负责设计和实现。该文介绍了S2S数据归档中心建设中涉及的数据交换、数据检查及处理、数据归档存储及数据服务门户全流程系统设计和实现。针对各业务中心生产的S2S数据配置差异较大造成数据交换、同步较难这一问题,采用基于FTP（file transfer protocol）的数据推送和基于ECMWF（European Center for Medium-range Weather Forecasts）WebAPI主动数据下载相结合的方式,说明数据交换、同步方法和策略。由于S2S数据量巨大难以高效管理服务,已设计统一的数据组织形式和存储规则,实现根据数据检索条件解析获取数据存储位置,提供便捷的数据检索下载服务。自2015年11月15日中国气象局S2S数据门户系统对外开放,目前数据门户系统已有超过18个国家的300个用户注册并下载数据。 相似文献