基于MapReduce计算模型的气象资料处理调优试验   总被引：1，自引：1，他引：0       下载免费PDF全文

杨润芝  沈文海  肖卫青  胡开喜  杨昕  王颖  田伟 《应用气象学报》2014,25(5):618-628

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。  相似文献   

3维数字地球快速缓冲区分析算法   总被引：1，自引：0，他引：1  

杨崇俊  赵彦庆  王锋  方超  伍胜 《遥感学报》2014,18(2):353-364

提出一种应用在3维数字地球中的通过图形处理器(GPU)快速实现矢量数据缓冲区分析的算法。使用一张4通道的纹理图作为容器将地理实体的矢量数据传入GPU,利用GPU的高效并行特性,将目标缓冲区纹理中的每个像素所对应的矢量坐标与原实体进行距离量算,在一次渲染中得到缓冲区纹理,最后提取出缓冲区纹理的边界。选择中国的流域和湖泊矢量数据,将本文算法与两种传统的CPU算法进行了缓冲区分析计算、测试和对比。结果显示,本文算法相对于传统矢量算法效率提高了9—16倍,相对于传统栅格算法效率提高11—20倍。实验证明,该算法计算简单,效果明显,特别是随着数据量增大,缓冲区计算速度显著优于传统算法,并能有效解决传统矢量法缓冲区分析中的数据自相交问题。  相似文献   

天宫一号高光谱数据辐射校正的CUDA并行优化     

赵海娜  吴远峰  张兵 《遥感学报》2014,18(Z1):49-55

高光谱图像经过辐射校正后,消除了探测元的响应差异,能更好地满足专题信息提取的数据要求.利用探测元的列均值、列标准差等统计信息对天宫一号高光谱短波红外数据进行辐射校正检验,并基于GPU CUDA计算模型对均值归一化、矩匹配、相邻列均衡等3种相对辐射校正算法进行了并行计算优化.通过辐射校正计算流程拆分,CPU控制流程逻辑,GPU执行数据级并行计算,并建立CUDA的计算单元与数据单元的映射关系,获得5—7倍的计算加速比,这些辐射校正算法依据图像自身统计信息,且易于进行并行计算优化,满足实时校正的处理时效要求,为未来高光谱数据在轨实时辐射校正提供了新思路.  相似文献   

基于高性能计算平台的天宫一号遥感数据地面预处理系统     

张万峰  赵灵军  刘志文 《遥感学报》2014,18(Z1):42-48

针对天宫一号传感器特点,设计并实现了基于高性能并行集群环境的遥感数据地面预处理系统,可完成对高并发、海量遥感数据处理任务的快速、高效处理.该系统可通过传感器的星上定标参数完成系统辐射校正、系统几何校正等处理过程,生产出高光谱热红外谱段和高光谱数据的1级、2级遥感产品.同时,在数据产品封装与输出分系统中,采用了较为通用的GeoTiff与HDF作为产品的主要输出格式,可满足领域内多种用户的需求.  相似文献   

论万物互联时代的地球空间信息学     

李德仁  徐小迪  邵振峰 《测绘学报》2022,51(1):1-8

随着5G/6G、云计算、物联网和人工智能等新技术的发展,人类已经进入了万物互联时代。本文探讨万物互联时代地球空间信息技术的五大特点：定位技术从GNSS和地面测量走向无所不在的定位导航定时（PNT）服务体系;遥感技术从孤立的遥感卫星走向空天地传感网络;地理信息服务从地图数据库为主走向真三维实景和数字孪生;3S集成从移动测量发展到智能机器人服务;学科研究范围从对地观测走向物联监测和对人类活动的感知。笔者基于这些特点进一步剖析新时代面临的挑战,并提出新时代地球空间信息学发展亟待解决的三大科学技术问题：测绘学科如何服务人与机器人的共同需求？遥感影像解译的机理是什么和如何突破实现技术的瓶颈？如何利用时空大数据挖掘人与自然的关系,从空间感知走向空间认知？万物互联时代的地球空间信息学,必须且完全可能为万物互联的数字地球和智慧社会做出更大的贡献！  相似文献   

时空遥感云计算平台PIE-Engine Studio的研究与应用   总被引：1，自引：0，他引：1  

程伟  钱晓明  李世卫  马海波  刘东升  刘富乾  梁军龙  胡举 《遥感学报》2022,26(2):335-347

随着遥感大数据时代的到来,为快速处理和分析海量遥感数据,国内外涌现了众多遥感云计算平台,使得全球尺度、长时间序列遥感数据的快速分析和应用成为可能。本文在分析国内外遥感云计算平台现状的基础上,针对大数据时代国内缺少功能完备的遥感云计算平台,且国外遥感云计算平台对国产卫星数据支持不足等问题,基于容器云技术,构建了包含国产卫星数据且集数据、算力和技术于一体的时空遥感云计算平台PIE（Pixel Information Expert）-Engine Studio,实现了脚本驱动的遥感数据的按需获取以及海量数据的快速处理。采用Landsat 8数据,以生长季植被指数NDVI（Normalized Difference Vegetation Index）的计算为例,对比了本平台与GEE（Google Earth Engine）的数据处理能力。结果表明,由于计算资源的限制,本平台的计算和导出时间均比GEE稍长,但计算结果的空间分布一致,其中近68%的值均分布在（0.48,0.77）,且二者差值的95.33%集中在（-0.13,0.13）,结果较为可信。因此,本文构建的基于共享、开放的中国自主遥感云计算平台PIE-Engine Studio,可为地球科学领域的研究提供数据和算力支持,将有助于推进中国遥感云计算平台的发展进程,推动国产卫星数据在云计算平台上的应用。  相似文献   

关于云安全问题的探讨     

龚强  ;朱力维 《东北测绘》2014,(4):1-2

云计算面临的最大挑战是安全问题。云计算应用的无边界性、流动性等特点,较之传统的IT模式有很大差异。在云计算环境下,服务方式发生变化,安全的责任主体也发生了根本改变。作为云计算服务提供商,需要建立安全的云计算平台,为云安全服务提供保障;同时,服务一定是开放的、安全的,要保护云用户敏感信息的安全。整合桌面安全管理技术是行之有效的。云安全应用研究主要是从云计算平台系统安全和网络安全设备、安全基础设施的“云化”突破几个方面展开。  相似文献   

地市级地理信息共享服务平台设计     

杜福光 《测绘工程》2014,23(11):51-55

随着社会经济与信息技术的不断发展,地市级智慧城市建设提上日程,如何建立一套规范统一而又具有通用性的地理信息共享服务平台是其关键.平台建设必须考虑三方面内容,即建设内容、运维机制与具体应用.在智慧唐山建设过程中,以面向服务为目标,顾及地市级地理信息共享服务平台的通用性,针对总体需求、总体架构、关键技术等方面进行设计,明确地理信息共享服务平台建设的内容、运维机制建设以及示范应用等内容,探讨适用于地市级智慧城市地理信息共享服务平台构建的解决方案.  相似文献   

基于并行编程计算模型的索贝尔滤波技术     

徐昌荣  王聪颖  袁秀华 《测绘科学》2014,39(10)

随着遥感影像数据量的骤增,单机环境下完成索贝尔边缘滤波运算所需的计算时间也剧增.根据遥感数据的分幅特征,结合MapReduce并行分布式计算模型,本文提出了一种将该运算迁徙到Hadoop集群环境中的方法,以完成海量影像数据的索贝尔滤波运算.实验结果表明集群运算能够显著缩短计算时间,并且该计算时间会随着集群节点数目的增加而趋于减少.  相似文献   

云服务平台下的地理信息系统技术研究     

曲鑫  张伟 《测绘与空间地理信息》2014,(9)

云计算与云服务经过几十年的探索与发展,已逐渐进入实际应用阶段。本项目从云服务如何服务于地理信息系统的角度进行研究。本文介绍了项目的整体设计与内容,及当前云服务的发展现状,概述了Open Layers API所具有的几个优势和开源地理信息系统的建设过程。本文重点说明了在云服务平台上部署地理信息系统的工作流程和需要注意的几个问题。  相似文献