基于MapReduce计算模型的气象资料处理调优试验   总被引：1，自引：1，他引：0       下载免费PDF全文

杨润芝  沈文海  肖卫青  胡开喜  杨昕  王颖  田伟 《应用气象学报》2014,25(5):618-628

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。  相似文献   

3维数字地球快速缓冲区分析算法   总被引：1，自引：0，他引：1  

杨崇俊  赵彦庆  王锋  方超  伍胜 《遥感学报》2014,18(2):353-364

提出一种应用在3维数字地球中的通过图形处理器(GPU)快速实现矢量数据缓冲区分析的算法。使用一张4通道的纹理图作为容器将地理实体的矢量数据传入GPU,利用GPU的高效并行特性,将目标缓冲区纹理中的每个像素所对应的矢量坐标与原实体进行距离量算,在一次渲染中得到缓冲区纹理,最后提取出缓冲区纹理的边界。选择中国的流域和湖泊矢量数据,将本文算法与两种传统的CPU算法进行了缓冲区分析计算、测试和对比。结果显示,本文算法相对于传统矢量算法效率提高了9—16倍,相对于传统栅格算法效率提高11—20倍。实验证明,该算法计算简单,效果明显,特别是随着数据量增大,缓冲区计算速度显著优于传统算法,并能有效解决传统矢量法缓冲区分析中的数据自相交问题。  相似文献   

天宫一号高光谱数据辐射校正的CUDA并行优化     

赵海娜  吴远峰  张兵 《遥感学报》2014,18(Z1):49-55

高光谱图像经过辐射校正后,消除了探测元的响应差异,能更好地满足专题信息提取的数据要求.利用探测元的列均值、列标准差等统计信息对天宫一号高光谱短波红外数据进行辐射校正检验,并基于GPU CUDA计算模型对均值归一化、矩匹配、相邻列均衡等3种相对辐射校正算法进行了并行计算优化.通过辐射校正计算流程拆分,CPU控制流程逻辑,GPU执行数据级并行计算,并建立CUDA的计算单元与数据单元的映射关系,获得5—7倍的计算加速比,这些辐射校正算法依据图像自身统计信息,且易于进行并行计算优化,满足实时校正的处理时效要求,为未来高光谱数据在轨实时辐射校正提供了新思路.  相似文献   

基于高性能计算平台的天宫一号遥感数据地面预处理系统     

张万峰  赵灵军  刘志文 《遥感学报》2014,18(Z1):42-48

针对天宫一号传感器特点,设计并实现了基于高性能并行集群环境的遥感数据地面预处理系统,可完成对高并发、海量遥感数据处理任务的快速、高效处理.该系统可通过传感器的星上定标参数完成系统辐射校正、系统几何校正等处理过程,生产出高光谱热红外谱段和高光谱数据的1级、2级遥感产品.同时,在数据产品封装与输出分系统中,采用了较为通用的GeoTiff与HDF作为产品的主要输出格式,可满足领域内多种用户的需求.  相似文献   

论万物互联时代的地球空间信息学     

李德仁  徐小迪  邵振峰 《测绘学报》2022,51(1):1-8

随着5G/6G、云计算、物联网和人工智能等新技术的发展,人类已经进入了万物互联时代。本文探讨万物互联时代地球空间信息技术的五大特点：定位技术从GNSS和地面测量走向无所不在的定位导航定时（PNT）服务体系;遥感技术从孤立的遥感卫星走向空天地传感网络;地理信息服务从地图数据库为主走向真三维实景和数字孪生;3S集成从移动测量发展到智能机器人服务;学科研究范围从对地观测走向物联监测和对人类活动的感知。笔者基于这些特点进一步剖析新时代面临的挑战,并提出新时代地球空间信息学发展亟待解决的三大科学技术问题：测绘学科如何服务人与机器人的共同需求？遥感影像解译的机理是什么和如何突破实现技术的瓶颈？如何利用时空大数据挖掘人与自然的关系,从空间感知走向空间认知？万物互联时代的地球空间信息学,必须且完全可能为万物互联的数字地球和智慧社会做出更大的贡献！  相似文献   

时空遥感云计算平台PIE-Engine Studio的研究与应用   总被引：1，自引：0，他引：1  

程伟  钱晓明  李世卫  马海波  刘东升  刘富乾  梁军龙  胡举 《遥感学报》2022,26(2):335-347

随着遥感大数据时代的到来,为快速处理和分析海量遥感数据,国内外涌现了众多遥感云计算平台,使得全球尺度、长时间序列遥感数据的快速分析和应用成为可能。本文在分析国内外遥感云计算平台现状的基础上,针对大数据时代国内缺少功能完备的遥感云计算平台,且国外遥感云计算平台对国产卫星数据支持不足等问题,基于容器云技术,构建了包含国产卫星数据且集数据、算力和技术于一体的时空遥感云计算平台PIE（Pixel Information Expert）-Engine Studio,实现了脚本驱动的遥感数据的按需获取以及海量数据的快速处理。采用Landsat 8数据,以生长季植被指数NDVI（Normalized Difference Vegetation Index）的计算为例,对比了本平台与GEE（Google Earth Engine）的数据处理能力。结果表明,由于计算资源的限制,本平台的计算和导出时间均比GEE稍长,但计算结果的空间分布一致,其中近68%的值均分布在（0.48,0.77）,且二者差值的95.33%集中在（-0.13,0.13）,结果较为可信。因此,本文构建的基于共享、开放的中国自主遥感云计算平台PIE-Engine Studio,可为地球科学领域的研究提供数据和算力支持,将有助于推进中国遥感云计算平台的发展进程,推动国产卫星数据在云计算平台上的应用。  相似文献   

沉积岩平行层面与垂直层面方向热导率与孔隙连通性之间的关系     

龚建洛  张金功  惠涛  黄传卿  张林晔  孙志刚  陈晓军 《吉林大学学报(地球科学版)》2014,(6):1789-1797

根据对渤海湾盆地沾化凹陷泥质岩、粉砂岩、砂岩和白云岩平行层面与垂直层面方向热导率差异及孔隙连通性差异特征的研究,探讨了沉积岩平行层面与垂直层面方向热导率与孔隙连通性之间的关系。热导率实验结果表明:沾化凹陷泥质岩、粉砂岩和砂岩的平行层面方向热导率大于垂直层面方向热导率;白云岩的平行层面方向热导率小于垂直层面方向热导率。沉积岩平行层面与垂直层面方向热导率差异和孔隙连通性差异之间具有正相关性。孔隙特征分析结果表明:孔隙连通性较好方向,热导率也较高;孔隙连通性较差的的方向,热导率也较低。  相似文献   

双巷三维并行电法数值及物理模型试验研究     

张成乾  杨伐  谭磊  吴荣新  张平松 《中国煤炭地质》2014,(6):60-62,68

电法勘探是一种以研究地下探测目标体与周围介质之间的电性差异的地球物理探测方法,通常采用的二维电法勘探只能得到一条垂直于测线的视电阻率剖面,如果不能确定测线位置正好在异常体的正上方,这时就难给出较准确的结论。三维电阻率法采集数据量大,可获得三维电性数据体,而且可方便地根据需要实现水平及垂直切片,有着二维电法探测不能比拟的优点,实现对目标体的准确定位及全面透视。通过对构建的三维地质模型体进行数值模拟和物理模拟,表明双巷并行三维电法对地质异常体可以进行有效的探查并获得良好的探测效果。  相似文献   

Structural analysis of the Lombard thrust sheet and adjacent areas in the Helena salient,southwest Montana,USA     

《Journal of Structural Geology》2014

The Helena salient is a prominent craton–convex curve in the Cordillera thrust belt of Montana, USA. The Lombard thrust sheet is the primary sheet in the salient. Structural analysis of fold trends, cleavage attitudes, and movement on minor faults is used to better understand both the geometry of the Lombard thrust and the kinematic development of the salient.Early W–E to WNW–ENE shortening directions in the Lombard sheet are indicated by fold trends in the center of the thrust sheet. The same narrow range of shortening directions is inferred from kinematic analysis of movement on minor faults and the orientations of unrotated cleavage planes along the southern lateral ramp boundary of the salient. As the salient developed, the amount and direction of shortening were locally modified as listric detachment faults rotated some tight folds to the NW, and as right-lateral simple shear, caused by lock-up and folding of the Jefferson Canyon fault above the lateral ramp, rotated other folds northeastward. Where the lateral ramp and frontal-oblique ramp intersect, folds were rotated back to the NW. Our interpretation of dominant W–E to WNW–ESE shortening in the Lombard sheet, later altered by local rotations, supports a model of salient formation by primary parallel transport modified by interactions with a lateral ramp.  相似文献   

关于云安全问题的探讨     

龚强  ;朱力维 《东北测绘》2014,(4):1-2

云计算面临的最大挑战是安全问题。云计算应用的无边界性、流动性等特点,较之传统的IT模式有很大差异。在云计算环境下,服务方式发生变化,安全的责任主体也发生了根本改变。作为云计算服务提供商,需要建立安全的云计算平台,为云安全服务提供保障;同时,服务一定是开放的、安全的,要保护云用户敏感信息的安全。整合桌面安全管理技术是行之有效的。云安全应用研究主要是从云计算平台系统安全和网络安全设备、安全基础设施的“云化”突破几个方面展开。  相似文献