A machine learning approach for predicting computational intensity and domain decomposition in parallel geoprocessing     

Peng Yue  Fan Gao  Boyi Shangguan  Zheren Yan 《International journal of geographical information science》2020,34(11):2243-2274

ABSTRACT

High performance computing is required for fast geoprocessing of geospatial big data. Using spatial domains to represent computational intensity (CIT) and domain decomposition for parallelism are prominent strategies when designing parallel geoprocessing applications. Traditional domain decomposition is limited in evaluating the computational intensity, which often results in load imbalance and poor parallel performance. From the data science perspective, machine learning from Artificial Intelligence (AI) shows promise for better CIT evaluation. This paper proposes a machine learning approach for predicting computational intensity, followed by an optimized domain decomposition, which divides the spatial domain into balanced subdivisions based on the predicted CIT to achieve better parallel performance. The approach provides a reference framework on how various machine learning methods including feature selection and model training can be used in predicting computational intensity and optimizing parallel geoprocessing against different cases. Some comparative experiments between the approach and traditional methods were performed using the two cases, DEM generation from point clouds and spatial intersection on vector data. The results not only demonstrate the advantage of the approach, but also provide hints on how traditional GIS computation can be improved by the AI machine learning.  相似文献   

成矿预测:从二维到三维   总被引：1，自引：0，他引：1  

袁峰  张明明  李晓晖  葛粲  陆三明  李建设  周宇章  兰学毅 《岩石学报》2019,35(12):3863-3874

随着矿产资源勘探方法以及计算机科学技术的不断发展,成矿预测的理论和方法已从定性发展至定量,从二维拓展到三维。近十年来,随着深部矿产资源勘探工作的推进,三维成矿预测研究得到了迅猛发展,相关理论与方法也已逐步走向成熟。本文总结了国内外二维成矿预测研究的现状,同时对近十年来国内外学者在三维地质建模技术、三维成矿预测方法等方面的主要成果和进展做了系统总结和分析。目前,国内外多个地区已相继开展了三维成矿预测工作,并成功圈定多个深部找矿靶区,相关成果为深部找矿勘探工作提供了新的方法和方向。在此基础上,本文对未来三维成矿预测的发展趋势进行展望,相较于传统的二维成矿预测,三维成矿预测往往受限于三维预测信息的缺乏。如何更好的挖掘二维数据在深度方向的指示能力,将二维数据推演至三维环境,利用数值模拟、机器学习等方法开展数据挖掘、充分发挥已有数据的内蕴信息将在未来推动三维成矿预测理论的深入发展,提高三维成矿预测的理论方法及应用实践水平。  相似文献   

基于EEMD和ARIMA的海温预测模型研究          下载免费PDF全文

张莹  谭艳春  彭发定  廖杏杰  余昱昕 《海洋学研究》2019,37(1):9-14

类型丰富、时空分辨率高的海洋探测数据,为信号分解和机器学习算法的应用提供了可能。本文针对如何建立有效的海温预测模型这一问题,使用高时空分辨率的海表温度(SST)融合产品,引入信号处理领域的集合经验模态分解(EEMD)和机器学习领域的自回归积分滑动平均模型(ARIMA)。首先利用最适于分解自然信号的EEMD方法,将海温数据分解成多个确定频率的序列;再利用ARIMA分别对各个频率的序列进行预测,最后将各个序列的预测结果进行组合。该方法在丰富数据的支撑下,比以往直接使用海温数据所建立的预测模型精度更高,为更好地进行海温预测提供了新方法。  相似文献   

基于深度卷积神经网络的剪切波分裂质量检测     

张彭达  戴志阳  查显杰 《中国地震》2020,36(3):539-549

剪切波分裂是分析地震各向异性的一种重要手段,常规方法是利用网格搜索获取分裂参数,再通过不同方法的测量结果对比测量结果进行质量检测,这一过程会耗费大量计算时间。本文针对这一问题提出了一种利用深度卷积神经网络对剪切波分裂进行质量检测的新方法,对使用了Resnet残差结构的深度神经网络进行训练,直接对二分量剪切波波形数据的质量进行分类。整个过程为:神经网络通过卷积层提取波形特征,计算损失函数后反向传播训练模型参数,完成迭代训练后的模型对输入波形数据正向计算自动输出类型。本文利用川西台站接收到的实际数据以及随机生成的合成数据分别对该网络进行训练,均可以获得准确的分类结果。相比于通过多种剪切波分裂方法对比测量结果的质量检测方法,基于神经网络的方法可以省略网格搜索的计算过程直接判断质量类型,在运算速度上的优势明显,并可继续通过训练提高模型的精度,为提升剪切波分裂方法在数据处理过程中的操作效率提供帮助。  相似文献   

西南三江碰撞造山带沉积岩容矿Pb-Zn-Ag-Cu贱金属复合成矿与深部过程     

毕献武  唐永永  陶琰  王长明  胥磊落  戚华文  兰青  木兰 《岩石学报》2019,35(5):1341-1371

西南三江特提斯造山带中新生代沉积盆地中(沱沱河、玉树、昌都和兰坪-思茅地区)发育包括金顶超大型铅锌矿床在内的一系列以沉积岩容矿的Pb-Zn-Ag-Cu贱金属矿床,构成长达千余千米的青藏高原东缘贱金属成矿带。作为大陆碰撞环境成矿谱系的重要矿床类型,加强这些矿床的理论研究对提高和完善大陆碰撞造山成矿理论和指导找矿勘查等具有重要意义。已有研究表明这些Pb-Zn-Ag-Cu矿床的分布受盆地形成后新生代大型逆冲推覆-走滑构造控制,其容矿岩石和成矿作用特征与SEDEX和MVT矿床存在明显的差异,矿床成矿流体表现出多来源混合的特征,成矿与深部过程密切相关。尽管取得重要进展,但由于缺乏高精度年代学数据制约,成矿动力学背景及其与碰撞造山的时空联系存在较大争议。一些矿床的研究显示复合成矿迹象,但是复合成矿过程与深部驱动等问题仍不清楚。近年来我们以兰坪和昌都盆地的Pb-Zn-Ag多金属矿床和Cu多金属矿床为重点研究对象,系统开展了成矿年代学、成矿流体源-运-储系统和复合成矿机制以及深部过程对成矿制约等方面研究。结果表明,兰坪盆地西缘Cu(Mo)多金属矿床主要形成于48～58Ma,兰坪和昌都盆地Pb-Zn-Ag多金属矿床主要形成于27～33Ma。成矿流体表现出明显的多来源混合的特征,主要存在三种类型:1)变质流体与盆地卤水或大气降水复合成矿,以金满-连城Cu矿床为代表; 2)盆地卤水与大气降水复合成矿,以金顶Pb-Zn矿床为代表; 3)盆地卤水和岩浆流体复合成矿,以拉诺玛Pb-Zn-Sb矿床为代表。兰坪盆地西缘Cu矿床主要形成于新生代印度-欧亚大陆主碰撞挤压阶段,与成矿密切相关的变质流体可能来源于陆-陆碰撞俯冲引起的高压变质。Pb-Zn矿床主要形成于印度-欧亚大陆晚碰撞构造转换环境,构造挤压和造山隆起驱动盆地流体迁移,同期的岩浆活动主要为成矿提供热驱动力或成矿物质。  相似文献   

一种基于M估计的Robust-ELM滑坡位移预测方法     

高彩云  高宁 《大地测量与地球动力学》2019,39(2):153-157

采用传统ELM算法进行滑坡位移预测时，其网络输出权值由最小二乘估计得出，导致ELM抗差能力较差，从而造成网络训练参数不准确。为此，将M估计与ELM相结合，提出一种基于M估计的Robust-ELM滑坡变形预测方法。该方法利用加权最小二乘方法来取代最小二乘法计算ELM输出权值，以减少滑坡监测数据中粗差对ELM预测的干扰。分别以链子崖、古树屋滑坡体为例，将Robust-ELM进行了单维、多维粗差的抵御性验证。结果表明，该方法能够有效降低粗差对预测的影响，具有良好的抗差能力。  相似文献   

基于深度残差网络的机载LiDAR点云分类     

赵传  郭海涛  卢俊  余东行  张保明 《测绘学报》2020,49(2):202-213

机载LiDAR点云的分类是利用其进行城市场景三维重建的关键步骤之一。为充分利用现有的图像领域性能较好的深度学习网络模型,提高点云分类精度,并降低训练时间和对训练样本数量的要求,本文提出一种基于深度残差网络的机载LiDAR点云分类方法。首先提取归一化高程、表面变化率、强度和归一化植被指数4种具有较高区分度的点云低层次特征;然后通过设置不同的邻域大小和视角,利用所提出的点云特征图生成策略,得到多尺度和多视角点云特征图;再将点云特征图输入到预训练的深度残差网络,提取多尺度和多视角深层次特征;最后构建并训练神经网络分类器,利用训练的模型对待分类点云进行预测,经后处理得到分类结果。利用ISPRS三维语义标记竞赛的公开标准数据集进行试验,结果表明,本文方法可有效区分建筑物、地面、车辆等8类地物,分类结果的总体精度为87.1%,可为城市场景三维重建提供可靠的信息。  相似文献   

基于随机森林的光子计数激光雷达点云滤波     

陈博伟  庞勇  李增元  卢昊  梁晓军 《地球信息科学学报》2019,21(6):898-906

新一代星载激光雷达卫星ICESat-2首次采用了微脉冲光子计数激光雷达技术,由于单光子探测的灵敏性导致数据在大气和地表下层产生了大量噪声,因此对光子计数激光雷达点云数据实现信号和噪声的分离是开展进一步应用研究的前提和基础。本文选择美国俄勒冈州和弗吉尼亚州2个研究区,采用MATLAS数据,根据光子点云数据的特点构造了12个光子点云特征,对所构造的特征利用随机森林进行变量筛选,用机器学习方法对光子点云进行分类,并将建立好的模型推广到整个研究区。研究结果表明,本文构建的分类器分类总精度达到了96.79%,Kappa系数为0.94,平均生产者精度和用户精度分别为97.1%和96.8%。在相对弱噪声、平坦地形区域和强噪声、复杂地形区域都取得较好的分类结果。本文结果显示了基于少量样本通过机器学习的方法构建模型,可以推广到较大范围区域的光子点云分类应用中。  相似文献   

基于超像元词包特征和主动学习的高分遥感影像变化检测     

杨进一  徐伟铭  王成军  翁谦 《地球信息科学学报》2019,21(10):1594-1607

为解决高分辨率遥感影像变化检测中存在底层特征缺乏语义信息、像元级的检测结果存在“椒盐”现象以及监督分类中样本标注自动化程度较低,本文提出一种基于超像元词包特征和主动学习的变化检测方法。首先采用熵率分割算法获取叠加影像的超像元对象;其次提取两期影像像元点对间的邻近相关影像特征（相关度、斜率和截距）和顾及邻域的纹理变化强度特征（均值、方差、同质性和相异性）,经线性组合作为像元点对的底层特征;然后基于像元点对底层特征利用BOW模型构建超像元词包特征,并采用一种改进标注策略的主动学习方法从无标记样本池中优选信息量较大的样本,且自动标注样本类别;最后训练分类器模型完成变化检测。通过选用2组不同地区的GF-2影像和Worldview-Ⅱ影像作为数据源进行实验,实验结果中2组数据集的F1分数分别为0.8714、0.8554,正确率分别为0.9148、0.9022,漏检率分别为0.1681、0.1868,误检率分别为0.0852、0.0978。结果表明,该法能有效识别变化区域、提高变化检测精度。此外,传统主动学习方法与改进标注策略的主动学习方法的学习曲线对比显示,改进的标注策略可在较低精度损失下,有效提高样本标注自动化程度。  相似文献   

Key Groundwater Control Factors of Deep Buried Coalfield by Landform and Sedimentation in the Northern Ordos Basin     

Jian Yang  Ji Liu  Hao Huang  Xiangyang Liang 《地球科学进展》2019,34(5):523-530

There were three landforms (i.e. desert, bedrock platform and loess gully) in deep-buried coalfield of northern Ordos Basin. Water inflow of working face in desert area was 1~2 orders of magnitude larger than that in other landform areas. In order to find out the key controlling factors of the directly water filled aquifers on the roof of the coal seam, we carried out research from the aspects of topography, landform and geological sedimentation. The results showed that desert landform provides abundant recharge water for underlying aquifers because of gentle topography, large precipitation infiltration coefficient, thick and water-rich quaternary system. While bedrock platform and loess gully landform were the water sources with weak recharge capacity of underlying aquifers. The sandstone-mudstone interbedding structure formed by continental deposits resulted in the absence of regional stable aquifers in Jurassic and Cretaceous strata on the roof of coal seams. Pumping tests of boreholes showed that all strata belong to weak to medium water-rich aquifers. The groundwater level of Cretaceous aquifer decreased by 20~130 m in three mines. There was a close hydraulic relationship between shallow and deep aquifers. The Mesozoic strata belonged to fluvial deposits. Qilizhen sandstone and Zhenwudong sandstone aquifers were mainly developed on the roof of the coal seam, which were characterized by thick medium-coarse sandstone sections. The geological and sedimentary conditions of direct water-filled aquifer were similar, but the amount of borehole water, cumulative pre-drainage water and water inflow from goaf in desert geomorphic area were much larger than those in bedrock platform and loess gully geomorphic area. The water-rich of the aquifer was mainly controlled by geomorphology, and the water sources of the deep aquifers were meteoric precipitation and Quaternary aquifer. In different mines with similar Quaternary conditions in Mu Us Desert, there were also great differences in the amount of borehole water, cumulative pre-drainage water and water inflow from goafs. The difference was related to the thickness and lithology of the aquifers. It reflected that the geological sedimentary conditions of the coal seam roof were also important factors to control the water-rich of the aquifers. Topography, landform and geological sedimentation were the key factors to control the water-rich of the aquifer directly and the water inflow from the working face.  相似文献