深部地质钻探钻进过程流式大数据分析与动态预处理——以辽宁丹东3000 m科学钻探工程为例          下载免费PDF全文

甘超  曹卫华  王鲁朝  吴敏 《探矿工程》2022,49(4):1-7

深部地质钻探钻进过程数据价值密度低,传统方法难以在钻中流式大数据条件下有效去除尖峰、毛刺等各类钻进过程数据噪声。本文提出一种深部地质钻探钻进过程流式大数据分析与动态预处理方法,并成功应用于辽宁丹东3000 m科学钻探工程。首先,深入分析过程工艺和数据处理需求,建立深部地质钻探钻进过程流式大数据分析与动态预处理框架结构;然后,运用限幅滤波结合过程数据分布特征、司钻/机长人工操作经验去除过程数据中的离群值;接着,引入滑动窗口策略对流式钻进大数据进行动态处理,在每个窗口中运用Savitzky Golay滤波进一步提升数据质量。仿真实验和工程应用结果验证了本文方法具有很好的工程适用性和有效性。  相似文献   

地质非结构化数据研究战略——以JPG图件为例     

崔宁  陈建平 《地质通报》2015,34(7):1365-1368

从大数据时代背景出发,提出研究地质非结构化数据的战略意义。通过分析地质数据的特点,发现其大数据性。以JPG图件为例,展开国内外研究现状分析和行业应用分析。最后通过分析地质JPG图件数据的使用情况,提出地质JPG图件数据战略规划。  相似文献   

大数据环境下数字填图数据集成服务技术   总被引：4，自引：0，他引：4  

李丰丹  李超岭  吴亮  李健强  吕霞 《地质通报》2015,34(7):1300-1308

应用数字填图技术形成了大量地质填图图幅数据,这些数据空间结构化和非结构化特征并存,如何在网络环境下提供高效的数据服务是急需解决的一个难题。大数据技术的发展为数字填图、数据集成服务提供了一种新的途径。通过对数字填图数据特征的分析,在研究地质调查信息网格大数据处理框架的基础上,提出了结构化和非结构化数据相结合的有序化组织管理、发布与服务方法,并对关键技术进行了研究与试验,取得了良好的效果。  相似文献   

大数据与地质资料信息服务:需求、产品、技术、共享   总被引：4，自引：0，他引：4  

王翔  李景朝  陈辉  茹湘兰  范海明  郑啸  梁婉娟 《地质通报》2015,34(7):1309-1315

地质工作需加强成果服务水平、扩大服务范围、转变服务方式,开展地质资料信息大数据服务迫在眉睫。以地质资料信息服务为主线,需求、技术、共享为分支,开展新形势下地质调查成果深层分析,研究地质调查成果体系建设方案,对需求转换方式、地质产品理论实践研究、地质成果共享等进行详细论述,充分研究地质大数据思想下的地质资料信息服务。  相似文献   

大数据背景下的国家地质信息服务系统建设   总被引：5，自引：2，他引：3  

郑啸  李景朝  王翔  梁婉娟 《地质通报》2015,34(7):1316-1322

探讨大数据背景下建设国家地质信息服务系统的相关问题。结合典型的云计算构架给出国家地质信息服务系统的概念模型。从地质信息特点角度讨论了地质数据资源整合的相关问题。结合中国地质调查局系统、地质相关行业、地质相关单位部门现状,讨论系统节点建设与节点对接问题。对比发达国家地质调查局提供信息服务的新特点,提出基于大数据的国家地质信息服务系统如何助推地质信息共享,资料数据服务与信息知识服务并重,服务于国家建设与社会经济发展的问题。  相似文献   

浅析大数据对测绘保障的影响     

张伟  李海岗  岳耀  李峰 《测绘与空间地理信息》2015,(8)

通过对大数据时代的特点进行分析,结合实际从测绘保障的方式、职能、方法等方面进行剖析,总结了大数据时代测绘保障的重点,目的是探索大数据时代测绘保障的新方向,为提高测绘保障服务奠定基础。  相似文献   

大数据对人文—经济地理学研究的促进与局限   总被引：15，自引：7，他引：8  

杨振山  龙瀛  Nicolas DOUAY 《地理科学进展》2015,34(4):410-417

大数据技术的诞生不仅快速推动着社会的进步,而且也将科学研究不断引向新的高度。以人类社会经济活动为主要研究对象的人文—经济地理学与当前大数据建设和发展趋势具有高度一致性,大数据的发展对丰富和完善人文—经济地理学势必起到积极的推动作用,同时也对人文—经济地理学的学科思维和研究方法提出了新的挑战。梳理和分析了目前大数据在人文—经济地理学主要研究领域,包括城市内部空间研究、交通与消费行为、社会空间与社会网络研究中的最近进展,以及大数据对参与式研究和决策平台的作用。着重剖析了大数据对人文—经济地理学数据获取,研究思维与范式,研究内容、研究时空尺度与研究目标等方面的促进作用与存在问题,特别是由于大数据自身发展的不完善,在数据收集特别是数据属性方面还存在很大的局限,缺乏理论基础将会使得大数据与实际应用受到很大限制,同时,数据本身也不能替代研究者思维和决策过程。因此,人文—经济地理学者应该科学对待大数据所带来的机遇,弥补和丰富以往发展中的短板,即完善学科数据建设、建立大数据应用较为完善的研究方法体系,促进跨域数据整合和跨域研究,以及推进研究对象和研究目的的转变。  相似文献   

一种适用于大角度的三维坐标转换参数求解算法     

姚宜斌  黄承猛  李程春  孔建 《武汉大学学报(信息科学版)》2012,37(3):253-256

针对传统的三维基准转换模型局限于求取小角度的三维基准间转换参数的缺点,提出了一种适用于大角度的三维基准转换参数求解模型。利用实测数据和模拟数据对此模型进行了验证,结果表明,所提出的算法适用于任意角度的三维基准转换,既可利用传统的最小二乘方法估计坐标转换参数,又可利用整体最小二乘方法进行参数求解,可靠性高,解算速度快。  相似文献   

基于时空大数据的粤港澳大湾区城镇群结构研究     

吴冠秋  党安荣  田颖  阚长城 《遥感学报》2021,25(2):665-676

粤港澳大湾区是中国重点建设的战略区域,其协同结构的有效认知是打造世界级湾区的核心研究内容。作为一种重要的城镇群发展模式,大湾区内部具有复杂的城镇协同关系,这一关系充分体现在城镇间的人群流动特性上,而跨城职住迁徙是区域人口流动的一种直观、稳定的表现,基于高精度跨城职住迁徙数据开展湾区协同结构的认知意义显著。文章在总结归纳国内外湾区协调发展研究、跨城职住综合应用研究的基础上,基于百度地图所识别的跨城职住时空大数据开展了粤港澳大湾区协同认知方法的研究与实践。研究构建了跨城职住交换网络,以统计单元为网络节点、以交换流量为连接权重,从加权连入连出度占比、加权中心度、迁徙平均距离3个方面认知跨城职住关系。研究进一步结合经济数据展开城镇群协同关系的聚类分析,将大湾区内各空间单元归纳为交流中心单元、优势单元及其特例、待发展单元、输出型单元、输入型单元6类。研究结果发现,当下粤港澳大湾区构建了广州—佛山、中山—珠海、深—莞—惠3处交换结构异质性组团,多中心发展结构明显。同时湾区协同不均衡的问题仍然存在,各类协同特征单元呈显著的圈层结构分布,东西岸城镇交换关系差异明显。最后,本文结合大湾区区域综合结构特征以及大湾区相关规划政策空间布局特征,阐述了大湾区内城镇群结构的发展状态、发展问题以及未来方向。指出未来粤港澳大湾区的发展需要进一步加强多中心协调机制优势,解决区域内东强西弱、周边滞后、核心北移等结构问题。梳理各类单元间的合作模式,强化协同网络中优势空间单元的贡献程度,巩固交流中心单元的参与程度,避免极核同周边形成单向的输入输出,充分利用广阔的湾区腹地促进区域功能的循环与互补,以期为粤港澳大湾区的协同发展提供支持。  相似文献   

基于微服务架构的地震站网全流程一体化监控平台设计与实现     

王坦  师宏波  黄经国  王军  韩宇飞  代光辉  刘艳琼  姬运达  杨陈  祝杰  王东孝 《地震地磁观测与研究》2021,42(3):276-283

地震站网全流程一体化监控平台是基于微服务框架,应用数据库、通信、并行计算等传统信息技术,结合新兴的云计算、大数据进行建设的信息服务平台。该平台采用Hadoop分布式处理方案,应用Spring Cloud框架搭建,进行Docker容器封装,以标准RESTful API作为服务接口的微服务架构,实现了各应用服务模块之间的高内聚、低耦合及灵活、可扩展的特性,最终实现对地震台站运行的实时监测、高效运维和一体化管理。  相似文献