共查询到17条相似文献，搜索用时 437 毫秒
1.
随着计算机、互联网和计算技术的迅猛发展,人类已经进入大数据时代,大数据也将改变人们对自然的理解和认知方式,改变科学研究的思想和方法,成为科学研究的新引擎。大数据体量之大并非其必要条件,通过对大量数据的挖掘,研究问题并做出正确决策才是大数据的精髓所在。大数据可以在社会各个领域广泛使用,大数据是通过对大量数据的分析研究问题、做出决策,这样一个概念、一种思想同时也是一种研究方法。大数据带给我们3 个颠覆性的观念改变：大数据研究的对象是全部数据（全样本,全变量）取代传统统计学的随机抽样;大数据研究的方法、手段是查明数据间相关关系取代传统的追求因果关系的研究方法;大数据研究的特点是取向高概率做出决策取代追求精确无误。因此,大数据的研究结果更加真实、有效、精确。 相似文献
2.
3.
通过查明数字间的相关关系,研究、解决地质问题的大数据研究思想和方法,已被越来越多的地质工作者接受并应用。文中应用大数据思想、方法对甘肃省西秦岭地区1∶20万区域水系沉积物测量数据进行深度挖掘,构建起"基于化探信息的区域Au找矿靶区定量优选系列模型"。系列模型不但对研究区Au找矿靶区做出了精确的定量预测(经随机抽样查证,在1/3的预测靶区发现Au矿化),同时获得了与Au成矿地球化学理论结果高度一致的元素组合,并且对各元素在找矿靶区预测模型中的重要程度做出定量评价,为进一步研究矿床成因和控矿条件提供了定量依据。该研究结果充分说明海量数据信息中隐藏着极大的潜能,依据地质大数据的思想和定量研究方法就能将其充分地挖掘出来。同时这也充分证明了通过"查明数据间的相关关系取代分析事物因果关系"开展地质研究、找矿靶区定量优选的可行性和必要性。 相似文献
4.
地质领域机器学习、深度学习及实现语言 总被引：4，自引：2，他引：2
地质大数据正在以指数形式增长。只有发展智能数据处理方法才有可能追上大数据的超常增长。机器学习是人工智能的核心,是使计算机具有智能的根本途径。机器学习已成为地质大数据研究的前沿热点,它将让地质大数据插上翅膀,并因此改变地质。机器学习是一个源于数据的模型的训练过程,最终给出一个面向某种性能度量的决策。深度学习是机器学习研究中的一个重要子类,它通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。卷积神经网络算法是最为常用的一种深度学习算法之一,它广泛用于图像识别和语音分析等。Python语言在科学领域的地位占据着越来越重要。其下的Scikit-Learn是一个机器学习相关的库,提供有数据预处理、分类、回归、聚类、预测、模型分析等算法。Keras是一个基于Theano/Tensorflow的深度学习库,可以应用来搭建简洁的人工神经网络。 相似文献
5.
通常认为,人们认识世界,进行科学研究有两种方法,即归纳法和演绎法。实际上应当有4种方法,另外两种是最近才崭露头角的,一种是证伪法（不到100年的历史）,另一种是大数据法（几十年的历史）。归纳是从特殊到一般,演绎是从一般到特殊,证伪是批判,大数据是第四科学范式。休谟和波普尔都对归纳法提出质疑,指出归纳法不可能从特殊到一般。为此,波普尔提出证伪的方法和知识增长的四段图式,波普尔认为,证伪是知识增长的核心,没有经过证伪的理论只是猜测,只有经过证伪的检验,猜测才可能具有理论的属性。归纳法有问题,但是,人们又须臾离不开它。波普尔否定了归纳法,但是,没有给出解决的方案。本文经过思考认为,采用“归纳 + 大数据”的方法可以解决这个问题。既然特殊不可能达到一般,那就想办法使特殊变为一般。方法是加上大数据：“归纳 + 大数据”,可能就解决了归纳法的天然不足,挽救了归纳法,使归纳法换发出青春。
科学研究遇到的瓶颈告诉我们,大数据不是可有可无的。采用“归纳 + 大数据”方法,即可使归纳法的“特殊性”加上大数据方法的“全局性”从而达到一般。用这种互证互补的效应既避免了归纳法的局限性,又可以加速科学研究进程。本文指出,我们现在的科学研究方法基本上采用的是实证主义的方法,这种状况急需改变。在当今的量子时代、现代科学阶段,大数据方法已经应用于很多领域,本文提出在科学研究中强调采用证伪的方法,增加大数据（尤其全数据）方法,是新的科学研究思路,也是科学探索道路上新的尝试。 相似文献
6.
《矿物岩石地球化学通报》2017,(6)
人们认识世界的方法有两种:演绎法和归纳法。演绎法是从普遍性结论或一般性事理推导出个别性结论的论证方法,演绎推理的主要形式是三段论法。归纳法与演绎法相反,是从个别事实归纳出普遍性结论的方法,是从个别事实概括出一般原理的思维方式。大数据方法不同于上述方法,大数据的本质是用海量数据代替少量样本,用混杂数据代替精确数据,用相关关系代替因果关系。由此引发的宏观性和直接性是传统的认识方法所难以完全替代的。大数据方法是科学方法论的一个划时代的变革,是继演绎法和归纳法之后人类认识和改造世界的第3种工具。大数据研究的结果具有真理性和预测性,是大数据研究的热点和核心。 相似文献
7.
在大数据蓬勃发展的时代背景下,矿产资源定量预测作为地质大数据的核心部分,其综合分析挖掘多元信息的基本思路与大数据的理念不谋而合。以四川拉拉铜矿为例,开展基于机器学习的三维矿产资源定量预测。通过建立三维地质模型,提取成矿有利信息,构建研究区定量预测模型;基于"立方块预测模型"找矿方法,采用机器学习随机森林算法,计算出研究区成矿概率分布,以此圈定出5个找矿远景区。结果表明,随机森林具有更高的预测准确度与稳定性,且能够对控矿要素重要性做出定量评价。该研究成功地将机器学习应用于三维矿产定量预测,为今后的矿产资源预测评价做出了积极的探索。 相似文献
8.
机器学习，特别是深度神经网络学习算法的发展，正在改变人们发现知识的方式。目前油气工业正在向转向非常规和深海的油气勘探和开发。基于有限岩石物理参数建立的评价解释模型难以满足反映非常规储层复杂的岩性和结构，这使传统测井评价技术受到了很大的挑战。以油气大数据为基础、机器学习算法为核心、油气大数据云计算为动力以及油气应用场景为源泉的油气人工智能（Oil&Gas AI）极大地改变传统的油气工业各个领域。笔者以地球物理测井为研究对象，依据数据驱动的地球物理知识发现原理和机器学习属性，按照“数据–算法–平台–知识–应用场景”研究思路，开展机器学习算法在测井技术中的适用性研究。对机器算法的内在特性、原理、质量控制、硬件要求，学习模型选择、测试以及性能评价实现过程进行分析。笔者梳理和总结了机器学习算法在测井中适用性的树状图，尤其是在油气测井的方法研究、数据处理以及地层评价中的应用潜力与机器学习算法对应关系，其中包括数据校正的模拟方法、数据标定的岩石物理分析、测井数据质量控制、综合评价以及油藏评价监测。研究表明，机器学习算法在岩性识别与储层分类、力学评价、以及油藏评价等方面应用有明显的优势，贯穿于... 相似文献
9.
论地质研究中的因果关系和相关关系——大数据研究的启示 总被引：4，自引：3，他引：1
我们对大数据两年多来的研究表明,大数据是一个非常有效的方法。一直以来,人们都是通过因果关系来认识世界的;而大数据不是,大数据是从数据出发,挖掘数据之间的相关关系,从而提升数据的价值。例如在矿床学研究中,人们往往过分关注矿床的成因,关注成矿与岩浆、流体与岩体之间的因果关系。实际上,流体与岩体、矿床与岩浆之间主要不是因果关系而是相关关系。早先的玄武岩构造环境判别图几乎都是按照因果关系的思路设计的,虽然取得了一定的效果但并不完美。我们采用大数据方法对全球全体玄武岩和安山岩的数据进行挖掘,取得了极佳的效果,主要依据的是元素之间的相关关系而非因果关系。多少年来,人们在科学研究的实践活动中习惯于对因果关系的追求。现在,科学的发展要求我们更加重视数据之间的相关关系,从对因果关系的追求转变为对相关关系的追求。实践表明,追求因果关系不可避免人为因素的干扰,而大数据方法挖掘数据之间的相关关系,在很大程度上避免了人为因素的干扰,因此,大数据的结果是真实可靠的。 相似文献
10.
《地质通报》2020,(7)
地质图是一个区域地质研究的重要成果,也是前人留下的宝贵资料,更融合了地质专家的丰富知识。本研究的目的是通过新的思路将彩色地质图信息提取出来,使其结果能直接进行数据分析,并用于决策和分析。以机器学习为指导,在分析半结构化(栅格)地质图特征的基础上,根据图例信息,提出一种彩色地质图信息提取新思路,对彩色地质图进行分层信息提取,并结合数学形态学和多层前向反馈式神经网络,探索半结构化数据转换为结构数据的有效技术方法。利用图像信息提取技术将半结构化地质图转化为结构化数据,可用于成矿预测等研究。这一变化将改变传统地质数据的结构,地质研究的信息基础和来源将会增加,对于获取更多的数据源和信息源,进一步开展地质分析研究具有重要意义。 相似文献
11.
12.
数据预处理技术在地学大数据中应用 总被引：3，自引：2，他引：1
大数据时代随着数据的爆发式增长,在带来可供研究的海量数据的同时,也带来巨量的噪声和冗余数据。在地学领域,由于研究方向和技术方法手段的多样化,产生了数据量巨大和类型众多的地学数据集合。在地学信息的研究过程中,经常碰到地学信息孤岛,分图幅地学数据边界系统误差和地学文档的非结构化问题。在对地学数据进行信息的提取和挖掘之前,必须根据研究目的对地学大数据进行预处理,使冗余、复杂的大数据转为结构化、准确、可用的数据。本文以地学大数据的预处理技术为切入点,从地学数据交互标准与语义、数据调平、地质图接边和文本结构化等四个研究方面,分析阐述目前地学大数据挖掘方面存在的问题及主要的解决手段,同时也对多元数据融合在大数据中的应用进行了阐述。希望通过本文对地学大数据预处理技术的探讨,能对地学大数据的挖掘有所帮助。 相似文献
13.
本文针对目前国内大数据研究的现状,着重分析了在地球科学领域大数据研究落后的原因,指出大数据正在引发地球科学领域一场深刻的革命,大数据的关键不在于数据的大,而且在于思维的新;从数据出发,让数据说话,依靠人工智能方法,让机器学习、深度学习、可视分析等大数据技术逐步成为必需。利用大数据方法研究玄武岩构造环境判别图以及中新世岩浆事件的意义所取得的成果即是极佳的研究范例。文中指出,面向未来,大数据对于地球科学界来说,决不是可有可无的,它将创造奇迹。大数据作为第四科学范式的研究领域十分宽广,它将改变地球科学家的思维方式,从逻辑思维方式转变为由数据驱动的关联思维方式,文中呼吁科学界对大数据给予更多的关注和支持。 相似文献
14.
大数据与数学地球科学研究进展——大数据与数学地球科学专题代序 总被引：12，自引：9，他引：3
大数据与数学地球科学的核心应用技术包括高维数据降维、图像数据处理、无限数据流挖掘、机器学习、关联规则算法与推荐系统算法等。人工智能地质学,包括大数据-智能矿床成因模型与找矿模型的构建,是具有重要价值的研究方向。高维数据降维旨在从初始高维特征集合中选出低维特征集合,有效地消除无关和冗余特征,增强学习结果的易理解性。哈希算法、聚类分析、主成分分析等是较常用的数学降维工具。机器学习是人工智能的核心,是使计算机具有智能的根本途径。机器学习与人工智能各种基础问题的统一性观点正在形成。深度学习的训练模型往往需要海量数据作为支撑,因此迁移学习方法日益受到重视。图像模式识别是大数据挖掘的重要技术。网络中的社区结构识别对理解整个网络的结构和功能有重要价值,可帮助分析、预测网络各元素间的交互关系。沉浸式虚拟现实技术是实现大数据可视化的重要方向,对具有多元、异构、时空性、非线性、多尺度地质矿产勘查数据的展示要求有特别的价值。引入VR技术进行矿产地质大数据的可视化,可实现大数据时代矿产勘查数据的新认知。无限数据流在地质、地球化学、地球物理监测中大量存在,甚至可以持续自动产生。对数据流数据的计算包括对点查询、范围查询、内积查询、分位数计算、频繁项计算等。关联规则和推荐系统算法是大数据挖掘中的重要算法,其应用范围越来越广泛。贝叶斯原理在大数据时代有独特的价值,贝叶斯网络是成因建模的一个革命性工具。智能地质学研究刚刚起步,构建大数据-智能矿床成因模型与找矿模型是智能地质学研究的重要内容。矿床模型研究方式的变革,将出现于互联网、云计算技术环境下全球各地的矿床研究团队的共同参与。 相似文献
15.
地球科学领域处在信息科学与信息化社会时代,基于大数据战略驱动的现代地球科学正在蓬勃兴起.诞生于近代的地球化学具有天然的结构化信息科学属性.提出建立从信息化、模式化到智能化的地球化学大数据信息科学应用研究总体思路,即基于地球化学大数据首先建立信息化系统,运用地球系统科学方法理论建立成矿地球化学分带富集模式与生态地球化学累... 相似文献
16.
17.
Shuo Zheng Yu-Xin Zhu Dian-Qing Li Zi-Jun Cao Qin-Xuan Deng Kok-Kwang Phoon 《地学前缘(英文版)》2021,12(1):425-439
Various uncertainties arising during acquisition process of geoscience data may result in anomalous data instances(i.e.,outliers)that do not conform with the expected pattern of regular data instances.With sparse multivariate data obtained from geotechnical site investigation,it is impossible to identify outliers with certainty due to the distortion of statistics of geotechnical parameters caused by outliers and their associated statistical uncertainty resulted from data sparsity.This paper develops a probabilistic outlier detection method for sparse multivariate data obtained from geotechnical site investigation.The proposed approach quantifies the outlying probability of each data instance based on Mahalanobis distance and determines outliers as those data instances with outlying probabilities greater than 0.5.It tackles the distortion issue of statistics estimated from the dataset with outliers by a re-sampling technique and accounts,rationally,for the statistical uncertainty by Bayesian machine learning.Moreover,the proposed approach also suggests an exclusive method to determine outlying components of each outlier.The proposed approach is illustrated and verified using simulated and real-life dataset.It showed that the proposed approach properly identifies outliers among sparse multivariate data and their corresponding outlying components in a probabilistic manner.It can significantly reduce the masking effect(i.e.,missing some actual outliers due to the distortion of statistics by the outliers and statistical uncertainty).It also found that outliers among sparse multivariate data instances affect significantly the construction of multivariate distribution of geotechnical parameters for uncertainty quantification.This emphasizes the necessity of data cleaning process(e.g.,outlier detection)for uncertainty quantification based on geoscience data. 相似文献