首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 609 毫秒
1.
城市地质数据存在"信息孤岛",打破"信息孤岛"实现数据融合是城市地质大数据建设的必然要求。因此,采用多源异构技术实现数据融合是十分必要的。多源异构数据集成方法是将结构化、空间、非结构化的城市地质数据按照统一的分类方式、统一的ETL标准、统一的存储模式和统一的调度方法在关系型、非关系型数据库中进行有效的存储和管理,其中涉及的关键技术包括用于多来源、多格式、多用途调查监测数据集成的结构化数据集成方法,用于不同介质、不同格式、不同标准成果资料集成的非结构化数据集成方法,以及用于存储多源异构城市地质数据的信息资源管理系统的建设方法。  相似文献   

2.
李潇  许飞青  于喆  韩征  李凯  郭亚杉  冒建 《城市地质》2021,16(4):381-390
北京市突发地质灾害监测预警系统功能覆盖了灾害调查、监测、分析、预警、应急管理工作的全流程.该系统在设计中采用了诸多关键技术:用基于地质要素分类的监测方法来解决单纯按对象分类监测方法而产生的数据使用局限问题;针对结构化、非结构化、空间的各类监测预警数据采用三重分类并分别集成的方法来解决地质信息系统普遍存在的多源异构数据存储利用的问题;用建立统一通讯规约的方法来解决设备数据接收和管理的问题;用分灾种、分时空精度、分方法建立预警模型库的方式来解决预警模型合理性、准确性和时效性的问题.  相似文献   

3.
开展三维地质建模的目标,不应当只是实现地质体框架的可视化表达,而应当同时实现地质大数据的聚合、管理、挖掘、分析和共享。然而,传统的方法和技术难以实现顾及地质语义的结构-属性一体化三维地质建模与耦合表达。多点地质统计学方法虽然便于多源数据、地质先验知识、结构-属性的融合建模,却仍然受到数据结构表达能力不足、三维训练图像难以获取和非平稳现象的限制。面向地质大数据集成与管理的要求,详细讨论了三维地质建模中的空间数据模型、基于多点地质统计学的结构-属性一体化集成建模方法、以及基于三维地质模型的地质大数据集成与管理的框架与模式。发展新型的面向地质结构-属性耦合表达的统一空间数据模型,以及知识驱动与数据驱动协同的三维地质结构-属性一体化集成建模技术体系,着力构建出地质大数据的聚合、集成、管理、挖掘和分析的可视化环境与操作平台,是未来三维地质建模领域的研究热点和前沿方向。  相似文献   

4.
随着传感器实时监测等高新技术在地质勘查或生产开发中的应用,形成了动态与静态并存、多源异构的地质时空大数据。然而,目前地质信息系统在地质数据组织管理方面,主要是静态地存储和表达出地质矿产勘查或生产开发在某个特定时期的状态,尚不能满足对勘查或生产开发过程中实时信息的存储管理,进而支持对地质过程的分析和研判。针对性开展了地质时空大数据表达与存储管理的数据模型研究,目标是能够融合数据多源与时空多维性,又能够支持时间关联与时间多粒性。针对地质大数据、地质过程的静态与动态数据紧密结合的特点,采用面向对象和基于事件的思想,提出了基于事件多因素驱动的地质时空大数据概念模型,并开展了相应的地质大数据存储管理逻辑模型、基于系统工程库的管理结构和地质时空对象管理模型设计。基于地质时空大数据逻辑组织管理模型和时空过程的非关系型分布式数据库架构,设计了地质大数据存储模型。融合三维地质建模技术、动态监测信息实时可视化等技术,构建了所需模型过程模拟的三维环境,通过绑定观测数据源,设计实现了基于OPC接口的模拟数据产生事件、作用对象响应的矿山动态开采流程。在王家岭煤矿首采区地质数据支持下开展了应用研究,实现地质时空事件条件下的矿山动态开采过程表达与数据管理,验证了本文模型的可行性和有效性。  相似文献   

5.
随着TB级乃至PB级地质矿产大数据时代的到来,地质大数据的存储难题一直困扰着地质界,传统的地质数据存储与服务模式面临诸多难题。结合Hadoop提出了一种新的基于云计算环境的地质矿产数据存储方法,将该方法与传统Oracle数据库存储方法进行了数据存储实验对比。实验结果表明,该存储方法比传统方法更高效,同时有效地解决了Hhadoop存储中出现的小文件存储问题。研究成果为地质矿产数据的存储与管理提供了一种新的管理方法。  相似文献   

6.
大数据背景下地质云的构建与应用   总被引:8,自引:3,他引:5  
陈建平  李婧  崔宁  于萍萍 《地质通报》2015,34(7):1260-1265
地质学属于数据密集型科学,并与地球科学面临的问题息息相关。已经收集的和将要收集的大量数字国土相关数据,由于科学研究的需要,正在不断加以检验和扩充。大数据时代背景下,中国国土资源数字化、信息化的战略行动具有深远意义,大数据的相关技术应用为实现地质工作的现代化和信息化提供了有效的支撑。重点介绍大数据背景下的"地质云"构建理念与方法,以及大数据在地学领域的应用。大数据为非结构化、半结构化的地质数据带来了新的处理方法与理念。地质云的构建旨在探索以需求带动的地质核心数据的应用,挖掘非结构化数据的新数据信息,以支撑国土资源管理决策。  相似文献   

7.
地质大数据存储技术   总被引:5,自引:1,他引:4  
李婧  陈建平  王翔 《地质通报》2015,34(8):1589-1594
在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地质云架构的基础上,讨论适合当前地质大数据的存储技术,地质数据具有多源、多元、异构、时空性、方向性、相关性、随机性、模糊性、非线性等特征。因此,对于存储与管理方式的选择应该是具体问题具体分析,建立多技术支持下的大数据架构,才能满足地质大数据的应用需求。  相似文献   

8.
吕霞  李健强  龚爱华  刘畅  李丰丹 《地质通报》2015,34(7):1323-1332
目前中国地质调查网格结点体系已基本形成,初步实现门户的自治,结点资源与门户资源的共享与协同。随着信息技术的发展,以及云GIS、大数据、北斗等技术在网格平台中的开展、应用,从网格平台基于云架构体系升级入手,阐述了基于云架构非结构化地质数据存储与管理、快速搭建地质调查业务系统中间件和野外地质调查工作管理与安全保障服务等一系列关键技术的研究与实现,为网格平台的下一步发展提供了研究基础。  相似文献   

9.
长期以来,各地质勘探部门积累了大量地质数据,为了有效管理和共享这些信息,需建立数据共享平台。探讨了地理元数据的现状和地理元数据共享存在的问题,以及用XML文件存储和关系数据库存储的优缺点等问题;提出用XML与数据库技术相结合的方式构建地质元数据,解决地质数据共享问题,并以此为基础构建了用于管理、使用和发布地质数据的共享平台。  相似文献   

10.
智能地质调查大数据应用体系架构与关键技术   总被引:7,自引:0,他引:7  
地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。  相似文献   

11.
三维地学建模的理论与方法在大数据时代该如何发展,是当下这一领域研究人员非常关注的问题。从现代三维地学建模的重要方法——隐式建模的角度,对三维地学建模方法与地质大数据系统的有机集成、以及如何利用大数据技术提高地学建模的效率和质量等问题进行了探讨。初步提出了一套基于地质科学大数据的三维地学建模方法和流程,包括:地质大数据的搜集、主题大数据系统的搭建、地质特征要素的深度挖掘和三维地学模型的动态构建。同时,也指出了大数据背景下高质效三维地学建模的关键在于:研究实现充分顾及地质对象和地质科学大数据特点的地学人工智能、机器学习、数据挖掘及空间推断方法。通过一个典型矿体建模的应用实例对所提方法的可行性进行了验证。  相似文献   

12.
在分析地质资料文档内容与形式特征的基础上,提出Hadoop大数据环境下的地质资料一体化耦合数据模型与存储策略,分析确定HDFS下地质资料文本化目标格式,并对地质资料原始格式、转换后的文本格式及地质信息的存储方式与模式进行设计;研究常见地质资料格式的文本化实现方式,并构建文本转换技术流程。为大数据环境下地质资料的文本导入提供技术路径,以及大数据环境下文本化地质资料的信息抽取、融合等智能化处理提供统一数据基础,对地质资料大数据分析具有实际意义。  相似文献   

13.
大数据环境下数字填图数据集成服务技术   总被引:4,自引:0,他引:4  
李丰丹  李超岭  吴亮  李健强  吕霞 《地质通报》2015,34(7):1300-1308
应用数字填图技术形成了大量地质填图图幅数据,这些数据空间结构化和非结构化特征并存,如何在网络环境下提供高效的数据服务是急需解决的一个难题。大数据技术的发展为数字填图、数据集成服务提供了一种新的途径。通过对数字填图数据特征的分析,在研究地质调查信息网格大数据处理框架的基础上,提出了结构化和非结构化数据相结合的有序化组织管理、发布与服务方法,并对关键技术进行了研究与试验,取得了良好的效果。  相似文献   

14.
地质数据仓库设计中的几个问题   总被引:10,自引:2,他引:8  
胡光道 《地球科学》1999,24(5):522-524
提出并讨论了地质数据仓库系统设计中的几个问题:操作数据存储作 和数据仓库间的数据接口,借用地理信息系统来存储和表示空间数据,级联式更新、主题间复杂交系的表达,以及专用的数据抽取模型的设计。  相似文献   

15.
大数据是海量、高增长率和多样化的信息资产,是未来找矿靶区预测的不可或缺的技术。大数据-三维成矿预测研究面临机遇与挑战,其涉及的地学大数据除了数据来源众多、比例尺不同、数据量大、非结构化管理、时效性强、空间数据与非空间数据协同管理等复杂特点外,还必须具有适应进行三维建模及空间分析的数据结构。本文分析了地学空间大数据的特点,对多源地学综合信息的管理需求进行研究,参考国家及行业标准,建立了可满足三维成矿预测需求的多源地学空间数据库模型,并依据实际划分为勘查控制钻孔地质数据库、空间属性数据库和地球物理数据库,各数据库可在多源地学空间索引库的支持下协同工作。本文以大数据应用的典型实例--钟姑矿田作为研究对象,系统收集了矿田内勘查成果资料,建立了钟姑矿田多源地学空间数据库,并在此基础上进行了控矿要素的有效提取,可进一步支持三维成矿预测。研究结果表明,本文提出的多源地学空间数据库可有效管理地学空间大数据,是大数据-三维成矿预测的重要解决方案,是进行三维成矿预测的重要数据支持。  相似文献   

16.
许亚峰  花卫华  李毅 《江苏地质》2020,44(4):337-344
地球科学数据依托于WebGIS进行数据共享与服务是全球地质行业发展的必然趋势,但是,由于地质数据存储格式不同、数据模型与数据结构差异及地质数据的敏感性等原因导致多源异构数据的产生,给数据共享与综合利用带来了困难。研究传统地质数据模型和GeoSciML模型,对比分析两者图层和要素属性方面的异同,从语义融合角度提出了采用传统模型的地质空间数据到GeoSciML模型的数据映射方法。结果表明,在数据格式转换和整合过程中保证了信息的完整准确,地质空间数据的互操作性强且符合数据映射要求,为我国地质数据面向国际深度共享与服务提供了科学方法。  相似文献   

17.
地质调查大数据研究的主要问题分析   总被引:10,自引:4,他引:6  
地质调查大数据包含地质调查工作中产生的多来源、多模态地质数据,以及公共服务与支撑管理产生的数据。一些与数据和计算有关的地质问题,限于当时的信息技术条件,没有得到很好的解决,解决这类地质问题及信息数据共享问题是地质调查大数据处理技术的基本目标。在地质调查大数据处理技术中,应当积极开展多类型地质数据采集器、新型非易失性存储技术、分布式计算、内存计算技术产品开发与应用,然后集中开展、深度分析与挖掘、可视分析技术产品开发与应用,最终形成地质调查大数据处理技术体系与产品线,以产品应用推动资源共享,提升地质调查信息化服务品质。  相似文献   

18.
如何高效存储、管理呈几何增长的高分辨率、高光谱遥感影像数据, 实现遥感数据的快速处理、检索和可视化是急需解决的问题.应用非关系型数据库技术, 设计了由遥感元数据库、遥感影像数据库以及影像金字塔3个部分组成的海量遥感影像存储模型; 建立了由硬件支撑层、数据层、数据服务层及应用层组成的遥感影像存储中间件.通过实验分析, 验证了基于非关系数据库的遥感影像数据存储模型及中间件对影像数据的读写、提取性能优于传统的关系数据库.研究成果可满足高分高光谱遥感探测与评价模型对海量影像高效存储、管理的需求, 具有重要的实用价值.   相似文献   

19.
地质资料是地质工作形成的重要成果资料,具有可被重复开发利用、能够长期提供服务的功能。然而,因地质资料的分散式管理,使得地质资料信息存储分散,“孤岛”式服务的现象普遍存在,缺乏资料信息共享、综合利用的机制和手段,制约着地质资料信息潜在价值的有效发挥。地质资料信息服务集群化旨在通过信息领域前沿技术,对地质资料进行集成集群和深度开发,将分散、孤立的地质资料进行分布式汇集,全方位多角度解读、展现、挖掘地质资料信息,充分发挥地质资料服务于经济社会发展的作用。长期的地质调查工作,已经形成了多专业、数据格式多样的海量地质资料,信息服务的集群化必将面临地质大数据相关的技术问题。介绍了地质资料信息服务集群化模式,分析了CitusDB软件的分布式大数据运行机理,探讨了基于CitusDB软件的地质资料集群和大数据服务架构,可为地质大数据与信息服务提供一定的参考。  相似文献   

20.
范宇  简季  陈倩羽 《地质与勘探》2019,55(1):203-211
目前,在不同的三维地质建模软件下建立的模型无法在统一的场景中集成显示和分析应用,数据交换共享难,数据存储量普遍较大。在现有的建模方法下,三维地质体的布尔运算比较困难。因此探索一种存储量小、易于数据共享交换与空间分析的三维存储方法是当前趋势。基于空间位置枚举法提出了一种存储量小、易于数据共享交换与空间分析的三维存储和重构方法。首先用任意已建好的地质模型建立栅格金字塔加快显示速度;在此基础上对地质模型进行剖分生成剖分长方体,再将剖分长方体存储成六位编码;最后对六位编码进行三维重构,利用Open GL技术基于VC++平台进行三维重绘。计算了重构模型的均方根误差(RMSE),其平均值为0. 39。实验结果表明:此存储与重构的方法是可行的,对减少三维地质体模型存储量、数据的迁移共享交换有一定的价值。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号