基于Cassandra的海量MUSER数据分布式存储与检索研究     

石玥  王锋  李鹏程  刘应波 《天文研究与技术》2018,(3)

明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。  相似文献   

基于NGAS的多点观测数据存储与同步方法     

石聪明  邓辉  戴伟  卫守林  王锋 《天文研究与技术》2019,(2)

平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。  相似文献   

甘肃民勤:从风沙劲到绿荫浓     

王锋  杨鹏元 《资源导刊(河南)》2019,(1)

<正>在河西走廊东北部、石羊河流域下游,有这样一块绿洲,她像一把锲子阻隔了巴丹吉林沙漠和腾格里沙漠两大沙漠的合拢,这里就是甘肃省民勤县。民勤全域总面积1.59万平方公里,而各类荒漠化和沙化土地面积就达到了1.43万平方公里,占国土面积的90.34%。这里生态区位极为特殊,被国家列入"两屏三带"重点生态功能区北方防沙带,属全国防沙治沙重点县。20世纪50年代,民勤县宋和村几乎看不到几棵树。这个三面环沙的村子,  相似文献   

MUSER可见度数据积分方法与实现     

赖铖  梅盈  邓辉  王锋  戴伟 《天文研究与技术》2018,(1)

射电观测是研究太阳活动的重要探测手段。我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)主要用于研究太阳爆发活动初始能量释放区的物理过程,其观测将在太阳射电成像开辟一个新的窗口。成像处理是数据处理的重要组成部分,如何提高成像质量是当前数据处理的研究重点。首先介绍了射电干涉成像的基本理论,随后分析了对观测得到的可见度数据积分的必要性,细致讨论了短时段可见度数据叠加求平均和长时段UV覆盖叠加两种积分方法,并给出了完整的实现。通过实现代码与实验验证,两种积分均可以有效提高信噪比,图像质量明显提高。  相似文献   

MUSER的负数据库接口设计与实现     

石聪明  张晓丽  王锋  戴伟  杨秋萍 《天文研究与技术》2018,(2)

明安图射电频谱日像仪目前已经进入常规观测,必将产生海量的观测数据。针对日像仪需要高效管理其产生的海量观测数据并提供高效检索服务的需求,负数据库管理系统提出并被应用到日像仪中。详细介绍了负数据库的接口设计与实现,并通过实验验证了所设计接口的有效性和性能。负数据库管理系统不仅可以有效解决日像仪面临的问题,也可以为新一代望远镜负数据库管理系统提供参考。  相似文献   

面向ONSET实时数据处理的图像选帧GPU技术实现     

李力  邓辉  李瑧  梅盈  戴伟  杨秋萍  王锋 《天文研究与技术》2018,(2)

光学和近红外太阳爆发监测望远镜每天可以获得大量的太阳图像数据,对这些观测数据进行实时选帧处理,一方面可以减轻存储压力,另一方面也可以提高后续图像重建的质量。针对观测过程中的选帧要求,设计并实现了一套基于图形处理器的图像选帧实时处理模块,当前的模块已经实现了平均梯度法和谱比法选帧两种算法的高速并行处理。对模块的实现进行了细致的讨论,并比较了两种选帧方法的加速比。实验表明,该模块运行稳定可靠;从执行效率来看,针对近全日面图像的选帧总体执行时间最快为1.2 s,比原有串行实现提升了7倍;局部面图最快为0.7 s,平均提升了5倍。整体模块的实现与当前性能已经可以满足实时观测与处理的要求。  相似文献   

基于ZeroMQ的新一代望远镜自动控制系统的通信框架设计     

邓辉  钟文杰  付映雪  王锋  卫守林 《天文研究与技术》2018,(3)

随着天文技术的进步,天文望远镜系统组件日趋复杂化,望远镜自动控制系统已成为望远镜进行常规观测的核心组成部分。通常执行一个完整的观测计划需要不同设备之间相互配合,协同工作,因此,具有一个高效的底层通信框架是望远镜自动控制系统成功的关键。ZeroMQ是一个高性能的网络通信程序库,提供了多种基础的通信模型,可用于构建复杂的分布式程序,非常适合天文望远镜观测控制这样的分布式、多种通信模式并存和低延迟要求的场合。回顾了在望远镜控制系统中广泛使用的CORBA,DCOM,原生Socket等网络技术,给出了基于ZeroMQ的新一代望远镜自动控制系统通信框架的总体设计,讨论了套接字设计、消息模型设计、序列化等关键技术的解决方案。  相似文献   

浅谈发动机烧机油故障及排除方法     

王锋  康武威 《黑龙江国土资源》2011,(4):64-64

一、故障现象 1、汽车行驶时,低、中、高速都有蓝烟,且机油压力低,启动困难,行走乏力。  相似文献   

AstroGrid CEA架构的应用研究     

汪晶晶  季凯帆  王锋  邓辉 《天文研究与技术》2012,(3):323-328

AstroGrid是一个成熟并已广泛运用的英国虚拟天文台(VO-Virtual Observatory)项目。公共执行架构(Common Execution Architecture,CEA)作为其重要组成部分,通过构建一套合理的接口和框架实现对虚拟天文台天文应用执行过程的建模。详细介绍了AstroGrid CEA的实现原理、基本架构、接口分析和应用模型,并通过CEA实现中国科学技术大学光谱处理数据的发布,完成基于FITS格式的锥型检索服务,最后在此基础上就如何运用CEA进行完整的讨论。  相似文献   

滇东北毛坪铅锌矿床的蚀变-矿化分带模式——蚀变-岩相填图证据   总被引：2，自引：0，他引：2  

魏爱英  薛传东  洪托  罗大锋  李炼然  王锋  周高明  刘星 《岩石矿物学杂志》2012,31(5):723-735

昭通毛坪铅锌矿床是川滇黔铅锌成矿域之滇东北矿集区上又一个具有超大型成矿潜力的矿床,过去其矿床研究程度弱,特别是成因矿物学工作鲜有开展.本文以赋存于猫猫山倒转背斜西翼上泥盆统宰格组上段(D3zg3)中晶白云岩中层间断裂带内的Ⅰ号矿体(群)为对象,开展了系统的立体蚀变-岩相填图研究,建立了蚀变-矿化分带模式.结果表明:从矿体中心向外,自下而上,蚀变呈现硅化→泥化→碳酸盐化的显著分带现象,矿化具有致密块状高品位Pb-Zn矿石→致密块状Py壳→浸染状、脉状、斑块状低品位Pb-Zn矿石→星点状Py壳的分带特点,相应的矿物组合依次为Sp+ Gn(+ Cpy)+ Py+ Mrc+ Apy+ Q+ Cal组合、Py+ Gn+ Sp+ Dol+ Fe-Dol+ Cal+Q+IU组合、Py+ Dol+Fe-Dol+Cal+Q+Sd组合和Dol+ Cal组合;垂向分带不明显,横向分带显著,矿化分带性与含矿热液的浓度梯度、横向渗透扩散受岩性垂向物性变化影响密切有关;矿化作用可分为Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ等5个阶段,Py外壳是早期流体的产物,条带状矿石是热液叠加作用的产物,且784 m高程处已处在Ⅲ阶段成矿流体叠加的前锋,Ⅱ阶段成矿流体的温度较Ⅲ阶段高.该蚀变-矿化分带模式对川滇黔铅锌成矿域具有普遍的找矿指导价值,也有助于深入理解成矿流体运聚和富集成矿机制.  相似文献